如何评估基础研究绩效(二) (0504)
|
目标关联评价：成果的内容是否体现了立项目标﹖如何体现﹖成果的内容与主要立项目标关联的紧密程度如何﹖如何体现﹖成果的价值体现与立项目标关联的紧密程度如何﹖成果的价值体现与主要立项目标关联的紧密程度如何﹖如果成果内容或价值与立项目标有差异，是否是根本性的差异﹖产生差异的原因是什么﹖差异是否合理﹖ 效果与影响评价：系统创新效应，系统创新效应是体现战略基础研究项目实施效果和成果价值的最重要的方面，评价的基本思路是，确定有可能带来的系统创新效应的各种表现，以及与系统创新效应相关的各项指标；能力效应，能力效应指在形成项目成果的过程中带来的能力增长；假设负面效应，在成果的效果难以确定的情况下，可以假定如果没有该成果，将会带来的负面效应，以此作为评价成果的一个角度。 3.评估结果的量化 对评估结果进行量化处理，“既可以克服由于自然语言本身所具有的某种模糊性，导致人们理解上的一些不可避免的偏差，又可对评议后的项目进行比较，能大致按照优劣排序”。调研发现，绩效评估实践中比较广泛地采用了对具体的评估指标划分等级层次或量化处理的做法。例如，把“研究内容的科学价值或应用前景”指标的评价结果区分为A往下可再细分为A+、A、A-，以下类推、B、C、D四个等级。标准分别是：A，处于科学前沿，有重大科学意义或有重大的应用前景；B，有较大的科学意义或有较大的应用前景；C，有一定的科学意义或应用前景一般；D，科学意义不大或应用前景较小。 也有学者对按等差级数划分等级层次的做法提出异议，认为“这在成果之间只存在量别性差异的情况下还是比较科学的；但若存在质别性差异，就不尽科学”。我们以为，要区分开存在质别性差异的研究成果，例如一般性进展、有重大突破、开创新的研究领域和创立新学科之间的学术水平差距，分值的划分不能太机械，同时可以建立个案处理机制，对特殊情况作特殊处理。另外，在量化评估结果时，还要注意指标间量化程度的差异，避免事实上修改了指标权重。 4.指标和专家权重的确定 不同指标具有不同的重要性，因此有必要对指标赋以权重，在实践中一般使用“元老法”，即请有较深造诣的专家对各项指标的重要程度做出判断，综合专家意见确定指标权重。 通过权重不仅可以表征指标间的相对重要性，还可以有效“抹平”一些似乎不可比对象间的差异。 不同专家的评价也具有不同的重要性，可以用专家权重做出区分，专家权重一般取决于他她在某一学科领域中权威性的相对高低。有学者提出专家的权威性可通过下列指标确定：资历；科研成就；对学科的熟悉程度；公正性。各个指标的重要程度又由不同权重予以区分。 四、国内基础研究绩效评估案例 我们这里介绍国内基础研究绩效评估的两个案例，它们可以提供一个或几个侧面的参考，并不能完整地描述基础研究绩效评估的方方面面。各学科领域、不同评估机构需从自己所处的具体情况出发，设计相关的基础研究绩效评估体系。 1.国家自然科学基金委信息科学部绩效评估实践 评估方法：学科评审组专家和管理人员共同评议，以专家意见为主。 评价原则：定性评价为主并辅以一定的定量要求。 评价重点：突出的成果或较差的成果。 评价内容与指标： 1发表论著。即发表的论文、著作的数量和质量。 Ⅰ.在国际上有重要影响的权威刊物如SCIENCE、NATURE上发表论文或在本学科领域有重要影响的国际会议上作学术性大会特殊报告；Ⅱ.在本学科领域国际刊物和有影响的国内核心刊物以及有影响的国际会议发表论文至少5篇，并且上述论文被四大检索系统即SCI、EI、ISTP、ISR收录；Ⅲ.有一定数量的论著，但论文发表的刊物、学术会议级别一般，影响不大。 2课题完成情况及创新。考察课题是否按预定计划完成了任务，创新层次衡量的主要标准是发表论文被引用情况。 Ⅰ.在本学科领域有重要创新，在国内外有较大反响，论著多次被他人引用；Ⅱ.课题研究按计划较好完成了任务；Ⅲ.未完成任务或成果内容与课题要求不符。 3成果获奖或取得发明专利。 Ⅰ.获国家或省部级一等奖以上以基金课题所取得成果为主或有影响的国际奖；Ⅱ.省部级二等奖或一般的国际奖或获发明专利；Ⅲ.无奖项。 4成果推广及效益。 Ⅰ.课题成果已产生重大的经济效益或社会效益；或课题研究转为其它国家重大项目；Ⅱ.课题成果取得一定的经济效益或课题发展成为其它科技计划的项目；Ⅲ.课题成果无经济效益且课题没有发展成为其它科技计划的项目。 5人才培养。 Ⅰ.培养了博士生或硕士生或促进了专业人才队伍的形成；Ⅱ.未培养博士生或硕士生。 评价标准： 特优：对“优”档中少量一般为5%左右特别优秀的，可以评为“特优”，要求必须有一项以上达到五项指标中I的条件。被评为“特优”的项目，对完成者当年或以后的申请实行挂钩倾斜政策； 优：有三项以上含三项达到五项指标中Ⅱ的条件； 良：有两项达到五项指标中Ⅱ的条件和指标1中Ⅲ的条件； 中：有两项达到五项指标中Ⅱ的条件； 差：研究项目中有弄虚作假行为或全部未达到上述五项指标中Ⅱ的条件。 评估结果的认定：一个项目完成好坏的评价，不要求其在各指标中占全，而是要求在其中某一重要指标中有突出表现，有的指标间是“或”的关系。 2.国家自然科学基金委无机非金属材料学科绩效管理的具体实践 国家自然科学基金委工程与材料科学部无机非金属学科鉴于目前基础研究评价指标体系不确定及对基础研究认识上存在急功近利的趋向，认为基础研究绩效评估的必要性应该表现在：有利于学科的调整优化，提高对优先领域的判断能力；作为连续资助的判据，提高科学基金的使用效率，合理配置经费资源；展示基金成果，促进项目成果的有效运用。在这种认识基础上，他们设计了一个国家自然科学基金项目绩效调查表，该表的统计指标有： 完成论著及人才培养情况，具体包括学术会议交流篇数国际国内大会特邀报告、国际国内分组报告、在国内外期刊上发表论文篇数、出版专著中、英文册数、人才培养博士后、博士、硕士人数； 研究成果：包括评议鉴定、发明专利、推广项目等的数量； 学术奖励：包括国家级奖自然科学奖、科技进步奖、发明奖、省部级奖自然科学奖、科技进步奖及国际学术奖和其它奖的数量； 以国家自然科学基金项目为前期工作基础申请并获得其它国家级项目包括“863”高技术、国家攻关及其他项目的情况。 对上述的各个评价指标，又分为四个时期进行统计；项目在研期间；项目结题日至结题后3年期间；项目结题后3年至5年期间；项目结题5年以后。调查统计结果表明：基金项目的成果是以获得其它项目的支持为体现真正起到了基础的作用；基金项目的成果大多在项目在研和结题后三年内体现，以结题后三年内为多除转入其它项目外，5年后的作用渐弱。学术奖励以结题后三年内为多，会议论文以在研期间为多，各评价指标有所不同。 五、加强我国基础研究绩效评估 理论研究和实际工作的建议 1.国内基础研究绩效评估取得的主要成果 总的来说，我国基础研究绩效评估工作在过去几十年里取得了很大成绩，这些成绩大致可以概括为以下几方面： 1基础研究绩效评估的重要性在科学界和政府部门达成了广泛共识； 2绩效评估对基础研究起到了良好的导向作用； 3基本形成了专家决策的机制； 4定量评估方法得到重视和推广应用； 5在评估方法、评估指标等方面逐步做到与国际通用做法接轨； 6从事绩效评估的各部门、单位日益重视设计和实施符合自己特点的绩效评估体系； 7初步形成了一支从事绩效评估理论研究和实际工作的人才队伍和一批研究成果。 我们以为应该在发扬这些成绩的基础上，进一步从理论和实践两方面加强我国基础研究绩效评估工作。 2.进一步加强基础研究绩效评估理论研究 基础研究绩效评估的理论研究对于加深对基础研究及其绩效评估规律的认识，更好地指导基础研究绩效评估、促进基础研究的发展意义重大，我们以为可以重点从三个方面加强理论研究： 1进一步拓宽研究领域和实现成果整合。从我们调研的情况看，目前理论界的研究主要集中在对基础研究绩效评估的基本认识、评估方法、评估指标体系这三个领域，研究领域还比较狭窄。实际上，基础研究绩效评估是一个包括评估主体、评估对象、评估目标、评估动机、评估效果检验、评估结果利用、评估方法、程序、指标等内容十分丰富的大系统，而所涉及的相关领域和学科更是庞杂，这三个领域不足以覆盖基础研究绩效评估的方方面面。以评估对象为例，诸如对基础研究政策的评估问题就研究得不够，而实际上它是一个国家基础研究事业不可分割的一部分。为此我们以为今后应该进一步拓宽基础研究绩效评估理论研究的范围，与此同时，应该尝试整合各个领域的研究成果，使之结构化、系统化、层次化，形成一个完整自洽的理论体系，这样可能会得出一些更有价值的结论。 2研究工作应该进一步深入、细致并与实际工作结合起来进行。目前讨论基础研究绩效评估问题的文章不少，其中不乏精辟见解，但也有一部分论著，内容重复、泛泛而谈，缺乏对细微之处的深刻分析和实证研究，今后应在理论和实践的结合处加强研究，而且要从我国实际情况出发，研究具有较强可行性的改进基础研究绩效评估的方法措施。 3从方法论的角度，我们以为应该重视多学科成果在基础研究绩效评估理论研究领域中的应用，有必要系统引进、移植诸如科学学、心理学、行为学、管理学等学科领域的知识，为我所用；同时在研究中充分贯彻科学研究方法和思想。 3.进一步改进基础研究绩效评估的实际工作 进一步改进基础研究绩效评估实际工作，重点做好以下几方面： 1切实转变观念。目前绩效评估实践中存在重形式评估、轻内容评估；重一般评估、轻目标评估；重正式的评估结果、轻科学共同体的反应的倾向，使评估的效果不尽如人意。产生这种倾向的原因从根本上说，还是在于整个社会对基础研究绩效评估问题缺乏深刻清醒的认识，这需要我们科学界人士首先要树立正确观念，其次要做广泛的宣传解释工作，促使形成对基础研究绩效评估问题的正确看法。这是一项漫长而艰巨的任务。 2落实绩效评估的硬性要求。目前存在重项目申报阶段的评审、轻项目结题后的成果评估的倾向。例如调研发现，大部分关于同行评议方法的研究都是围绕其在项目申报评审中的应用展开，而对其在项目结题后的绩效评估中的应用研究得相对较少，这可以从一个侧面反映了学术界对评估问题的忽视。为此我们以为有必要制订相关的法规条例，从制度上落实绩效评估的硬性要求，使绩效评估能够作为科研评估法规的一部分在制度上得到承认和重视，这样，工作做起来有法可依，有章可循。 3尽快出台基础研究绩效评估的指导性框架。目前还缺乏对各类型、各学科领域的基础研究，以及纯基础研究和应用型基础研究绩效评估的统一的指导性意见框架，基础研究绩效评估工作基本上还处于各自为战的状态，应该组织人力，广泛调研和征求意见，尽快出台具有权威性的绩效评估框架性指导意见，从制度建设上落实有关的硬性要求，与此同时，鼓励具体的评估单位在统一的绩效评估框架内，根据本学科的发展规律，探索制定和实施符合自己特点的绩效评估体系。 4重视基础研究绩效评估的基础性工作。系统、准确地采集原始数据是绩效评估的基础。当前许多单位，例如国家自然科学基金委各学部在开展绩效评估工作时，普遍遇到的困难是原始数据不规范、不系统，无法满足使用，这些情况影响了评估的科学性。因此，有必要根据已确定的各学科的评价指标，对项目结题报告或研究工作的总结报告提出统一的要求，设计出一套全面、系统体现项目成果情况的数据、术语的采集、使用等的规范。 另外，还应完善各学科专家库的建设，特别是要加强对具有边缘学科、交叉学科背景的评估专家的遴选工作。部分新兴学科或交叉学科领域的专家虽然还比较年轻，知名度也不太高，但其对新知识的掌握及认识也许比某些权威人士更为灵敏和深刻，应将他们吸收到专家库中。 5在以往的项目、课题的前评估、或是在科技成果的评奖中，科技界经常会在评审专家的公正性及行为越轨方面产生一些意见。我们建议以后的绩效评估工作中应吸取这些教训，制定严格规范参评专家行为的规章制度，避免发生越轨行为，保证评估的公正准确。 六、用绩效管理推动科学研究 在经济与科技紧密结合、竞争在全球范围展开的今天，几乎所有国家都把科学研究纳入国家利益保障体系，致力于将科学研究与国家目标协调一致。不管研究者个人以什么目的从事研究活动，科学研究整体日益体现为服务于国家利益。 在基础研究日益发展成应用导向，同时对公民科学素质培养的重要性与日俱增的背景下，绩效管理作为一种科研管理手段，通过对“成功”科学研究的认可、奖励、资助、示范推广，以及对具体研究成果进行社会、经济效益评价，从宏观、微观两个层次引导、支持和管理科学研究，对科学研究及其作用的发挥起到了巨大的推动作用。对绩效评估体系(包括评估目标、评估对象、评估方法、评估程序、评估内容及指标等等)，根据形势发展动态调整，有助于合理配置科技资源，提高科研效率，优先完成最符合国家利益的研究活动。 一个最优秀的绩效评估系统必须是开放的、前瞻的。惟有此，才能迎接不断出现的挑战，并致力于实现国家目标。 (连载完) |
| 打印本文 返回顶部 关闭窗口 |
第一财税网(又名“智董网”)，在这里可以系统、深入学财税实务！
【用户注册登录】 【返回总网首页】
| 术业有专攻！有用，就是硬道理！与其跟“草根”零碎学习，事倍功半，可能走错路、弯路，职业“天花板”就是“草根”；不如跟我国杰出财会实务名家贺志东教授团队系统、深入、高效学实务真本领 |
| 第一财税微信（服务号） | 第一财税微信（订阅号） | 高收入高净值人群财税俱乐部（服务号） | 企业老板财税俱乐部微信（订阅号） | 小企业老板财税俱乐部微信（订阅号） |
|
|
|
|
|
|
| 成为第一财税网(又名“智董网”)年度会员，超越时空在线学习、随用随查，从此轻松搞掂一切财税事宜! 小投入大回报！特别推荐：税务会员 普通会员 金卡会员 钻石会员 更多... |
 申购指南 |
|
|
|
|
|
 第一财税网(又名“智董网”)——全球优秀的中文财税（税务）网站，在这里可以系统、深入学财税实务！ 关于我们 - 会员业务 - 单项业务 - 收费标准 - 付款方式 - 网站声明 - 网站地图 -联系我们 （市场部咨询电话：400-068-1291） 知识经济时代，全国财税人员全员学习、终生学习、在线学习平台，著名品牌、历史悠久的特大型财税行业垂直网站 全国级企业集团——智董集团旗下产业 Copyright © Since 1995 www.tax.org.cn All Rights Reserved. 中华人民共和国工业和信息化部备案：粤ICP备2021031282号 中华人民共和国公安部备案：粤公网安备44030402000477号  第一财税网微信   
|