重庆市科技计划项目绩效评价工作_赵亮.pdf
《重庆市科技计划项目绩效评价工作_赵亮.pdf》由会员分享,可在线阅读,更多相关《重庆市科技计划项目绩效评价工作_赵亮.pdf(5页珍藏版)》请在咨信网上搜索。
1、中国科技信息 2023 年第 8 期CHINA SCIENCE AND TECHNOLOGY INFORMATION Apr.2023-120-科技工作重庆市科技计划项目绩效评价原则的确立坚持多元化的全面评价原则坚持以贡献为评价核心,破除“四维”,综合分析项目绩效的来源及研究过程的评价元素,将项目绩效分为内部绩效和外部绩效;分析研究成果从理论研究-商业化产品推动社会经济发展的演变过程,确定了科学价值、技术价值、经济价值、社会价值、文化价值 5 个评价维度。内部绩效是指研究成果能够推动理论不断发展或研究问题的不断深入,是科学研究的螺旋式上升过程,这一过程对推动研究工作进入深水区具有十分重要的意义
2、,内部绩效主要从研究成果的科学价值和技术价值进行评价;对于外部绩效,是“科学技术商业化面向市场推动经济发展社会影响”的横向过程,是研究成果及科技人才最终为社会经济服务并对社会产生影响的路径。外部绩效主要从经济价值、社会价值、文化价值方面进行评价。通过多元评价维度,真实、客观、全面地反映项目立项以来研究团队的贡献及其成果价值。坚持内外结合、分类分层评价原则我们坚持“项目团队第三方专业机构社会”内外结合的三方评价方式,首先由项目团队内部先行开展自评价,作为绩效评价的“自画像”,第三方专业机构作为外部评价机构,根据项目不同类型(理论研究、应用基础研究、应用研究,应用示范类研究等)、不同领域、科技成果
3、的不同形式等选取不同的评价指标、组织专家进行分类评价,根据项目进展阶段、科技成果技术成熟阶段不同(理论模型、工程样机、试生产、商业化等)组织专家分层评价,评价结果在一定范围内公示,接受社会层面的外部监督评价。坚持定性、定量及逆向评价相结合的原则在绩效评价指标设计中,我们坚持定性与定量相结合的评价方法,综合使用成果计量法、同行评议法、灰色系统理论综合评价法等。对于任务合同约定的任务完成情况及经费使用情况,在评价时充分尊重科学研究项目具有不确定性的自然规律,同时也要求科学家要有契约精神,实际评价中我们采用逆向评价方法,对项目实施以来原始数据、科研记录、经费使用等原始资料进行科研诚信情况核实。赵亮(
4、1986),重庆沙坪坝,重庆大学科学技术发展研究院,项目办主任,硕士,研究方向:科研管理、项目绩效评价及财政资金使用效率。陈永春(1969),重庆渝北,重庆市科学技术局科技监督与诚信建设处,处长,硕士,研究方向:科技监督、科技绩效评价及诚信建设。资助项目:重庆市技术预见与制度创新专项项目“重庆市市级重点研发项目决策机制研究”(cstc2021jsyj-zzysbAX0046)重庆市科技计划项目绩效评价工作赵 亮 陈永春本文结合重庆市科技计划设置和管理的特点,从科学价值、技术价值、经济价值、社会价值、文化价值 5 个维度出发,设计了多层级、多维度的科技项目绩效评价体系,提出了“修正”的同行评价方
5、法,有效消除现场评价中不利因素,确保项目评价尺度的一致性,对其他地区开展绩效评价工作具有参考价值。党的二十大报告提出“深化科技体制改革,深化科技评价改革”,在科技改革的背景下,地方科技计划项目如何建立科学、有效的绩效评价指标体系,真实、客观反映科研成效,提升财政资金使用效率和质量,是科技管理的重要工作,也是科技管理人员应该认真思考和研究的问题。重庆市一直高度重视科技项目绩效评价工作,特别是自 2019 年委托独立第三方专业机构开展科技项目绩效评价工作以来,重庆市科学技术局结合地方科技发展现状及发展规划,充分考虑在多元化全面反映科技项目绩效的同时,坚持激发科研人员积极性、引导地方科技更快更好发展
6、、达到以评促建等目的的评价导向,确立了合理的评价原则,评价方法,构建了适合重庆地方特色的科技绩效评价指标体系。探索性地解决“评什么,谁来评,怎么评,怎么用”的问题。-121-CHINA SCIENCE AND TECHNOLOGY INFORMATION Apr.2023中国科技信息 2023 年第 8 期科技工作可比性原则 在实际评价中,注意在评价口径、范围等方面具有的一致性,以保证创新性研究类项目之间的可比性。评价体系中的指标标准应既满足纵向比较要求,也满足横向比较的要求,同时对现场评价情况采用会评的方式进行“修正”,确保同一层次、同一类型的项目成果评价标准尽量保持一致,不同项目之间的衡量
7、结果可以相互比较。导向性原则任何指标体系的设计都要为一定的目的和需要服务,重庆市科技绩效评价坚持“激发科研活力、以评促建、以评促改、评建结合”的导向性原则,因此评价指标体系的设置要考虑绩效评价活动对科技创新主体活力及技术发展产生的积极的或消极的影响,注重指标体系的导向作用和激励作用,引导和鼓励科技项目承担单位重视项目的投入产出绩效。重庆市科技计划项目绩效评价指标体系设计重庆市结合区域发展战略及经济社会发展需求设立三大类科技计划:重庆市自然科学基金专项、技术创新与应用发展专项、技术预见与制度创新专项,为做好分类分层评价,我们对三大类科技计划设置的初衷、专项目标和内涵定位进行总结分析,分类分层设计
8、重庆市科技绩效评价指标体系框架。自然科学基金专项绩效评价指标体系设计重庆市自然科学基金以解决全市经济社会发展的基础性、社会性、前瞻性的科学问题为导向,鼓励科学探索和原始性创新,以科学前沿的原始性创新和集成性创新、对国家重大需求的潜在贡献以及优秀人才培养为绩效评价目标。基于基础研究项目成果绩效的滞后性,我们选取结题 13 年的项目,从成果价值与影响力、持续研究情况、延伸与溢出效应三个方面设置一级评价指标,从科学价值、技术价值、社会价值 3 个评价维度出发开展研究成果的评价,同时设置科研诚信逆向评价指标,采用一票否决制。具体评价指标体系框架详见表 1。技术创新与应用发展专项绩效评价指标体系设计应用
9、类的技术创新与应用发展专项是围绕重庆市经济建设和社会发展需求,以技术推动和市场牵引为导向,强化企业技术创新主体作用和产学研协同创新为专项目标,该类项目以技术理论、关键技术和高新技术的创新与集成水平、自主知识产权的产出及转化应用、潜在的经济效益、社会效益等要素为绩效评价目标。评价项目包含在研和已结题两类,因此在评价时以目标任务完成情况、成果效益、项目管理、可持续发展情况、延伸与溢出效应 5 个方面设置一级评价指标,从技术价值、经济价值、社会价值、文化价值 4 个维度开展项目成果评价工作,同时设置科研诚信逆向评价指标,采用一票否决制。具体评价指标体系框架详见表 2。技术预见与制度创新专项绩效评价指
10、标体系设计技术预见与制度创新专项的研究成果以决策建议、技术规划、技术报告等为主,要求研究成果能够站在战略的高度,重点围绕全面深化改革、技术创新和科技管理等对重庆市未来科技发展和制度建设改革问题开展研究并提出政策建议,因此开展评价时坚持问题导向、目标导向、结果导向,强化研究成果在推进重庆市治理体系、未来科技发展和制度建设改革等政策建议的采用价值及持续影响作用。该类项目从成果匹配性、项目管理情况、可持续影响力三个方面设置一级评价指标,主要从社会价值、科学价值两个维度开展评价。具体评价指标体系框架详见表 3。评价结果的“修正”方法以往的研究和实践表明,绩效评价中同行评价方法也有内在的不足。主要有:同
11、行评议是一种典型的定性评估方法,缺乏统一的评估尺度,不能保证同一类型、同一领域项目在横纵向的评价一致性。它像其他依赖于人的主观判断的方法一样,会受人们利益和偏好,特别是学术观点、社会关系和个人喜好等的影响,由于现场评价专家的数量有限,这些影响就会被放大。在评价实践中我们采用“修正”的同行评价方法对现场评价意见进行“修正”,即在现场评价结束后,组织所有项目的现场评价专家开展内部会评,由每个项目的主评专家对被评价项目的主要绩效及打分理由进行说明,其它专家在审阅资料的基础上进行讨论及二次评分,对现场评价进行“修正”。为了有效处理会评专家的打分,我们基于“元评价”理论,选取偏差系数来评估现场评价专家结
12、论的可信度。表 1 重庆市自然科学基金专项绩效评价指标体系框架一级指标二级指标指标说明成果价值与影响力成果创新性和科学性评价项目成果当前的科学价值、技术价值,是否有新发现、新原理、新方法、新规律等原创性成果,学术界和行业的认可度及引用验证情况可持续发展情况持续性开展研究情况项目结题后是否获得持续性项目/课题研究和经费支持团队持续性开展研究延伸与溢出效应研究成果的延伸和溢出效应评价项目科学价值、技术价值、社会价值,项目成果在学科建设、人才培养、技术创新等方面带动的延伸和溢出效应科研诚信科研诚信科研诚信作为逆向评价指标,采用一票否决制,评判项目承担单位或研究团队有无成果冲抵、成果造假等违背科研诚信
13、行为中国科技信息 2023 年第 8 期CHINA SCIENCE AND TECHNOLOGY INFORMATION Apr.2023-122-科技工作假设第i个专家第j个指标的评分为Xij(i=1,2,3,m,j=1,2,3,n)。第i个专家对第j个指标评分的偏差系数Pij=(i=1,2,3,m,j=1,2,3,n)。其中 x-j=Xij,Ti=|Xij-x-j|;Pij 反映了第 i 位专家对第 j 个指标评分与所有专家评分的偏离程度,当 a 代表现场专家时,Paj 越小,表明现场评价专家对 J 指标评分越可信。现场评价结果总偏差系数 P 总=,P 总反映了现场评价意见的总体精准度。基
14、 于 统 计 学 和 评 价 经 验 总 结,当 P 总 10%,Paj10%时,我们认为现场评价专家 J 指标评分精准度足够高,不进行修正调整;当 P 总 10%,Paj 10%时,我们仅对 J 指标评分进行修正,选择会评专家中偏差系数最小的 J 指标评分作为修正值,与现场评审专家其他不需要修正的指标评分之和,作为该项目最终绩效评价总分值;当 P总 10%,我们将选取所有评价指标评分中偏差系数最小的分值作为最终评分。绩效评价实证分析数据来源本文选用 2022 年度承担重庆市科技项目绩效评价工作中应用类专项人工智能领域项目评价数据为例,该领域本次评价中共抽取了 31 个项目,涵盖了部属高校、市
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 重庆市 科技 计划 项目 绩效评价 工作 赵亮
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。