一种基于改进的DID模型和学术期刊综合表现力指数的学术期刊资助项目实施效果评价方法构建.pdf
《一种基于改进的DID模型和学术期刊综合表现力指数的学术期刊资助项目实施效果评价方法构建.pdf》由会员分享,可在线阅读,更多相关《一种基于改进的DID模型和学术期刊综合表现力指数的学术期刊资助项目实施效果评价方法构建.pdf(11页珍藏版)》请在咨信网上搜索。
1、XUESHU CHUBAN YU CHUANBO2022 年,第 1 卷 第 1 辑(总第 1 辑)Vol.1 No.1,2022(Sum No.1)专家视角收稿日期:2022-12-21基金项目:中国科学技术期刊编辑学会 20192020 年度基金项目(2019cessp3-3);2021 年湖北省高等学校哲学社会科学重大项目(No.21ZD029)作者简介:胡小洋,博士,副编审,E-mail:xiaoyanghu 。通信作者:马建强,博士,副编审,博士生导师,E-mail:343721775 。欢迎按以下格式引用:胡小洋,马力,马建强.一种基于改进的 DID 模型和学术期刊综合表现力指数的
2、学术期刊资助项目实施效果评价方法构建J.学术出版与传播,2022,1(1):43-53.一种基于改进的 DID 模型和学术期刊综合表现力指数的学术期刊资助项目实施效果评价方法构建胡小洋1a,2,马 力1b,马建强1a(1.湖北大学 a.湖北大学学报编辑部;b.教育学院,湖北 武汉 430062;2.武汉大学 中国科学评价研究中心,湖北 武汉430072)【摘要】为科学正确地评价学术期刊资助项目实施效果,努力探索一种科学、正确、可行的实施效果评价方法和评价理论模型,本研究在梳理前人评价实践的基础上,通过理论构建和实证研究法对学术期刊资助项目实施效果评价工作进行系统探究。为克服现有学术期刊资助项目
3、实施效果评价实践中的诸多问题,本研究提出了一种改进的基于“实验组-对照组”前后四段多点平均的双重差分比较(DID)的学术期刊资助政策实施效果评价方法和基于学术质量和影响力的学术期刊综合表现力指数(JPI)的效果监测变量,并以“中国科技期刊国际影响力提升计划”为例,从项目的实施目标出发,构建了学术期刊综合表现力指数评价指标体系模型。由实证数学学科的三本受资助英文学术期刊在 20142019 年间的资助效果评估结果可判断该方法和模型在学术期刊资助项目实施效果评价实践中具有一定的推广价值。后期可根据具体的项目资助目的来调整具体的评价指标体系模型,以获取更佳的评价应用效果。【关键词】学术期刊资助项目;
4、实施效果评价;双重差分比较法;学术期刊综合表现力指数;理论构建Evaluation method constructing for implementation effect of academic journal funding project based on the improved DID model and the comprehensive performance index of academic journalsHU Xiaoyang1a,2,MA Li1b,MA Jianqiang1a(1.a.Editorial Department of Journal of Hubei
5、University;b.Department of Education,Hubei University,Wuhan 430062,P.R.China;2.Research Center for Chinese Science Evaluation,34XUESHU CHUBAN YU CHUANBOWuhan University,Wuhan 430072,P.R.China)Abstract In order to scientifically and correctly evaluate the implementation effect of the funding projects
6、 for academic journals much effort should be made to explore a scientific correct and feasible evaluation method and model for the implementation effect.On the basis of combing the evaluation practice in early literatures the evaluation research on the implementation effect of funding projects for a
7、cademic journals was systematically explored through theoretical construction and empirical research methods.In order to overcome many problems in the earlier evaluation practices an improved evaluation method for the implementation effect of the academic journal funding project based on the four-se
8、gment and multi-point-average difference-in-differences DID comparison between the experimental group and control group and the effect monitoring variable of the academic journal comprehensive performance index JPI based on academic quality and influence were proposed.Taking the Project for Enhancin
9、g International Impact of China STM Journals PIIJ as an example the evaluation index model of academic journal comprehensive performance index is constructed from the perspective of the project implementation goal.The empirical results of the funding effect evaluation of the three funded English jou
10、rnals in the discipline of mathematics from 2014 to 2019 can indicate that the method and model is worth promoting in the implementation effect evaluation practice of academic journal funding projects and the specific evaluation index model can be modified according to the specific project funding p
11、urpose to obtain better evaluation application effect.Key words funding projects for academic journals implementation effect evaluation difference-in-differences DID comparison method comprehensive performance index of academic journals theoretical construction中图分类号:G237.5 文献标志码:A为了加快世界一流期刊建设,促进我国学术
12、期刊事业快速发展,自 20 世纪 90 年代开始,国家就已陆续启动并持续实施了一系列推进期刊事业快速发展的资助政策1-2。特别是近十年来,相关资助项目的资助规模和资助力度增长明显,经综合统计,自 2012 年以来,国家层面的期刊资助项目立项总数已超2 600 刊次,立项经费投入高达 25 亿元之多;此外,为响应国家号召3,各省市也纷纷启动了相应的期刊资助与扶持项目。当前,无论是从立项布局还是从资助力度,已充分显示我国已初步形成了以国家层面的学术期刊资助政策为主,以地方层面的学术期刊资助政策为辅的期刊事业资助政策体系。当前,在关于深化改革培育世界一流科技期刊的意见关于推动学术期刊繁荣发展的意见等
13、相关文件精神的正确指导下,各级各类期刊资助项目有序推进,但在这些项目推进实施的过程中,我们也不得不思考另一些问题 各类期刊资助项目实施多年来,政府部门投入了大量的人力、财力和物力支持,这些项目到底发挥了什么作用,发挥了多大的作用?各类项目在各个阶段的实施效果又是如何?相关项目的实施方案、实施过程是否需要完善,怎样去完善等等。换而言之,为建设世界一流期刊,我们不仅需要继续努力争取更大的资助力度和更广的资助规模,而且也应该尽力做好这些资助项目组织实施效果的评估工作,以更大的资助力度和更广的资助规模评估促进资助体系建设,使之发挥更好更快的效果优势。44胡小洋,等 一种基于改进的 DID 模型和学术期
14、刊综合表现力指数的学术期刊资助项目实施效果评价方法构建实际上,在各类期刊资助项目陆续实施的过程中,已有一些学者对相关项目的实施效果进行过研究探讨。如王岩等4对国家自然科学基金重点学术期刊专项基金实施效果进行了系统分析研究,认为该资助政策在提高我国期刊的学术水平、整体质量及国际化程度中发挥了积极的促进作用;毛红霞等5通过统计分析 51 家获得教育部“名栏工程”建设项目资助期刊的名栏建设发展数据对该项目进行了整体评估,认为“名栏工程”建设成绩斐然,在高校哲学社会科学学术期刊领域着实发挥了引领与示范作用;许宏6通过梳理 20122017 年国家社科基金学术期刊资助“情况通报”信息对国家社会科学基金学
15、术期刊资助项目实施五年来的实施效果进行了整体分析;许晓阳等7、刘玉姝等8、佘诗刚等9、王燕10、甘可建等11、陈振英等12通过相关评价指标数据的统计分析,对中国科技期刊国际影响力提升计划项目相关阶段实施效果进行了评估研究。从某种意义上讲,这些研究成果对相关期刊资助项目实施过程均具有一定的参考价值。但需要指出的是,面对期刊资助项目实施效果评价研究的诸多细节,前人的诸多研究工作仍有不少提升空间,主要表现为:1)对项目实施效果评价理论掌握不够,所使用的评价方法需要继续完善;2)部分研究所选评价指标也相对单一,没有从期刊资助项目的实施目标出发构建全面的评价指标体系;3)大部分效果评价数据收集不完整,数
16、据产生的时间窗口与期刊资助政策作用的时间窗口也存在作用不一致的问题;4)没有分学科进行数据处理和评价比较,致使评价结果可信度不高等13。为此,本研究试图克服上述期刊资助项目实施效果评价研究的不足,努力构建一种基于期刊质量与影响力综合表现视角的期刊资助项目实施效果评价模型和评估方法,以期为后续期刊资助项目实施效果评价实践提供理论参考和实践支撑。本研究拟以“中国科技期刊国际影响力提升计划项目”(以下简称“提升计划”)为案例,通过对“提升计划”资助项目相关学科期刊获资助效果的评价实践来探究所提出的创新评价方案。选择以“提升计划”为案例,一是因为该期刊资助项目在我国期刊资助体系中具有重要的代表性,二是
17、因为该项目于 2013 年 9 月2019 年 8 月年连续实施两期后,所产生的资助效果在后续几年内已经得到了全面的释放和体现,能使相关评价数据收集更加全面和真实,为全面地评价期刊资助项目实施效果提供了保障。一、数据来源与方法构建 (一)“提升计划”项目运行数据据相关数据显示,中国科协等六部委分别从 2013 年开始组织实施“提升计划”,该项目主要资助由中国科协、教育部、中国科学院和中国工程院等主管的各学科领域具有较高国际影响力或具有较大提升潜质(抑或是填补国内英文科技期刊空白)的英文科技期刊。该项目 3 年启动一期,设置 A(200 万/年)、B(100万/年)、C(50 万/年)、D(50
18、 万/项)4 种资助类型,其中前 3 类资助每次连续资助 3 年,D 类资助为创刊成功后一次性拨付资助。第一期于 2013 年 9 月启动,共计资助 135 种期刊(不包含 2012 年评审的优秀国际科技期刊入选项目 25 项),其中,A 类期刊资助 15 家、B 类期刊资助 40 家、C 类期刊资助 50 家、D 类期刊资助 30 家,3 年共计资助经费达2.91 亿元;第二期项目于2016 年8 月启动,已资助期刊165 种,其中,A 类期刊资助 15 家、B 类期刊资助 40 家、C 类期刊资助 50 家、D 类期刊资助 60 家,3 年共计资助超过 3.15 亿元。“提升计划”项目在我
19、国世界一流科技期刊目标建设中产生了重要影响。(二)实施效果评估方法的设计科技期刊资助项目是具体用于提升科技期刊事业发展的科技政策之一,用于评价一般科技政策实施54XUESHU CHUBAN YU CHUANBO效果评价的基本理论和方法对科技期刊资助项目实施效果的评价同样具有借鉴价值。常用的科技政策实施效果评价主要有三种方法,即实施组两点前后比较、实施组三点两段前后比较、实施组-对照组四点两段前后比较14。但对于期刊资助项目实施效果的评估而言,这三种方法对数据收集处理的要求相对粗糙,只要求收集受资助前一个节点和资助完成后某一节点(或受资助中某一节点)的数据,实施组结果可能会因为这两个节点数据的突
20、然不正常造成对效果评价结果的较大误差,同时也忽略了对政策实施前后相同时段内的具体细节(如更多其他节点)的考察,在数据收集过程中隐含着较大概率的数据风险。为了在期刊资助项目实施效果评价中规避这一问题,我们特将原有的“实施组前后两段三点比较法”和“实施组-对照组前后两端四点比较法”有机结合起来,得到了改进的双重差分分析法(DID)“实施组-对照组四段多点平均前后比较法”模型,如图 1 所示。Ot和 Oc分别代表受资助前实施组和对照组的节点监测值,At和 Ac分别代表受资助后 T 时刻节点实施组和对照组的节点集合,而 Bt和 Bc分别代表受资助前-T 时刻节点实施组和对照组的节点集合,这些节点集合组
21、成四段,如图 1 所示,这四段各自对应的所有年份节点监测值的平均值分别为yAt、yAc、yBt和yBc,其中,y 为综合评估期刊质量和影响力的结局变量(即监测值),下标中t 和c分布代表实施组(treatment)和对照组(control),B 和 A 分别代表实施前(before)和实施后(after)。图 1 实施组-对照组四段多点平均值前后比较 DID 模型示意图改进的 DID 模型的核心做法是通过对单纯前后比较法(实施组前后两段三点比较法)和单纯截面比较法(实施组-对照组前后两端四点比较法)的结合处理,得到其需要构造的双重差分估计值(DID estimator),其计算过程如下。yA=
22、yAt-yAc,yB=yBt-yBc(1)y=yA-yB=(yAt-yAc)-(yBt-yBc)(2)式中:yA和 yB分别为资助项目执行后 0T 时段和执行前-T0 时段实施组与对照组所研究的结局变量的差分值;y 为双重差分估计值。(三)实施效果测度指标模型的构建“提升计划”项目实施的主要目的是从整体上提升受资助科技期刊的质量和影响力,因此,学术期刊资助政策执行后学术期刊的整体提升效果不仅体现在期刊内在质量上的提升,而且也会反映在期刊外在影响力上的提升,对“提升计划”项目实施效果进行科学评估必须构建一个能综合反映期刊质量和影响力的结局变量(y)。学术期刊质量是提供符合或超越读者所期待的学术信
23、息及其相关服务的能力或程度,是64胡小洋,等 一种基于改进的 DID 模型和学术期刊综合表现力指数的学术期刊资助项目实施效果评价方法构建学术期刊出版水平的综合体现,主要表现为内容上的先进性、重要性、创新性、科学性和出版上的规范性、及时性、可传播性等;而学术期刊影响力则是指期刊所传播的学术观点、思想、理念、理论、方法、发现、发明、事实、情感等内容,以及期刊的品牌,引发受众关注和思考,取得其认同,甚至改变其思维、观点和行为的能力15。学术期刊质量与学术期刊影响力既存在内在联系,也存在一定区别。为了方便描述学术期刊整体提升的效果,我们提出了学术期刊综合表现力的概念,并用学术期刊综合表现力指数(Jou
24、rnal Performance Index,JPI)函数来表征学术期刊在质量和影响力上的综合表现力。学术期刊综合表现力是学术期刊内在表现力和外在表现力的总和,是一个衡量学术期刊整体表现的综合概念,内在表现力主要体现在载文内容质量、办刊效率和传播质量等的综合表现,外在表现力主要反映载文内容在一定技术手段和传播方案保障下传播后所产生的外在社会影响上的综合表现。因此,学术期刊综合表现力指数表征的是学术期刊在整体表现上的综合情况。JPI 可用数学表达式表示如下。JPI(x,y)=Q(x)?I(y)(3)式中:Q(x)为内在质量产生的综合表现力;I(y)为外在影响体现的综合表现力;?表示 Q(x)与
25、I(y)并不是一种简单的加权关系。在以提升期刊质量和影响力为资助目标的期刊资助政策实施效果的评价中,将基于期刊质量和影响力的期刊综合表现力指数 JPI(x,y)作为期刊资助项目实施效果的研究结局变量,由式(2)可得基于改进的 DID 和 JPI 表征指标体系的学术期刊资助政策实施效果评价理论模型,即双重差分估计值表达式为JPI=JPIt-JPIc=(JPIAt-JPIAc)-(JPIBt-JPIBc)(4)式中:JPI 为资助效果结局变量(监测值),则 JPI 为多年资助效果结局变量的平均值,下标中 t 和 c 分别代表实施组(treatment)和对照组(control),B 和 A 分别代
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 一种 基于 改进 DID 模型 学术期刊 综合 表现力 指数 资助 项目 实施 效果 评价 方法 构建
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。