高颠覆因子论文学术影响力评价研究_郭丽娜.pdf
《高颠覆因子论文学术影响力评价研究_郭丽娜.pdf》由会员分享,可在线阅读,更多相关《高颠覆因子论文学术影响力评价研究_郭丽娜.pdf(9页珍藏版)》请在咨信网上搜索。
1、19高颠覆因子论文学术影响力评价研究郭丽娜,周群2023年第19卷第3期摘要:颠覆因子是基于引文网络识别和探测颠覆性研究的新兴指标。研究高颠覆因子论文的计量特征及其学术影响力,不仅有助于丰富论文评价体系,也有利于对颠覆性研究识别方法的补充和完善。以19542014年PubMed中被Web of Science收录的12 472 382篇论文为总数据集,统计20052014年高颠覆因子论文的发表年、引用分布等计量特征。在比较高颠覆因子论文学术影响力指标的基础上,改进“公平性测试”方法,深入探究颠覆因子与Altmetrics指标、引文分析指标的相关性,并试图探讨开放获取对高颠覆因子论文各指标的影响
2、。从描述性统计来看,高颠覆因子论文的被引频次差异较大,来源期刊集中于欧美地区的JCR Q1区权威医学期刊和综合性期刊;从学术影响力指标来看,高颠覆因子论文的学术影响力差异较大,可将颠覆因子作为评价论文创新力的补充指标,且在高颠覆因子论文中,开放获取论文的各评价指标值均显著高于传统付费论文,更易表现出高社会关注度和高影响力。关键词:颠覆性研究;颠覆因子;高颠覆因子论文;学术影响力;公平性测试中图分类号:G350 DOI:10.3772/j.issn.1673-2286.2023.03.003引文格式:郭丽娜,周群.高颠覆因子论文学术影响力评价研究J.数字图书馆论坛,2023(3):19-27.郭
3、丽娜1 周群2(1.山东师范大学图书馆,济南 250014;2.中国农业大学图书馆,北京 100193)高颠覆因子论文学术影响力评价研究 收稿日期:2023-02-15当今世界正处于新科技革命和产业革命的交汇点,基础研究与应用研究交叉渗透,科学研究与技术创新紧密融合,更多战略性颠覆性研究或技术不断涌现,深刻影响社会经济、政治和科技面貌。颠覆性研究又称科学突破,其原创程度相对高于渐进性研究,能够挑战或颠覆原有创新范式,开辟新范式或新领域,代表着科学创新进程中最具前瞻性的发展方向。颠覆性研究识别方法是科技政策制定者和科技情报工作者关注的研究热点和前沿议题。目前在情报学领域,颠覆性研究的识别方法主要
4、分两类。一类是基于引文特征识别颠覆性研究,例如:Du等1从颠覆性研究的超前性和不确定性出发,利用引文曲线特征提出“延迟承认指数”来识别颠覆性研究;也有学者通过测度参考文献的“平均年龄”、组合新颖性等特征识别颠覆性研究2-3;Huang等4基于颠覆性研究改变原有引文路径提出“破裂分数”,用于识别颠覆性研究。另一类是基于文本特征识别颠覆性研究,例如:Small等5分析施引语句后发现,颠覆性研究的引用内容中“first identified”等评价性词语词频较高;杨雪梅等6对已有颠覆性研究摘要和引文语料中的特征词进行提取以预测颠覆性研究。目前主要有两种评价论文学术影响力的方法:一是基于引文分析的传统
5、评价方法,主要表现为应用被引频次、期刊影响因子等引文指标,存在时滞较长、指标片面、引用情感不明等局限性7-8;二是基于Altmetrics的新型评价方法9-10,其通过衡量论文受网络关注程度,更加全面、即时地反映学术影响力11。部分学者认为二者互为补充,可据此从多个维度构建更为全面、系统的学术影响力评价体系12-13。颠覆因子(Disruption)14引发了相关研究人员的关注,其基于引文关系测度论文颠覆性,迅速成为识别颠覆性研究的新兴指标。本文通过构建高颠覆因子论文数据集,基于对其计量特征的考察,信息分析202023年第19卷第3期从引文分析与Altmetrics指标两个维度出发,引入“公平
6、性测试”方法来评价高颠覆因子论文的学术影响力。1 相关研究颠覆因子源自Funk等15基于引文网络特征提出的新型测度指标,该指标通过判断新专利对已有专利引文网络的巩固或破坏程度来判断新发明对现有技术是否造成颠覆性影响,进而评估新发明的颠覆性。基于这一思路,Wu等14将该指标改进后定义为颠覆因子D,通过比较两种施引文献(只引用焦点文献、同时引用焦点文献及其参考文献)的概率差值来测度研究的颠覆性。具体而言,D0,表示焦点文献具有颠覆性,D越接近1则焦点文献颠覆性越强;D1/2(Da+Dc)且Tb1/2(Ta+Tc)Db1/2(Da+Dc)且Tb1/2(Da+Dc)且Tb1/2(Ta+Tc)Db1/2
7、(Ta+Tc)无效其他计算结果3 研究结果3.1 描述性统计高颠覆因子论文的发表年及该年Citations分布如图2所示。从整体上看,论文年发表量与Citations均呈现波动下降趋势,这与颠覆因子存在时滞性有关,据此可按年发表量分两个阶段:第一阶段为20052010年,高颠覆因子论文占比达到83.6%,论文发表量最多的年份(2006年)也出自本阶段,该年共产出84篇高颠覆因子论文;第二阶段为20112014年,这一阶段论文的年发表量显著低于上一阶段,且论文年发表量最少的年份(2014年)也来自该阶段,该年共产出6篇高颠覆因子论文。此外,Citations同样波动性较大,Citations值最
8、高的年份为2008年,达98 467,最低的年份为2014年,为278。此外,来自期刊The Lancet的论文“How prepared is Europe for pandemic influenza?Analysis of national plans”虽然Citations值仅为56,其颠覆因子排名却在较为靠前的第30位,这说明颠覆因子与Citations可能无必然相关性。图2 高颠覆因子论文的发表年及Citations分布020 00040 00060 00080 000100 000120 0000102030405060708090200520062007200820092010
9、2011201220132014论文发表量/篇发表年份Citations值论文发表量Citations值高颠覆因子论文的主要来源期刊分布(发表量Top 10)如表3所示。可以看出,高颠覆因子论文主要来源期刊均为欧美地区的JCR Q1区权威期刊,且医学期刊占大多数,这与本研究数据取自PubMed数据库有关。其中,The New England Journal of Medicine(NEJM)、The Lancet、British Medical Journal(BMJ)和The Journal of the American Medical Association(JAMA)为医学领域四大权威
10、期刊,同时NEJM、The Lancet及CA-A Cancer Journal for Clinicians为2020年全球影响因子Top 10期刊。除医学类期刊外,主要来源还有综合性期刊Science、Na-ture以及环境科学与生态学类期刊Health Affairs。从篇均被引频次和影响因子上看,CA-A Cancer Jour-nal for Clinicians的影响因子(508.702)和篇均被引频次(8 403.20)均最高。大多数论文具有较高的被引频次,所在期刊影响因子较高。表3 高颠覆因子论文的来源期刊分布来源期刊论文发表量/篇篇均被引频次/次影响因子NEJM31210.6
11、191.245The Lancet26559.1279.321Science26645.8547.728Nature21214.8649.962BMJ21195.0039.890Health Affairs11228.736.301JAMA11118.2756.272CA-A Cancer Journal for Clinicians108 403.20508.702Waste Management9108.347.145American Journal of Public Health8136.509.30823高颠覆因子论文学术影响力评价研究郭丽娜,周群2023年第19卷第3期3.2 高颠
12、覆因子论文学术影响力分析3.2.1 颠覆因子与各指标相关性分析要分析高颠覆因子论文的颠覆因子与Citations、Usage、Captures、Mentions、Social Media、FWCI指标的相关性,先要通过假设检验判断数据正态性,以确定合适的相关性分析方法。经显著性检验发现,颠覆因子与其他6个指标的检验结果均为0,低于显著性水平0.05,即各指标不服从正态分布,因此选择Spearman相关性分析。颠覆因子与各指标的相关性分析结果如表4所示。表4 颠覆因子与各指标的Spearman相关性分析结果指 标相关性/显著性指 标颠覆因子CitationsUsageCapturesMentio
13、nsSocial MediaFWCI颠覆因子相关性1显著性Citations相关性0.154*1显著性0.001Usage相关性0.0010.0431显著性0.9790.377Captures相关性0.108*0.737*0.409*1显著性0.02500Mentions相关性0.109*0.376*0.0730.349*1显著性0.02500.1330Social Media相关性0.0250.106*0.098*0.185*0.115*1显著性0.6030.0290.04400.017FWCI相关性0.0710.627*-0.115*0.353*0.208*0.133*1显著性0.1450
14、0.017000.006注:“显著性”均为双侧检验结果;“*”表示在0.01水平上显著相关,“*”表示在0.05水平上显著相关。经计算,颠覆因子与其他6个学术影响力评价指标的相关性均低于0.2,可见颠覆因子与各学术影响力评价指标存在极弱的相关性。但以上相关性分析方法并不能消除引用时间窗的影响,因此需要设计实验以进一步验证颠覆因子与各指标是否具有相关性。3.2.2 “公平性测试”结果分析采用“公平性测试”方法,以427篇高颠覆因子论文为样本,将论文按发表顺序排序并编号为1427,每3篇论文为1组比较对象,如第1组为论文1、2、3,其中论文1、3为参照。由于发表时间最早和最晚的两篇论文不具有完整的
15、前后参照对象,故最终得到425组比较对象,对这425组测试结果进行分组计算、比较。“公平性测试”结果及相关性排序变化见表5。由“公平性测试”结果可知,成功次数与失败次数差异不明显,颠覆因子与其他6个指标相关性极弱,这与上文的相关性分析结果整体相吻合。其中,Mentions成功率最高,为57%。由表5可知,经过“公平性测试”方法修正后,颠覆因子与其他6个指标的相关性发生变化:测试前指标按相关性由高到低排序依次为Ci-tations、Mentions、Captures、FWCI、Social Media、Usage,测试后依次为Mentions、FWCI、Citations、Social Medi
16、a、Captures、Usage。消除引用时间窗的影响后,与颠覆因子相关性较高的指标(如Citations、Captures)排序下降,而与颠覆因子相关性较低的指标(如Mentions、FWCI)排序上升,可见消除引用时间窗的干扰能够在一定程度上减小颠覆因子与其他指标的差距。一方面,在测试后相关性排序上升的指标中,FWCI指标排序上升最多,这与目前的颠覆因子计算方式并未区分不同学科有关。通过“公平性测试”在一定程度上减小了学科差异,提高了相关性分析结果的准确性。鉴于此,后续可将克服学科差异性考虑在内,进一步改进颠覆因子算法,以提高颠覆因子识别颠覆性研究的准确率。与社交媒体传播相关的指标Ment
17、ions和Social Media在测试后相关性排序同样有所上升。这两类指242023年第19卷第3期标也是Altmetrics得分计算过程中权重最大的指标,其中Mentions能够衡量读者被研究吸引的程度,涉及与该研究相关的博客文章、评述及维基百科链接等,而Social Media能够计量研究成果的相关点赞、转发及推文数量。可见在消除引用时间窗影响的测试环境下,高颠覆因子论文更易获得相对较高的社交网络关注度,这与颠覆性研究多为革命性科学突破有关:一旦发表后便引起学界乃至整个社会的爆发式关注和传播,且影响深远、广泛,长期处于高被引状态,诺贝尔奖获奖论文即属于代表性颠覆性研究。另一方面,测试后相
18、关性排序下降最多的指标为Ci-tations和Captures。尽管颠覆因子是基于被引频次进行计算的,但是在规避掉因被引频次过低而使颠覆因子出现不一致性的情况后,颠覆因子受被引频次影响的程度大大降低,进而提高了分析结果的信度和效度。这也表明在同等条件下,高颠覆因子与被引频次的关系较弱,拥有高颠覆因子的科技论文未必具有较高的学术影响力。Captures能够通过追踪用户将论文加入书签、收藏夹及成为关注者等情况来表征用户的持续访问意愿,相对而言,Captures与高颠覆因子无直接关联。综上,基于“公平性测试”发现,高颠覆因子论文的被引频次具有较大差异,颠覆因子与被引频次呈弱相关关系,即高颠覆因子论文
19、未必具有较高的学术影响力。颠覆因子通过分析论文的前后向引用关系来表征论文的创新性,其测度角度不同于其他论文影响力评估指标,可作为评价论文创新性的补充指标。3.3 出版模式对高颠覆因子论文学术影响力的影响采用非参数检验方法,从统计学角度比较分析OA论文与传统付费论文在各统计指标上是否存在差异,Mann-Whitney U检验与显著性检验结果见表6和表7。从表6和表7能够判断,OA论文与传统付费论文在颠覆因子、Mentions和Social Media这3个统计项上具有显著差异,且OA论文的各统计项数值均显著高于传统付费论文。表6 高颠覆因子论文各指标的Mann-Whitney U检验结果指标出版
20、模式论文数量/篇秩均值秩和颠覆因子OA195229.5244 756.40付费232200.9646 622.72CitationsOA195225.9144 052.45付费232203.9947 325.68UsageOA195214.9141 907.45付费232213.2449 471.68CapturesOA195223.6743 615.65付费232205.8747 761.84MentionsOA195230.0744 863.65付费232200.4946 513.68Social MediaOA195236.8646 187.70付费232194.7845 188.96F
21、WCIOA195224.4443 765.80付费232205.2247 611.04研究结果在一定程度上表明,OA出版模式的高颠覆因子论文更易被学者广泛阅读和引用,其颠覆性更容易外显。高颠覆因子论文本身多发表在领域顶级期刊上,其研究内容往往是公众关注的焦点问题,OA的便利性使得这类论文得到更多的点赞、评论、分享及媒体宣传等,在得到大量引用的同时,更容易表现出高社会关注度和高影响力。4 结论本研究旨在评价高颠覆因子论文的学术影响力,表5 “公平性测试”结果及相关性排序变化指标成功次数/次失败次数/次成功率/%失败率/%相关性排序测试前测试后变化Mentions2441815743211FWCI
22、2242015347422Citations2232025248132Social Media2202055248541Captures2152105149352Usage2012244753660注:“”表示排序上升,“”表示排序下降,“0”表示排序不变。25高颠覆因子论文学术影响力评价研究郭丽娜,周群2023年第19卷第3期进一步探讨颠覆因子的特征及适用性,以充分发挥颠覆因子在计量指标体系和科技评价中的作用。研究发现:(1)从发表年和Citations分布上看,高颠覆因子论文的整体发表量受引用时间窗的影响,呈波动下降趋势,且高颠覆因子论文的被引频次具有较大差异;从来源期刊分布上看,应用型领
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 颠覆 因子 论文 学术 影响力 评价 研究 郭丽娜
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。