基于深度学习的事件抽取研究综述.pdf
《基于深度学习的事件抽取研究综述.pdf》由会员分享,可在线阅读,更多相关《基于深度学习的事件抽取研究综述.pdf(19页珍藏版)》请在咨信网上搜索。
1、基于深度学习的事件抽取研究综述*王浩畅1,周郴莲1,MariusGabrielPETRESCU21(东北石油大学计算机与信息技术学院,黑龙江大庆163318)2(UniversitateaPetrol-gazedinPloiesti,Bucharest100680,Romania)通信作者:周郴莲,E-mail:chenlian_摘要:事件抽取是从非结构化的自然语言文本中自动抽取用户感兴趣的事件信息,并以结构化的形式表示出来.事件抽取是自然语言处理与理解中的重要方向,在政府公共事务管理、金融业务、生物医学等不同领域有着很高的应用价值.根据对人工标注数据的依赖程度,目前基于深度学习的事件抽取方法
2、主要分为两类:有监督和远程监督学习方法.对当前深度学习中事件抽取技术进行了全面的综述.围绕有监督中 CNN、RNN、GAN、GCN 与远程监督等方法,系统地总结了近几年的研究情况,并对不同的深度学习模型的性能进行了详细对比与分析.最后,对事件抽取面临的挑战进行了分析,针对研究趋势进行了展望.关键词:事件抽取;有监督学习;深度学习;远程监督;信息抽取中图法分类号:TP18中文引用格式:王浩畅,周郴莲,MariusGabrielPETRESCU.基于深度学习的事件抽取研究综述.软件学报,2023,34(8):39053923.http:/ on Event Extraction Based on
3、Deep LearningWANGHao-Chang1,ZHOUChen-Lian1,MariusGabrielPETRESCU21(SchoolofComputerandInformationTechnology,NortheastPetroleumUniversity,Daqing163318,China)2(UniversitateaPetrol-gazedinPloiesti,Bucharest100680,Romania)Abstract:Event extraction is to automatically extract event information in which u
4、sers are interested from unstructured natural languagetextsandexpressitinastructuredform.Eventextractionisanimportantdirectioninnaturallanguageprocessingandunderstandingandisof high application value in different fields,such as government management of public affairs,financial business,and biomedici
5、ne.Accordingtothedegreeofdependenceonmanuallylabeleddata,thecurrenteventextractionmethodsbasedondeeplearningaremainlydivided into two categories:supervised learning and distantly-supervised learning.This article provides a comprehensive overview ofcurrent event extraction techniques in deep learning
6、.Focusing on supervised methods such as CNN,RNN,GAN,GCN,and distantsupervision,this study systematically summarizes the research in recent years.Additionally,the performance of different deep learningmodels is compared and analyzed in detail.Finally,the challenges facing event extraction are analyze
7、d,and the research trends areforecasted.Key words:eventextraction;supervisedlearning;deeplearning;distantsupervision;informationextraction随着云计算与大数据时代的迅速推进,计算机已经是人们平时获取信息最重要的途径.从各种数据形式中获取最有用的、潜在的信息已成为人们关注的重点方向,信息抽取技术应运而生.信息抽取就是从海量的文本、图片和视频等数据里面自动抽取用户需要的结构化信息的过程.事件抽取作为信息抽取技术的主要分支之一,同时*基金项目:国家自然科学基金(61
8、402099,61702093)收稿时间:2020-12-22;修改时间:2021-06-28,2021-08-18;采用时间:2022-01-13;jos 在线出版时间:2022-05-24CNKI 网络首发时间:2023-03-17软件学报ISSN1000-9825,CODENRUXUEWE-mail:Journal of Software,2023,34(8):39053923doi:10.13328/ki.jos.006645http:/中国科学院软件研究所版权所有.Tel:+86-10-62562563还是该方向最有挑战性的任务之一.事件抽取一直吸引着许多研究机构和学者,如消息理解会
9、议(messageunderstandingconference,MUC)1和自动内容抽取(automaticcontentextraction,ACE)会议2就把事件抽取作为典型任务.事件抽取任务研究是从非结构化的自然语言文本中自动抽取用户感兴趣的事件信息并以结构化的形式表示3,融合了来自计算机科学、语言学、数据挖掘、人工智能和知识建模等多个领域的知识和经验,对人们了解社会有着深远的影响.事件抽取在不同领域中具有许多应用,例如结构化事件能够直接扩充知识库并进行逻辑推理.事件检测与监控一直是政府公共事务管理的重点,实时了解社会事件的爆发和演变有助于对其迅速做出反应并采取措施.在金融业务领域,事
10、件抽取可以帮助公司快速发现产品的市场响应并推断信号以执行风险分析、评估等操作.在生物医学领域,事件抽取能够识别生物分子(例如基因或蛋白质)状态的变化,以及它们之间的相互作用.事件抽取在应用需求的推动下展开,由人工标注数据的依赖情况可以将目前基于深度学习的事件抽取方法主要分为两类:有监督和远程监督学习方法.本文首先简单介绍深度学习中事件抽取的发展,再从事件抽取研究的方法,对其发展状况和技术推进两个维度全面阐述事件抽取的工作,然后概述了深度学习中事件抽取的数据集及对评价指标进行分析,最后讨论了事件抽取中面临的挑战及研究趋势,并对其进行了总结和展望.1 事件抽取的发展20 世纪 80 年代末,事件抽
11、取的研究开始蓬勃发展,其中耶鲁大学、MUC 会议、ACE 会议和文本分析会议(textanalysisconference,TAC)4的相关测评都推动着事件抽取技术的快速发展,情况如表 1 所示.表1事件抽取有关的描述机构/会议事件抽取任务描述应用领域/语言成果耶鲁大学开创了事件类型识别的研究,同时也进行了事件理解的研究新闻热点话题信息分类信息抽取系统的设计与实现MUC会议定义了各种概念、模型的规范以及完整的评估系统,提出了采用模板抽取整个事件场景新闻报道为事件抽取研究奠定了坚实的基础ACE会议将事件抽取描述为一项任务,即从文本中识别事件并抽取事件论元不受特定领域与方案的限制事件抽取的准确性和
12、多样性取得了重大进展TAC-KBP将事件抽取描述为自动抽取文本中特定类型的事件属性的过程中文,英文,西班牙语提供了大量的语料库MUC 会议每两年举办一次,主要是美国国防部高级研究计划局(defenseadvancedresearchprojectsagency,DARPA)1赞助的.它从 19871997 年总共举办了 7 届,积极推动了事件抽取研究方向的确定与后续发展的方向.ACE 会议是 MUC 的延伸,在大量的应用需求下,1999 年美国国家标准与技术研究院(nationalinstituteofstandardsandtechnology,NIST)2组织的 ACE 评测会议开始发展起
13、来.ACE 从 20002007 年共举办了 8 届,这是事件抽取领域最有影响力的评测会议.TAC 会议是 NIST 在 2008 年成立的,自 2009 年开始 ACE 就成为 TAC 中的一个子任务.随着云计算和大数据时代的到来,数据呈爆炸式增长,上述测评会议所发布的依靠人工标注方式获得的语料库已经无法满足需求.2014 年 TAC 增加了知识库生成(knowledgebasepopulation,KBP)4评测任务,同时也增加了事件抽取的任务.如今,事件抽取已成为 TAC-KBP 公开评测的主要任务,可以从大型文本语料库中自动抽取事件信息,完成对知识库中不足论元5的补充.传统基于特征的方
14、法是利用人工构建事件候选触发词与论元,这会导致模型的扩展性和移植性较差.而机器学习方法在特征提取过程容易出现误差传播问题,极大影响事件抽取模型的性能.随着深度学习的崛起,研究者们逐渐将深度学习方法引入事件抽取任务中,大量基于有监督的卷积神经网络(convolutionalneuralnetworks,CNN)6、递归神经网络(recurrentneuralnetworks,RNN)7、生成对抗网络(generativeadversarialnetworks,GAN)8、图卷积网络(graphconvolutionalnetworks,GCN)9与远程监督方法的事件抽取模型被提出.3906软件学
15、报2023 年第 34 卷第 8 期 2 事件抽取研究的方法近年来,深度学习技术已广泛用于复杂结构的建模,并验证了对许多 NLP 任务都有效,例如机器翻译10、关系抽取11和情感分析12等.双向长期短期记忆(bi-directionallongshort-termmemory,Bi-LSTM)模型13是一种双向 RNN,可以捕获前后上下文中每个单词的信息,同时利用其信息对单词表示进行建模.CNN 是另一种有效的模型,可以提取事件语义表示同时捕获其结构特征.事件抽取在应用需求的推动下展开,由人工标注数据的依赖程度可以将目前基于深度学习的事件抽取方法主要分为两类:有监督和远程监督学习方法.有监督学
16、习在训练过程中使用人工标注的数据集,而远程监督的学习方法通过对齐远程知识库自动对语料进行标注来获取带标记语料数据,具体比较情况如表 2 所示.表2有监督与远程监督学习方法对比方法主要思想优势劣势有监督对实体和文本通过特征工程或表征学习来提取句法或语义信息人工标注语料,具有较高的准确率标注成本高、效率低,导致训练数据缺乏且移植性较差远程监督将大量的无标注语料与现有的知识库进行对齐,从而快速地构建大规模监督语料构建语料效率高、成本低知识库不充分,不能保证语料的质量,且数据严重不均衡 2.1 基于深度学习的有监督事件抽取在有监督中运用深度学习方法进行事件抽取,已经成为这几年事件抽取的热门研究方向.表
17、 3 整理了深度学习框架下有监督事件抽取的经典模型1428.其中,模型主要是改进 CNN、RNN 输入特征或网络结构,比如添加不同特征、结合多种注意力机制和引入依存树等挖掘更深层次事件语义信息来提升其性能.下面对相关模型进行深入研究和分析.表3有监督事件抽取的经典模型方法模型名称创新优势劣势提出年份及机构CNNDMCNN14设计了一个动态多池卷积神经网络自动抽取词汇级和句子级信息单独预测所有候选论元,捕获远程依赖的效率低2015年ACLCNN15率先将卷积神经网络用于检测事件自动学习及抽取有效特征单独预测所有候选论元,没有考虑它们的相互作用2015年ACLNC-CNN16率先使用非连续CNN捕
18、获预测触发词所必须的远程和非连续的依赖捕获不必要与嘈杂信息2016年ACLHMEAE17提供事件论元角色的概念层有效的归纳偏差捕获论元的概念相关性忽略了事件论元的相关性,捕获远程依赖的效率低2019年EMNLPBi-LSTM-CNN18不依赖任何语言,不需要特征工程捕获特定上下文的序列信息和语义信息忽略了事件的相互依赖性,产生错误传播2016年ACLRNNJRNN19率先用神经网络进行联合事件抽取同时识别事件触发词和论元角色忽略了事件的依赖性及论元的相关性,容易出现错误传播2016年NAACLBDLSTM-TNNs20设计了一个双向动态多池长短期记忆张量神经网络自动抽取,捕获论元间的相互作用忽
19、略了事件的相互依赖性,会出现事件歧义2016年CCLdbRNN21设计了一个依赖桥递归神经网络明确了事件的语法信息忽略了事件论元的相关性2018年AAAIDAG-GRU22语法信息与注意力机制结合捕获上下文和句法信息语法链接会出现干扰,降低了语言信息的可用性和可靠性2018年EMNLPHBTNGMA23设计了一个门控多层注意力机制自动抽取并动态集成句子级和文档级信息忽略了事件的依赖性,会出现错误传播的问题2018年EMNLPTLNN24设计了一个触发感知Lattice网络解决触发不匹配和多义触发忽略了事件的依赖性2019年EMNLP王浩畅等:基于深度学习的事件抽取研究综述39072.1.1基于
20、 CNN 模型的事件抽取方法CNN 模型能够自动抽取有效特征进行事件抽取与识别任务,自动使用最大池化层获取整个句子的表示形式,捕获最有价值的信息.Chen 等人14和 Nguyen 等人15在 2015 年率先尝试使用 CNN29自动抽取有效特征进行事件抽取和识别任务,由此避免了特征提取中的错误传播以及使用复杂的 NLP 工具包的问题.其中,Chen 等人14将事件类型特征用于论元角色分类任务,提出了一种基于动态多池卷积神经网络(DMCNN),如图 1 所示.他们都在 Li 等人30事件类型识别结果的基础上进行了对比实验,其中 F1 值分别提高了 1.6%和 1.5%,验证了事件类型特征的有效
21、性.acameramandiedwhenanAmericantankfiredon句子级特征输入卷积动态多池化OWFPFEFmax(c11)max(c12)max(c13)Feature map 3Feature map 2Feature map 1词嵌入学习词汇级特征表示论元分类器输出句子级特征抽取图1DMCNN 事件抽取模型论元分类阶段体系结构142016 年,Nguyen 等人16在 Lei 等人31的非连续 n-gram 的基础上,提出了一种基于卷积神经网络的 skip-grams事件检测模型(NC-CNN).与 Lei 等人工作的不同之处在于,他们通过位置嵌入模拟句子中触发候选词的相
22、对距离.实验结果表明,他们在 2015 年事件识别15F1 值为 69.0%的基础上提高了 2.3%,验证了使用非连续 n-gram机制进行事件检测优于传统的 CNN 模型.Zhang 等人32则结合文本特征和视觉模型提出了一种多模态的事件抽取方法.在 ACE2005 数据集上,该方法进行事件触发标签和论元标签的实验的 F1 值分别提高了 7.1%和 8.5%.与前面工作不同的是,Liu 等人33将事件检测和词义消歧当作两个相似的任务.他们利用两个单独的 CNN 模型对其上下文建模,匹配两项任务中特征相似的神经表示.通过实验对比了多种深度学习模型,验证了其模型的效果,而且他们的方法还不依赖于手
23、工注释的事件实体提及.除了上述基于单一模型的深度学习方法在事件抽取中的应用,还有一些基于混合模型的方法.2019 年,Lin 等人34利用错误预测的数据重新构造模型训练的损失函数,提出了一种基于 CNN 与 RNN 联合的代价敏感正则化方法(CR-INS).通过实验证明,他们的方法可以提高神经网络事件检测模型的性能.Wang 等人17发现事件抽取中的方法大部分都是将每个论元角色单独分类,而忽略了不同论元之间的概念相关性.他们提出了一种分层模块化表3有监督事件抽取的经典模型(续)方法模型名称创新优势劣势提出年份及机构GANSELF25设计了一种自调节学习方法避免错误及虚假的特征信息抽取全局特征时
24、,会受到噪声的负面影响2018年ACLAEM26率先将对抗训练用于开放域事件抽取可以从长文本生成论元会产生无关事件,处理较长文章时模型准确率下降2019年EMNLPGCNGCN-ED27率先把语法信息集成到神经事件检测图卷积网络捕获句法信息破坏了相邻词表示的多样性2018年AAAIMOGANED28率先将GAT应用于事件检测的研究用一阶句法图和高阶句法图来显式地模拟候选触发词的多阶表示触发词预测不准确,事件类型存在歧义2019年EMNLP3908软件学报2023 年第 34 卷第 8 期事件论元抽取模型(HMEAE).在 ACE2005 数据集上的实验表明,该方法比 DMCNN 模型的 F1
25、值提高了 5.8%.由于生物医学领域的事件结构较复杂,深度学习方法应用相对较少,但是近几年也取得了一定的进步.2018 年,Li 等人35为了解决生物医学事件抽取中复杂触发词的问题,提出了一种并行多池卷积神经网络(PMCNN),可以捕获句子的语义特征.实验结果表明,在 MLEE 数据集36上进行触发词识别的任务 F1 值达到了 59.65%,比以前的工作提高了 2.24%.2020 年,Zhu 等人37和 Ramponi 等人38都结合深度学习方法进行了生物医学事件抽取的研究.Zhu 等人37忽略了生物医学事件的交互性,将其分解为简单子任务,提出了一种混合深度神经网络的事件组合策略方法.在 M
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 深度 学习 事件 抽取 研究 综述
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。