基于深度学习的事件抽取研究综述.pdf

基于深度学习的事件抽取研究综述*王浩畅1,周郴莲1,MariusGabrielPETRESCU21(东北石油大学计算机与信息技术学院,黑龙江大庆163318)2(UniversitateaPetrol-gazedinPloiesti,Bucharest100680,Romania)通信作者:周郴莲,E-mail:chenlian_摘要:事件抽取是从非结构化的自然语言文本中自动抽取用户感兴趣的事件信息,并以结构化的形式表示出来.事件抽取是自然语言处理与理解中的重要方向,在政府公共事务管理、金融业务、生物医学等不同领域有着很高的应用价值.根据对人工标注数据的依赖程度,目前基于深度学习的事件抽取方法主要分为两类:有监督和远程监督学习方法.对当前深度学习中事件抽取技术进行了全面的综述.围绕有监督中 CNN、RNN、GAN、GCN 与远程监督等方法,系统地总结了近几年的研究情况,并对不同的深度学习模型的性能进行了详细对比与分析.最后,对事件抽取面临的挑战进行了分析,针对研究趋势进行了展望.关键词:事件抽取;有监督学习;深度学习;远程监督;信息抽取中图法分类号:TP18中文引用格式:王浩畅,周郴莲,MariusGabrielPETRESCU.基于深度学习的事件抽取研究综述.软件学报,2023,34(8):39053923.http:/ on Event Extraction Based on Deep LearningWANGHao-Chang1,ZHOUChen-Lian1,MariusGabrielPETRESCU21(SchoolofComputerandInformationTechnology,NortheastPetroleumUniversity,Daqing163318,China)2(UniversitateaPetrol-gazedinPloiesti,Bucharest100680,Romania)Abstract:Event extraction is to automatically extract event information in which users are interested from unstructured natural languagetextsandexpressitinastructuredform.Eventextractionisanimportantdirectioninnaturallanguageprocessingandunderstandingandisof high application value in different fields,such as government management of public affairs,financial business,and biomedicine.Accordingtothedegreeofdependenceonmanuallylabeleddata,thecurrenteventextractionmethodsbasedondeeplearningaremainlydivided into two categories:supervised learning and distantly-supervised learning.This article provides a comprehensive overview ofcurrent event extraction techniques in deep learning.Focusing on supervised methods such as CNN,RNN,GAN,GCN,and distantsupervision,this study systematically summarizes the research in recent years.Additionally,the performance of different deep learningmodels is compared and analyzed in detail.Finally,the challenges facing event extraction are analyzed,and the research trends areforecasted.Key words:eventextraction;supervisedlearning;deeplearning;distantsupervision;informationextraction随着云计算与大数据时代的迅速推进,计算机已经是人们平时获取信息最重要的途径.从各种数据形式中获取最有用的、潜在的信息已成为人们关注的重点方向,信息抽取技术应运而生.信息抽取就是从海量的文本、图片和视频等数据里面自动抽取用户需要的结构化信息的过程.事件抽取作为信息抽取技术的主要分支之一,同时*基金项目:国家自然科学基金(61402099,61702093)收稿时间:2020-12-22;修改时间:2021-06-28,2021-08-18;采用时间:2022-01-13;jos 在线出版时间:2022-05-24CNKI 网络首发时间:2023-03-17软件学报ISSN1000-9825,CODENRUXUEWE-mail:Journal of Software,2023,34(8):39053923doi:10.13328/ki.jos.006645http:/中国科学院软件研究所版权所有.Tel:[phone]还是该方向最有挑战性的任务之一.事件抽取一直吸引着许多研究机构和学者,如消息理解会议(messageunderstandingconference,MUC)1和自动内容抽取(automaticcontentextraction,ACE)会议2就把事件抽取作为典型任务.事件抽取任务研究是从非结构化的自然语言文本中自动抽取用户感兴趣的事件信息并以结构化的形式表示3,融合了来自计算机科学、语言学、数据挖掘、人工智能和知识建模等多个领域的知识和经验,对人们了解社会有着深远的影响.事件抽取在不同领域中具有许多应用,例如结构化事件能够直接扩充知识库并进行逻辑推理.事件检测与监控一直是政府公共事务管理的重点,实时了解社会事件的爆发和演变有助于对其迅速做出反应并采取措施.在金融业务领域,事件抽取可以帮助公司快速发现产品的市场响应并推断信号以执行风险分析、评估等操作.在生物医学领域,事件抽取能够识别生物分子(例如基因或蛋白质)状态的变化,以及它们之间的相互作用.事件抽取在应用需求的推动下展开,由人工标注数据的依赖情况可以将目前基于深度学习的事件抽取方法主要分为两类:有监督和远程监督学习方法.本文首先简单介绍深度学习中事件抽取的发展,再从事件抽取研究的方法,对其发展状况和技术推进两个维度全面阐述事件抽取的工作,然后概述了深度学习中事件抽取的数据集及对评价指标进行分析,最后讨论了事件抽取中面临的挑战及研究趋势,并对其进行了总结和展望.1 事件抽取的发展20 世纪 80 年代末,事件抽取的研究开始蓬勃发展,其中耶鲁大学、MUC 会议、ACE 会议和文本分析会议(textanalysisconference,TAC)4的相关测评都推动着事件抽取技术的快速发展,情况如表 1 所示.表1事件抽取有关的描述机构/会议事件抽取任务描述应用领域/语言成果耶鲁大学开创了事件类型识别的研究,同时也进行了事件理解的研究新闻热点话题信息分类信息抽取系统的设计与实现MUC会议定义了各种概念、模型的规范以及完整的评估系统,提出了采用模板抽取整个事件场景新闻报道为事件抽取研究奠定了坚实的基础ACE会议将事件抽取描述为一项任务,即从文本中识别事件并抽取事件论元不受特定领域与方案的限制事件抽取的准确性和多样性取得了重大进展TAC-KBP将事件抽取描述为自动抽取文本中特定类型的事件属性的过程中文,英文,西班牙语提供了大量的语料库MUC 会议每两年举办一次,主要是美国国防部高级研究计划局(defenseadvancedresearchprojectsagency,DARPA)1赞助的.它从 19871997 年总共举办了 7 届,积极推动了事件抽取研究方向的确定与后续发展的方向.ACE 会议是 MUC 的延伸,在大量的应用需求下,1999 年美国国家标准与技术研究院(nationalinstituteofstandardsandtechnology,NIST)2组织的 ACE 评测会议开始发展起来.ACE 从 20002007 年共举办了 8 届,这是事件抽取领域最有影响力的评测会议.TAC 会议是 NIST 在 2008 年成立的,自 2009 年开始 ACE 就成为 TAC 中的一个子任务.随着云计算和大数据时代的到来,数据呈爆炸式增长,上述测评会议所发布的依靠人工标注方式获得的语料库已经无法满足需求.2014 年 TAC 增加了知识库生成(knowledgebasepopulation,KBP)4评测任务,同时也增加了事件抽取的任务.如今,事件抽取已成为 TAC-KBP 公开评测的主要任务,可以从大型文本语料库中自动抽取事件信息,完成对知识库中不足论元5的补充.传统基于特征的方法是利用人工构建事件候选触发词与论元,这会导致模型的扩展性和移植性较差.而机器学习方法在特征提取过程容易出现误差传播问题,极大影响事件抽取模型的性能.随着深度学习的崛起,研究者们逐渐将深度学习方法引入事件抽取任务中,大量基于有监督的卷积神经网络(convolutionalneuralnetworks,CNN)6、递归神经网络(recurrentneuralnetworks,RNN)7、生成对抗网络(generativeadversarialnetworks,GAN)8、图卷积网络(graphconvolutionalnetworks,GCN)9与远程监督方法的事件抽取模型被提出.3906软件学报2023 年第 34 卷第 8 期 2 事件抽取研究的方法近年来,深度学习技术已广泛用于复杂结构的建模,并验证了对许多 NLP 任务都有效,例如机器翻译10、关系抽取11和情感分析12等.双向长期短期记忆(bi-directionallongshort-termmemory,Bi-LSTM)模型13是一种双向 RNN,可以捕获前后上下文中每个单词的信息,同时利用其信息对单词表示进行建模.CNN 是另一种有效的模型,可以提取事件语义表示同时捕获其结构特征.事件抽取在应用需求的推动下展开,由人工标注数据的依赖程度可以将目前基于深度学习的事件抽取方法主要分为两类:有监督和远程监督学习方法.有监督学习在训练过程中使用人工标注的数据集,而远程监督的学习方法通过对齐远程知识库自动对语料进行标注来获取带标记语料数据,具体比较情况如表 2 所示.表2有监督与远程监督学习方法对比方法主要思想优势劣势有监督对实体和文本通过特征工程或表征学习来提取句法或语义信息人工标注语料,具有较高的准确率标注成本高、效率低,导致训练数据缺乏且移植性较差远程监督将大量的无标注语料与现有的知识库进行对齐,从而快速地构建大规模监督语料构建语料效率高、成本低知识库不充分,不能保证语料的质量,且数据严重不均衡 2.1 基于深度学习的有监督事件抽取在有监督中运用深度学习方法进行事件抽取,已经成为这几年事件抽取的热门研究方向.表 3 整理了深度学习框架下有监督事件抽取的经典模型1428.其中,模型主要是改进 CNN、RNN 输入特征或网络结构,比如添加不同特征、结合多种注意力机制和引入依存树等挖掘更深层次事件语义信息来提升其性能.下面对相关模型进行深入研究和分析.表3有监督事件抽取的经典模型方法模型名称创新优势劣势提出年份及机构CNNDMCNN14设计了一个动态多池卷积神经网络自动抽取词汇级和句子级信息单独预测所有候选论元,捕获远程依赖的效率低2015年ACLCNN15率先将卷积神经网络用于检测事件自动学习及抽取有效特征单独预测所有候选论元,没有考虑它们的相互作用2015年ACLNC-CNN16率先使用非连续CNN捕获预测触发词所必须的远程和非连续的依赖捕获不必要与嘈杂信息2016年ACLHMEAE17提供事件论元角色的概念层有效的归纳偏差捕获论元的概念相关性忽略了事件论元的相关性,捕获远程依赖的效率低2019年EMNLPBi-LSTM-CNN18不依赖任何语言,不需要特征工程捕获特定上下文的序列信息和语义信息忽略了事件的相互依赖性,产生错误传播2016年ACLRNNJRNN19率先用神经网络进行联合事件抽取同时识别事件触发词和论元角色忽略了事件的依赖性及论元的相关性,容易出现错误传播2016年NAACLBDLSTM-TNNs20设计了一个双向动态多池长短期记忆张量神经网络自动抽取,捕获论元间的相互作用忽略了事件的相互依赖性,会出现事件歧义2016年CCLdbRNN21设计了一个依赖桥递归神经网络明确了事件的语法信息忽略了事件论元的相关性2018年AAAIDAG-GRU22语法信息与注意力机制结合捕获上下文和句法信息语法链接会出现干扰,降低了语言信息的可用性和可靠性2018年EMNLPHBTNGMA23设计了一个门控多层注意力机制自动抽取并动态集成句子级和文档级信息忽略了事件的依赖性,会出现错误传播的问题2018年EMNLPTLNN24设计了一个触发感知Lattice网络解决触发不匹配和多义触发忽略了事件的依赖性2019年EMNLP王浩畅等:基于深度学习的事件抽取研究综述39072.1.1基于 CNN 模型的事件抽取方法CNN 模型能够自动抽取有效特征进行事件抽取与识别任务,自动使用最大池化层获取整个句子的表示形式,捕获最有价值的信息.Chen 等人14和 Nguyen 等人15在 2015 年率先尝试使用 CNN29自动抽取有效特征进行事件抽取和识别任务,由此避免了特征提取中的错误传播以及使用复杂的 NLP 工具包的问题.其中,Chen 等人14将事件类型特征用于论元角色分类任务,提出了一种基于动态多池卷积神经网络(DMCNN),如图 1 所示.他们都在 Li 等人30事件类型识别结果的基础上进行了对比实验,其中 F1 值分别提高了 1.6%和 1.5%,验证了事件类型特征的有效性.acameramandiedwhenanAmericantankfiredon句子级特征输入卷积动态多池化OWFPFEFmax(c11)max(c12)max(c13)Feature map 3Feature map 2Feature map 1词嵌入学习词汇级特征表示论元分类器输出句子级特征抽取图1DMCNN 事件抽取模型论元分类阶段体系结构142016 年,Nguyen 等人16在 Lei 等人31的非连续 n-gram 的基础上,提出了一种基于卷积神经网络的 skip-grams事件检测模型(NC-CNN).与 Lei 等人工作的不同之处在于,他们通过位置嵌入模拟句子中触发候选词的相对距离.实验结果表明,他们在 2015 年事件识别15F1 值为 69.0%的基础上提高了 2.3%,验证了使用非连续 n-gram机制进行事件检测优于传统的 CNN 模型.Zhang 等人32则结合文本特征和视觉模型提出了一种多模态的事件抽取方法.在 ACE2005 数据集上,该方法进行事件触发标签和论元标签的实验的 F1 值分别提高了 7.1%和 8.5%.与前面工作不同的是,Liu 等人33将事件检测和词义消歧当作两个相似的任务.他们利用两个单独的 CNN 模型对其上下文建模,匹配两项任务中特征相似的神经表示.通过实验对比了多种深度学习模型,验证了其模型的效果,而且他们的方法还不依赖于手工注释的事件实体提及.除了上述基于单一模型的深度学习方法在事件抽取中的应用,还有一些基于混合模型的方法.2019 年,Lin 等人34利用错误预测的数据重新构造模型训练的损失函数,提出了一种基于 CNN 与 RNN 联合的代价敏感正则化方法(CR-INS).通过实验证明,他们的方法可以提高神经网络事件检测模型的性能.Wang 等人17发现事件抽取中的方法大部分都是将每个论元角色单独分类,而忽略了不同论元之间的概念相关性.他们提出了一种分层模块化表3有监督事件抽取的经典模型(续)方法模型名称创新优势劣势提出年份及机构GANSELF25设计了一种自调节学习方法避免错误及虚假的特征信息抽取全局特征时,会受到噪声的负面影响2018年ACLAEM26率先将对抗训练用于开放域事件抽取可以从长文本生成论元会产生无关事件,处理较长文章时模型准确率下降2019年EMNLPGCNGCN-ED27率先把语法信息集成到神经事件检测图卷积网络捕获句法信息破坏了相邻词表示的多样性2018年AAAIMOGANED28率先将GAT应用于事件检测的研究用一阶句法图和高阶句法图来显式地模拟候选触发词的多阶表示触发词预测不准确,事件类型存在歧义2019年EMNLP3908软件学报2023 年第 34 卷第 8 期事件论元抽取模型(HMEAE).在 ACE2005 数据集上的实验表明,该方法比 DMCNN 模型的 F1 值提高了 5.8%.由于生物医学领域的事件结构较复杂,深度学习方法应用相对较少,但是近几年也取得了一定的进步.2018 年,Li 等人35为了解决生物医学事件抽取中复杂触发词的问题,提出了一种并行多池卷积神经网络(PMCNN),可以捕获句子的语义特征.实验结果表明,在 MLEE 数据集36上进行触发词识别的任务 F1 值达到了 59.65%,比以前的工作提高了 2.24%.2020 年,Zhu 等人37和 Ramponi 等人38都结合深度学习方法进行了生物医学事件抽取的研究.Zhu 等人37忽略了生物医学事件的交互性,将其分解为简单子任务,提出了一种混合深度神经网络的事件组合策略方法.在 MLEE 数据集上进行事件触发词识别任务的实验 F1 值为 60.05%,在其他数据集上的 F1 值也较高,证明了其方法的有效性和泛化能力较强.而 Ramponi 等人38率先结合 CNN 架构提出了一种跨域边缘检测的生物医学事件抽取模型.在 5 个生物医学语料库上进行实验,均取得不错的效果,证明了其模型的鲁棒性和泛化性较好.2.1.2基于 RNN 模型的事件抽取方法Goller 等人39在 1996 年就提出了用 RNN 模型来处理可变的输入长度序列.然而,梯度消失或者梯度爆炸这些典型的问题经常出现在训练过程中.RNN 模型的一些变体,如 LSTM40和门控循环单元(gatedrecurrentunit,GRU)41在内的大多数循环神经网络架构都是使用门控控制信息流,解决传统 RNN 出现的问题.2016 年,Nguyen 等人19提出了一种双向递归神经网络的联合框架(JRNN).他们利用两个 RNN 构建句子的局部特征和全局特征,同时进行事件识别和论元角色分类的任务,如图 2 所示.在 ACE2005 数据集上的实验表明,模型在论元角色识别中的 F1 值比 DMCNN 模型提高了 1.9%,证明了该模型可以高效地学习多事件句子特征.Duan 等人42提出了一种文档级递归神经网络模型(DLRNN),可以自动学习跨句子特征.通过实验证明,该模型在句子级和跨句子级的事件检测都优于其他模型,能够很好地捕获文档级信息.现有研究大部分都是单独抽取事件论元,而不考虑论元间的相互作用,Chen 等人20提出了一种动态多池的双向长短期记忆网络(BDLSTM-TNNs).他们通过 LSTM 的上下文感知词表示模型捕获文本中单词的语义,然后利用神经网络的张量层探索候选论元间的相互作用同时预测所有候选论元.该模型在事件论元分类上获得了较好的性能,而且比 DMCNN 模型的 F1 值提高了 0.6%,揭示了该模型能够自动学习并捕获单词语义信息.局部论元特征输入句子Indexes of triggerand entity mentioncandidatesEntity mention“Baghdad”Entity mention“man”a man died when a tank fired in Baghdad隐藏向量manadied whenatankfiredin Baghdad记忆矩阵特征表示预测输出记忆向量/矩阵论元角色预测触发预测双向 RNN句子编码X局部上下文向量抽取词嵌入查找词嵌入实体类型嵌入依赖树关系生成器(Li 等人30)图2JRNN 模型192018 年,Sha 等人21提出了一种基于依赖桥递归神经网络的事件抽取模型(dbRNN).该模型不同于传统事件抽取方法需要依赖词法句法特征,而是通过依赖关系桥对每个单词建模来表达与语法相关的信息.实验结果表明,王浩畅等:基于深度学习的事件抽取研究综述3909该模型在事件触发词分类和论元分类中 F1 值比 JRNN 模型分别提高了 1.6%和 3.3%.Nguyen 等人43通过深度学习中的共享隐藏表示,对实体提及、事件触发与论元进行联合预测.他们提出了一个基于深度学习的模型(EMD-Joint3EE),采用双向 RNN 为句子中的单词引入共享的隐藏表示.实验结果表明,该模型优于基于特征的方法,与其他深度学习模型对比,在事件论元识别和论元角色分类中 F1 值分别提高了 2.7%和 2.0%.Orr 等人22利用具有依存关系的文本信息双向捕获上下文信息和序列信息,把 GRU 模型推广到图结构上,提出了一个 DAG-GRU 的模型.在 ACE2005 数据集的实验表明,它比其他神经网络模型性能更好.以往的很多研究,都很难实现复杂上下文的事件语义表示,Wu 等人44提出了一种基于注意力机制的递归神经网络(RNN-ARG),可以捕获语义规律.而 Ding 等人45提出了一种基于多层注意力和深度上下文的词表示事件抽取方法.该模型集成了 RNN 和注意力机制在事件抽取中的效果,可以获取更深层的语义与上下文信息,这使得模型的精度和召回率都有所提高.Zhang 等人46提出了一种基于注意力机制 Bi-LSTM 模型,利用模型中的关系类型嵌入进行事件检测.实验表明,该模型在触发词识别和类型分类中 F1 值分别达到了 76.1%和 73.9%,说明它在Bi-LSTM 神经网络之前集成注意力机制,能够更好地捕获句子的关键信息.Liu 等人47针对数据稀缺和单语言歧义的问题,提出了一种门控多语言注意力机制(GMLATT)的事件检测框架,这是率先在事件检测任务中引入注意力机制建模多语言数据的工作.该方法在实验结果中优于其他传统的深度学习方法,其中事件类型分类中 F1 值提高了 0.7%.Chen 等人23利用分层的偏置标注网络检测一个句子中的多个事件,提出了一种基于门控多层注意力机制(HBTNGMA)的偏置标注网络.与 JRNN 模型相比事件类型识别的F1 值提高了 4.0%,实验结果表明,该模型可以同时检测一个句子中的多个事件并动态集成上下文信息.Zhao 等人48提出了一种文件嵌入增强双向 RNN 模型(DEEB-RNN),通过基于有监督分层注意力机制 RNN 模型进行事件检测,然后用其结果增强另一个双向 RNN 模型识别事件触发与句子类型.在 ACE 数据集上,该模型在事件类型分类的任务中 F1 值达到了 74.0%.2019 年,Chen 等人49为了减少其他句子噪声带来的负面影响,提出了一种多头注意力分割机制的方法进行事件检测.实验结果表明,该方法在触发词识别和事件类型分类的 F1 值分别是 76.8%和 74.2%,分别提高了 0.9%和 0.8%.Mehta 等人50则提出了一种分解式双线性多层注意力机制(FBMA).该方法使用多层注意力的模型构建句子和文档表示信息,通过 3 个事件数据集的实验证明了其模型具有较好的性能.黄细凤51提出了一种基于动态掩蔽注意力机制的事件抽取模型(DyMAN).在 ACE2005 数据集上进行了实验,对于多事件抽取任务,与之前最好的模型 JRNN 相比,DyMAN 模型在触发词分类任务上取得了 9.8%的提升.表 4 将注意力机制按其结构分 3 种类别,分别是单层自注意力、多层注意力和多头注意力机制.无论是基于CNN、LSTM 还是 GRU 衍生出的深度学习事件抽取模型,均可以通过引入不同注意力机制或其组合来提高性能,也可以有效缓解监督学习中的噪声问题.表4注意力机制相关方法统计类别模型名称Self-attentionRNN-ARG44Re+Bi-LSTM+Att146DyMAN51Multi-levelattentionRNN+Attention45GMLATT47HBTNGMA23DEEB-RNN48FBMA50Multi-headattentionBi-LSTM+Attention492.1.3基于 GAN 模型的事件抽取方法GAN 是基于神经网络的生成模型,主要是由生成器和判别器这两个部分构成.其中,生成器能够学习真实的3910软件学报2023 年第 34 卷第 8 期事件特征分布情况,有利于自身特征的生成以进行抽取的操作,同时还能骗过判别器.判别器则能够让接收到的事件特征实现真假判别.2018 年,Hong 等人25提出了一种基于 GAN 生成虚假特征的自调节学习方法(SELF),采用了 Bi-LSTM 和GAN 联合的循环网络来消除虚假特征.在 ACE2005 数据集上的实验表明,该方法在事件触发词识别和事件分类中 F1 值分别为 77.0%和 73.0%,进一步证明了 GAN 方法的有效性和较强的泛化性能.Zhang 等人52也提出了一种生成对抗网络的逆强化学习方法,通过动态机制学习实体和事件的特征.实验结果表明,该方法能够正确处理错误与混乱事件类别,与 dbRNN 模型在事件触发词识别和角色识别的 F1 值相比都有所提升.2019 年,Liu 等人53提出了一种对抗模仿学习的事件抽取方法.该方法不依赖 NLP 工具包构建知识表示,可以从原始语句获取知识进行事件检测,在 ACE2005 数据集上的实验结果表明,在事件类型上与 DLRNN 模型相比 F1 值提高了 4.3%.而 Wang 等人26发现贝叶斯图模型,如果依赖 Gibbs 采样进行论元推理,需要较长时间才能收敛,因此他们提出了一种对抗神经事件模型(AEM),如图 3 所示.该模型使用 Dirichlet 分布对事件建模,利用生成器网络捕获潜在的事件信息.这是率先将对抗训练用于开放域事件抽取的研究.实验结果表明,与其他深度学习方法相比,该模型的事件抽取性能更好,特别是在长文本数据集中 F1 提高了 15;与现有的贝叶斯图模型相比,该模型需要的训练时间更短.entitylockeydateDir(|)文档事件分布层隐藏层文档级词分布生成网络(G)判别网络(D)E-dimV-dim文档表示抽样在线文本语料库从在线文本语料库生成真实的文档H-dimH-dim判别特征层defd1fdkfddfdfDinDoutdr图3AEM 框架262.1.4基于 GCN 模型的事件抽取方法GCN 能够依靠图谱理论在拓扑图上完成卷积操作,在事件抽取中,根据单词间的句法连通性构建句子图引入句子结构信息.2018 年,Nguyen 等人27提出了一种依赖树卷积神经网络,他们依靠实体提及聚合卷积向量.该方法不同于传统的神经网络模型只考虑句子的顺序表示,而是依靠实体提及聚合卷积向量把语法集成到 GCN 进行事件检测.由于现有研究捕获长距离的依存关系效率低,需要大量的人力资源,而且还不能充分建模事件间的关联,Liu 等人54针对这个问题提出了一种多个事件联合抽取的框架(JMEE).他们引入了句法捷径弧增强信息流和注意力图卷积来建模图信息,可以联合多个事件触发词和论元进行事件抽取.实验表明,在事件触发词分类和角色识别上 F1 值王浩畅等:基于深度学习的事件抽取研究综述3911分别比 dbRNN 模型提高了 1.8%和 1.6%.由于现有研究仅使用依存树中的一阶句法关系识别触发词,Yan 等人28提出了一种多阶图网络注意力的事件检测方法(MOGANED).该方法在一阶句法图的基础上,引入高阶句法图建模候选触发词的多阶表示,在 ACE2005数据集上进行实验,事件类型识别的 F1 值为 75.7%,比 JMEE 模型提高了 2%.2020 年,Cui 等人55针对现有依赖树图卷积网络的研究忽略了句法分析树关系结构的问题,提出了一种关系感知图卷积网络(RA-GCN).实验表明,其在事件类型识别上 F1 值比 Yan 等人28的 MOGANED 模型提高了1.9%,说明了该模型可以利用句法关系标签专门为单词间的关系建模.这是率先同时使用 GCN 的句法依赖结构和关系标签进行事件抽取的研究.2.2 基于远程监督的事件抽取远程监督(distantsupervision,DS)可以为事件抽取自动生成大规模标注数据56.为了解决数据标注问题,Chen等人57利用远程监督方法结合 Freebase58构建了一个基于维基百科的事件数据集.他们通过 Freebase 找出事件关键论元,自动检测事件和触发词,利用 FrameNet59过滤噪声.实验结果表明,该模型能够学到合理权重来缓解远程监督中噪声问题,同时还充分挖掘有用信息.而 Zeng 等人60则从维基百科和Freebase 中自动生成训练事件抽取的数据,将事件抽取训练实例从数千个扩展到数十万个.该模型集成了远程监督的知识库,自动从未标记文本中标注事件数据,并开发了一个基于 Bi-LSTM 和 CRF 的联合神经网络模型.实验结果证明,该模型可以与已有的数据相结合自动抽取事件,还可以进行多类型的事件检测.Keith 等人61利用 2016 年全年收集的警察死亡语料库,提出了一个基于特征逻辑回归和卷积神经网络分类器的远程监督模型.通过实验结果可以看出,该模型与现有的抽取模型的 F1 值相比有所提高,说明其方法可以更好地进行事件抽取,但是仍存在人工标注导致的错误传播的问题.Rao 等人62提出了一种抽象意义表示(AMR)的方法识别生物医学文本分子事件.他们对事件结构的 AMR子图进行假设验证,在给定 AMR 的情况下利用远程监督神经网络模型,识别事件子图.通过对其在 BioNLP 共享任务的 GENIA 事件抽取子任务63上实验表明,仅以蛋白质为论元的简单事件下 F1 值达到了 94.74%,而复杂事件下降到了 74.18%,这是由于 AMR 存在错误解析导致的.2.3 对事件抽取中深度学习方法的探索FrameNet(FN)中的帧由一个词法单元和一组帧元素组成,分别扮演与 ACE 事件触发词和论元相似的角色,缓解了 ACE 数据集事件类型稀疏的问题.Liu 等人64提出了一种基于概率软逻辑的全局推理方法检测 FN 事件.他们还构建了 Event-FN 数据集,缓解了数据稀疏的问题.通过实验证明,该方法可以实现相关事件类型之间的信息共享.Wadden 等人65把全局上下文合并到 IE 框架中,提出了一种基于上下文的跨实体、关系和事件抽取框架(DYGIE+).该方法在 ACE2005 数据集上,事件触发检测和论元角色分类的 F1 值分别为 76.5%和 52.5%.他们对其他数据集也进行了验证,都优于对比的模型.Yang 等人66对事件、实体及篇章内不同事件的依赖关系进行建模,提出了一种完全端到端学习的模型.实验结果表明,该模型在事件类型分类和论元识别的任务中 F1 值都提高了 1.0%.Han 等人67利用端到端的方法,提出了一种基于共享表示与结构化预测的联合事件和时间关系抽取模型.他们运用两阶段学习方法,首先允许事件和关系模块共享相同的上下文嵌入与神经表示,其次利用结构化的推理和学习方法共同分配事件和事件关系标签,避免了常规管道系统中错误传播的问题.对其进行实验的 F1 值分别提高了 10%和 6.8%,说明该模型对于端到端事件和时间关系抽取是有效的.在事件抽取的过程中,总是有数据不平衡的问题出现,而且训练数据稀少也会影响模型的训练效果.针对这些问题,Zhang 等人68提出了一种基于迁移学习的神经网络框架(JointTransition),采用从左到右的递增阅读顺序捕获实体和事件提及的依赖结构.在 ACE2005 数据集上的实验表明,事件触发词分类的任务中 F1 值达到了 73.8%,证明了该方法的有效性.Lu 等人69提出了一种基于蒸馏学习和知识泛化的表示学习方法.实验结果表明,在ACE2005 数据集上 F1 值提高了 0.7%,在 TAC-KBP2017 数据集上 F1 值提高了 1.53%.Deng 等人70提出了一种基于动态内存的原型网络(DMB-PN),包括了事件触发词识别和 few-shot 事件分类两个阶段.他们还定义“few-shot 事件检测”新问题,也创建了新的数据集 FewEvent.实验结果表明,DMB-PN 不仅比其他基准模型更好地处理3912软件学报2023 年第 34 卷第 8 期数据稀缺的问题,而且在事件类型多样和数据极少的情况下模型的性能较好.Deng 等人71在 2021 年提出了一种基于本体嵌入的 ED 模型(OntoED),同时构建了一个新的数据集 OntoEvent.实验结果表明,在事件角色识别和事件类型分类的任务中 F1 值比 JMEE 模型分别提高了 15.32%和 6.85%,证明了其方法鲁棒性较好.另外,一些工作还通过结合预训练模型提高事件抽取的性能.Yang 等人72针对手工创建的数据费力且数量有限的问题,提出了一种基于语言生成预训练的事件抽取模型(PLMEE).他们为了解决训练数据不足的问题,采用原型网络自动生成标注数据.在 ACE2005 数据集上的实验表明,事件类型分类和论元分类的任务中 F1 值分别为81.1%和 58.9%.2020 年,Du 等人73则针对错误传播的问题,提出了一种基于问答任务的事件抽取模型.他们在预训练 BERT 的基础上将事件抽取转换为问答任务,并以此为模型在事件触发词识别和论元分类任务上的 F1 值分别提高了 0.39%和 0.81%.Gangal 等人74针对 RAMS 数据集在事件论元抽取中准确率存在较大差距的问题,提出了一种基于预训练BERT 的事件论元抽取方法(BERTeringRAMS).实验结果表明,该方法具有较好的跨句准确性.Zhang 等人75为了减少候选论元数量的问题,提出了一种两步隐式事件论元检测方法,将问题分解为两个子问题:论元头词检测和头跨度扩展,其中编码模块采用了预训练 BERT 进行上下文编码.在 RAMS 数据集上的实验结果表明,该模型获比其他对比模型的性能更好.在生物医学上识别触发词相关联的嵌套结构化事件时准确率不高,Huang 等人76提出了一种基于层次知识图的生物医学事件抽取方法(GEANet-SciBERT).该方法在预训练语言模型 SciBERT77的基础上,加入了一种新的图神经网络模型 GEANet 作为补充.在 BioNLP2011GENIA 事件抽取任务中,该方法在所有事件和复杂事件上F1 值分别提高 1.41%和 3.19%.2.4 对中文事件抽取方法的研究中文事件抽取不仅存在比英文更加严重的数据稀缺问题,而且也存在方法层面和语言特性层面的问题.中文语言词语间还没有显式间隔,在进行分词时会出现比英文更加明的错误和误差.中文语言的复杂性和灵活性让相同语义的词语、短语和句子有更多表达方式,即同一类型事件触发词可以使用更多词语表达.根据现有的中文事件抽取相关研究,从文本粒度方面可以将其分为两类:句子级事件抽取和篇章级事件抽取.其中,句子级事件抽取主要是利用句子内部获取特征,即识别句子的中文触发词,并判断实体在事件中所扮演的角色.而篇章级事件抽取主要包含了跨句、跨文档抽取的特征信息.2.4.1基于句子级的中文事件抽取方法句子级事件抽取主要是识别句子中每个词可能提及