基于T-HDGN模型的对话摘要生成方法.pdf
《基于T-HDGN模型的对话摘要生成方法.pdf》由会员分享,可在线阅读,更多相关《基于T-HDGN模型的对话摘要生成方法.pdf(9页珍藏版)》请在咨信网上搜索。
1、第 49卷 第 10期2023年 10月Computer Engineering 计算机工程基于 T-HDGN模型的对话摘要生成方法高玮军,刘健,毛文静(兰州理工大学 计算机与通信学院,兰州 730050)摘要:随着对话系统和文本摘要生成技术的发展,生成式对话摘要引起了广泛的关注。由于会话中的信息流至少在 2个对话者之间交换,关键信息往往分散在各说话者的不同话语中,因此传统文本摘要模型生成的对话摘要包含冗余或者不正确的内容。针对传统文本摘要模型在生成对话摘要时对会话的上下文理解不充分且难以将说话人与其正确的行动相联系的问题,提出一种基于 T-HDGN 模型的对话摘要生成方法。利用抽取的行动三元
2、组对会话结构进行显式建模,将话语和行动三元组作为 2种不同类型的数据来构建异质对话图,并通过 1个异质图网络对这2种信息进行建模。同时,还增加说话人作为异质节点以促进信息流的传播。此外,在解码阶段使用主题词特征辅助摘要的生成。在 SAMSum数据集上的实验结果表明,所提方法在 ROUGE-1、ROUGE-2、ROUGE-L评价指标上分别达到 42.05%、18.09%、39.48%,相比 Longest-3、PGN、Fast Abs RL等基线模型,能有效地融合信息并且准确地将说话人与其对应动作相关联。关键词:对话摘要;异质图;行动三元组;主题词;异质图网络开放科学(资源服务)标志码(OSID
3、):中文引用格式:高玮军,刘健,毛文静.基于 T-HDGN 模型的对话摘要生成方法 J.计算机工程,2023,49(10):80-88.英文引用格式:GAO W J,LIU J,MAO W J.Dialogue summary generation method based on T-HDGN modelJ.Computer Engineering,2023,49(10):80-88.Dialogue Summary Generation Method Based on T-HDGN ModelGAO Weijun,LIU Jian,MAO Wenjing(School of Computer
4、 and Communication,Lanzhou University of Technology,Lanzhou 730050,China)【Abstract】With the development of dialogue systems and text summary generation technology,generative dialogue summarization has attracted widespread attention.Because the information flow in a conversation is exchanged between
5、at least two interlocutors,key information is often scattered across different discourses of each speaker.Therefore,the dialogue summary generated by traditional text summarization models contains redundant or incorrect content.To address the issue of insufficient understanding of the conversation c
6、ontext and difficulty in linking the speaker with their correct actions in traditional text summarization models,this study proposes a T-HDGN model-based method for generating dialogue summary.The conversation structure is explicitly modeled using extracted action triplets,a heterogeneous dialogue g
7、raph is contrasted using discourse and action triplets as two different types of data,and these two types of information are modeled through the T-HDGN.In addition,speakers are added as heterogeneous nodes to promote the dissemination of information flow.In addition,theme word features are used to a
8、ssist in the generation of abstracts during the decoding phase.Experimental results on the SAMSum dataset show that the proposed method achieves 42.05%,18.09%,and 39.48%of the ROUGE-1、ROUGE-2、ROUGE-L evaluation indicators.Compared with the baseline models,such as Longest-3,PGN,and Fast Abs RL,it can
9、 effectively fuse information and accurately associate the speaker with their corresponding actions.【Key words】dialogue summary;heterogeneous graph;action triplet;topic word;heterogeneous graph networkDOI:10.19678/j.issn.1000-3428.0066219基金项目:国家自然科学基金(61762059)。作者简介:高玮军(1973),男,副教授、硕士,主研方向为高性能计算、自然语
10、言处理、计算机视觉;刘 健、毛文静,硕士研究生。收稿日期:2022-11-10 修回日期:2023-01-23 Email:人工智能与模式识别文章编号:1000-3428(2023)10-0080-09 文献标志码:A 中图分类号:TP3910概述 对话摘要旨在将会话浓缩成一段包含重要信息的简短文本,使人们不用回顾历史对话就可以快速捕捉到半结构化和多参与者对话的重点。近年来,随着移动电话、电子邮件和社交软件的普及,人们越来越多地使用对话形式分享信息,特别是新冠肺炎疫情在全球大范围的传播,在线多人聊天或会议已成为人们日常工作的重要部分。因此,利用文本摘要技术快速准确地将大量的对话类数据组织成简短
11、、自然和信息丰富的文本成为研究热点。目前,对话摘要的研究方法通常分为抽取式摘要和生成式摘要。抽取式摘要方法是从给定的源对话中抽取若干重要的话语,并将它们重新组合排序形成摘要1-2。这种方法形成的摘要只是重要语句的机械拼接,语义不连贯,不符合人类的摘要习惯。而生成式摘要方法是对原文内容进行语义理解和重构,并用新的语句表达原文信息,从而使生成的结果更像是人类编写的摘要3。随着深度学习的发展,生成式摘要方法已经成为目前研究的主流。现有的文本摘要研究大多都集中在单一参与者的文档上,如新闻以及科学论文摘要等,这些文档通常以第三人称的角度阐述内容,通过段落或章节使得信息流更清晰。与这些结构化文本不同,对话
12、是一种动态的信息流交换过程,通常是非正式的、冗长的和重复的,并伴随着错误的开始、主题漂移和参与者 打 断4。为 了 总 结 非 结 构 化 和 复 杂 的 对 话,文献 5 直接将文档摘要方法应用于对话总结中。尽管指针生成网络、强化学习、预训练语言模型等在结构化文档上取得了重大的进展,但是文档和对话类数据存在固有差异,直接应用文档摘要模型来总结对话面临诸多挑战。为解决上述问题,研究人员采用图结构对会话进行建模,以打破对话的顺序位置,直接将相关的远距离话语相连接,解决远距离依赖问题,并且建模额外 的 知 识。为 此,本 文 提 出 一 种 基 于 T-HDGN(Topic-word guided
13、 Heterogeneous Dialogue Graph Network)模型的对话摘要生成方法,基于图到序列的框架通过图神经网络挖掘话语内和话语间的语义关系,在解码阶段融入主题词引导摘要生成。本文利用从会话中显式提取的行动三元组(Who,Doing,What)构建对话图以融入说话人与其动作之间正确的对应关系。将行动三元组和话语作为异质数据进行建模,从而得到异质对话图。异质图网络可以更有效地融合信息并捕获句间丰富的语义关系,从而更好地对会话进行编码6。此外,在异质对话图网络中使用信息融合模块和节点位置嵌入 2个特殊模块。信息融合模块旨在帮助话语节点更好地聚合说话人和行动三元组的信息,而位置嵌
14、入模块使话语节点能感知其位置信息。1相关工作 1.1文档摘要与抽取式摘要方法相比,生成式摘要方法被认为更具挑战性。为此,研究人员设计各种方法生成文档摘要。文献 7 提出将序列到序列模型用于生成式文本摘要。文献 8 提出指针生成器网络,允许从 源 文 本 复 制 单 词,在 解 决 OOV(Out Of Vocabulary)问题的同时又可以避免生成重复内容。文献 9 利用强化学习选择摘要所需的正确内容,该方法被证明可以有效提升生成效果。文献 10 使用大规模预训练语言模型 BERT 作为文本上下文编码器以获取更多的语义信息,进一步提高摘要的生成质量。随着图变得越来越普遍,信息更丰富,图神经网络
15、受到越来越多的关注,特别是它非常适用于在自然语言处理,如序列标注11、文本分类12、文本生成13等任务中表示图结构。对于摘要任务,最近也有研究基于图模型的方法探索文档摘要,如抽取实体类型14,利用知识图15以及额外的事实16校正模块。此外,文献 17 通过 Transformer 编码器创建 1个完全连接图,学习成对句子之间的关系。然而,如何构建有效的图结构以获取丰富的语义表示来生成摘要仍然面临挑战。1.2对话摘要对话摘要研究主要集中在会议、闲聊、客户服务、医疗对话等领域。然而,由于缺乏公开可用的资源,因此在各领域只是进行了一些初步工作。早期的研究人员基于模板或使用多句压缩的方法来抽取对话摘要
16、18,但这些方法很难生成简洁自然的摘要,尤其是面对会话这种特殊的文本结构。而生成式对话摘要方法能够有效解决这些问题。文献 19 根据会议数据集 AMI 构建 1 个新的对话摘要数据集,并通过句子门控机制来联合建模交互行为和摘要之间的显式关系。文献 5 提出 1 个新的生成式对话摘要数据集,并且基于序列的模型验证其性能。由于参与者的多重性和频繁出现的共指现象,因此模型生成的对话摘要存在事实不一致的问题。为此,文献 20 通过说话人感知的自注意力机制来处理参与者和他们的相关人称代词之间的复杂关系。一些研究还利用对话分析生成对话摘要,如利用主题段21、会话阶段22或关键点序列23。第 49卷 第 1
17、0期高玮军,刘健,毛文静:基于 T-HDGN模型的对话摘要生成方法0概述 对话摘要旨在将会话浓缩成一段包含重要信息的简短文本,使人们不用回顾历史对话就可以快速捕捉到半结构化和多参与者对话的重点。近年来,随着移动电话、电子邮件和社交软件的普及,人们越来越多地使用对话形式分享信息,特别是新冠肺炎疫情在全球大范围的传播,在线多人聊天或会议已成为人们日常工作的重要部分。因此,利用文本摘要技术快速准确地将大量的对话类数据组织成简短、自然和信息丰富的文本成为研究热点。目前,对话摘要的研究方法通常分为抽取式摘要和生成式摘要。抽取式摘要方法是从给定的源对话中抽取若干重要的话语,并将它们重新组合排序形成摘要1-
18、2。这种方法形成的摘要只是重要语句的机械拼接,语义不连贯,不符合人类的摘要习惯。而生成式摘要方法是对原文内容进行语义理解和重构,并用新的语句表达原文信息,从而使生成的结果更像是人类编写的摘要3。随着深度学习的发展,生成式摘要方法已经成为目前研究的主流。现有的文本摘要研究大多都集中在单一参与者的文档上,如新闻以及科学论文摘要等,这些文档通常以第三人称的角度阐述内容,通过段落或章节使得信息流更清晰。与这些结构化文本不同,对话是一种动态的信息流交换过程,通常是非正式的、冗长的和重复的,并伴随着错误的开始、主题漂移和参与者 打 断4。为 了 总 结 非 结 构 化 和 复 杂 的 对 话,文献 5 直
19、接将文档摘要方法应用于对话总结中。尽管指针生成网络、强化学习、预训练语言模型等在结构化文档上取得了重大的进展,但是文档和对话类数据存在固有差异,直接应用文档摘要模型来总结对话面临诸多挑战。为解决上述问题,研究人员采用图结构对会话进行建模,以打破对话的顺序位置,直接将相关的远距离话语相连接,解决远距离依赖问题,并且建模额外 的 知 识。为 此,本 文 提 出 一 种 基 于 T-HDGN(Topic-word guided Heterogeneous Dialogue Graph Network)模型的对话摘要生成方法,基于图到序列的框架通过图神经网络挖掘话语内和话语间的语义关系,在解码阶段融入
20、主题词引导摘要生成。本文利用从会话中显式提取的行动三元组(Who,Doing,What)构建对话图以融入说话人与其动作之间正确的对应关系。将行动三元组和话语作为异质数据进行建模,从而得到异质对话图。异质图网络可以更有效地融合信息并捕获句间丰富的语义关系,从而更好地对会话进行编码6。此外,在异质对话图网络中使用信息融合模块和节点位置嵌入 2个特殊模块。信息融合模块旨在帮助话语节点更好地聚合说话人和行动三元组的信息,而位置嵌入模块使话语节点能感知其位置信息。1相关工作 1.1文档摘要与抽取式摘要方法相比,生成式摘要方法被认为更具挑战性。为此,研究人员设计各种方法生成文档摘要。文献 7 提出将序列到
21、序列模型用于生成式文本摘要。文献 8 提出指针生成器网络,允许从 源 文 本 复 制 单 词,在 解 决 OOV(Out Of Vocabulary)问题的同时又可以避免生成重复内容。文献 9 利用强化学习选择摘要所需的正确内容,该方法被证明可以有效提升生成效果。文献 10 使用大规模预训练语言模型 BERT 作为文本上下文编码器以获取更多的语义信息,进一步提高摘要的生成质量。随着图变得越来越普遍,信息更丰富,图神经网络受到越来越多的关注,特别是它非常适用于在自然语言处理,如序列标注11、文本分类12、文本生成13等任务中表示图结构。对于摘要任务,最近也有研究基于图模型的方法探索文档摘要,如抽
22、取实体类型14,利用知识图15以及额外的事实16校正模块。此外,文献 17 通过 Transformer 编码器创建 1个完全连接图,学习成对句子之间的关系。然而,如何构建有效的图结构以获取丰富的语义表示来生成摘要仍然面临挑战。1.2对话摘要对话摘要研究主要集中在会议、闲聊、客户服务、医疗对话等领域。然而,由于缺乏公开可用的资源,因此在各领域只是进行了一些初步工作。早期的研究人员基于模板或使用多句压缩的方法来抽取对话摘要18,但这些方法很难生成简洁自然的摘要,尤其是面对会话这种特殊的文本结构。而生成式对话摘要方法能够有效解决这些问题。文献 19 根据会议数据集 AMI 构建 1 个新的对话摘要
23、数据集,并通过句子门控机制来联合建模交互行为和摘要之间的显式关系。文献 5 提出 1 个新的生成式对话摘要数据集,并且基于序列的模型验证其性能。由于参与者的多重性和频繁出现的共指现象,因此模型生成的对话摘要存在事实不一致的问题。为此,文献 20 通过说话人感知的自注意力机制来处理参与者和他们的相关人称代词之间的复杂关系。一些研究还利用对话分析生成对话摘要,如利用主题段21、会话阶段22或关键点序列23。812023年 10月 15日Computer Engineering 计算机工程综上所述,现有的对话摘要模型主要基于循环神经网络(Recurrent Neural Network,RNN)的序
24、列到序列模型进行优化改进。尽管相关的研究已经取得了一定成果,但是对话具有多参与者以及突出信息分散在整个会话中的特点,使得摘要模型难以集中在许多信息性的话语上。此外,当前模型对识别不同说话者的行为以及他们如何相互作用或相互引用的关注较少,难以将说话者及其对应的动作联系起来,从而产生错误的推理。为了缓解这些问题,受基于图方法的启发,本文基于图模型的方法进一步探索对话摘要。2异质对话图构建 2.1图符号定义对于给定的会话C=u0u1un,将异质对话图定义为 1 个有向图G=(VEAR),其中,V是节点集合,包含 3 种节点V=Vu Va Vs,E是边集合。不同类型的节点和边分别有各自的类型映射函数,
25、节点类型的映射函数为(v):V A,边类型的映射函数为(e):E R。2.2话语-行动图构建完全依赖神经模型很难从对话中获得具体的事实特征,为了帮助模型更好地理解会话中说话人与其行为之间正确的联系,本文从会话中提取行动三元组(Who,Doing,What),将其作为先验知识构建对话图。首先,基于以下规则将第一人称的话语转换为第三人称观点的形式:1)用当前说话人或周围说话人的名字替换第一或第二人称代词;2)根据斯坦福CoreNLP 检索会话中的共指簇以替换第三人称代词,例 如,Amanda 对 Jerry 说:“Ill bring it to you tomorrow”被 转 换 为“Amand
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 HDGN 模型 对话 摘要 生成 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。