增强深层话题语义的对话引导模型_冯雅茹.pdf
《增强深层话题语义的对话引导模型_冯雅茹.pdf》由会员分享,可在线阅读,更多相关《增强深层话题语义的对话引导模型_冯雅茹.pdf(9页珍藏版)》请在咨信网上搜索。
1、2023,59(7)让机器与人类对话是人工智能的目标之一,因此许多研究工作致力于创造对话自然的开放域对话引擎。从早期的基于规则的系统1到最近的基于海量数据2和基于常识知识3的端到端神经会话模型,当前的开放域对话系统始终存在对话不连贯、不主动的局限性,根据Hirano等4先前的研究表明,话题管理对于生成主动且连贯的对话具有重要促进作用。此外,在许多现实对话场景中,也需要对话主体通过主动地将对话话题转移到指定话题来积极地引导对话,例如心理暗示、教育启发、商品推销等。因此,将话题实现任务集成到开放域对话任务中具有很大的实际应用价值。目标导向式开放域对话5(target-guided open-dom
2、ainconversation,TGOD)旨在使对话引擎在开放领域上进行主动对话,通过控制与人类用户聊天时的回复话题,增强深层话题语义的对话引导模型冯雅茹,黄贤英,李伟重庆理工大学 计算机科学与工程学院,重庆 400054摘要:目标导向式开放域对话的核心是根据对话历史与当前话题进行话题序列规划与回复检索,使得对话达到目标话题,话题特征的提取与建模方式影响话题预测的准确性,从而影响回复检索性能。目前常见的方法是引入外部知识来增强语义,但这种方法依赖外部知识质量。提出一种基于图卷积与子图注意力的话题语义增强的对话引导模型(KWGE),该模型首先构建关键词无向图,利用图卷积神经网络对关键词编码以增强
3、话题语义,同时编码对话历史特征,使用对话特征与话题特征做预测与检索任务,每次预测任务后计算与当前话题相关话题子图的注意力权重来更新子图节点表示,用于获取更近于目标的话题。通过对两个真实闲聊数据集进行的广泛实验,表明该模型可以构建话题连贯的对话序列,并以较高的目标达成率实现对话目标。关键词:对话系统;话题引导;图卷积神经网络;语义匹配文献标志码:A中图分类号:TP391.1doi:10.3778/j.issn.1002-8331.2111-0527Target-Guided Conversation Model Combining Enhanced Deep Topic SemanticsFEN
4、G Yaru,HUANG Xianying,LI WeiSchool of Computer Science&Engineering,Chongqing University of Technology,Chongqing 400054,ChinaAbstract:The core of target-guided open-domain conversation is topic sequence planning and response retrieval accordingto the dialogue history and current topic,in that way the
5、 conversation reaches the target topic.The extraction and modelingmethod of topic features affects the accuracy of topic prediction,thereby affecting the performance of response retrieval.The current common method is to introduce external knowledge to enhance topic semantics,but this method relies o
6、n thequality of external knowledge.This paper proposes a topic semantics enhancement target-guided conversation modelbased on graph convolution and subgraph attention.The model firstly constructs an undirected graph of keywords,anduses a graph convolutional neural network to encode keywords to enhan
7、ce topic semantics.At the same time,the dialoguehistory features are encoded,and the dialogue features and topic features are used for prediction and retrieval tasks.Aftereach prediction task,the attention weight of the topic subgraph related to the current topic is calculated to update thesub-graph
8、 node representation,which is used to obtain information that is closer to the target topic.Extensive experimentson two real chat datasets show that the model can construct a coherent conversation sequence and achieve the conversationgoals with a high achievement rate.Key words:dialogue system;topic
9、-guided;graph convolutional network;semantic matching基金项目:国家自然科学基金(62141201)。作者简介:冯雅茹(1999),女,硕士研究生,CCF学生会员,研究方向为对话系统,E-mail:;黄贤英(1967),女,硕士,教授,CCF高级会员,研究方向为复杂网络、舆情传播;李伟(1997),男,硕士研究生,CCF学生会员,研究方向为问答系统。收稿日期:2021-11-29修回日期:2022-03-08文章编号:1002-8331(2023)07-0171-09Computer Engineering and Applications计
10、算机工程与应用171Computer Engineering and Applications计算机工程与应用2023,59(7)持续引导对话直至话语中出现目标话题(target),当对话中出现目标话题或其相似词时,认为达成目标。如图1为在教育场景中TGOD任务的对话示例,每句话中的粗体字为该句话的话题,随机选择一个起始话题“drive”,对话引擎能主动引导对话,直至对话话语中出现目标话题“ballet”,逐渐激发聊天对象对芭蕾舞的学习兴趣。TGOD任务通常分为两个子任务:下一轮对话回复中的关键词预测(next-turn keyword prediction)和回复检索(retrieval r
11、esponse)。其中下一轮关键词预测任务是根据对话历史来预测下一轮回复中最可能出现的一个关键词(keywords),而关键词代表了该句回复所谈论的话题。回复检索任务是利用预测出的关键词和对话历史,在候选回复集合中检索出与二者最相关的回复。目前学术界针对下一轮关键词预测任务使用的方法通常为:PMI(purchasing managers index)方法5、基于混合核(kernel)方法5、基于循环神经网络6(recurrentneural network,RNN)方法。虽然这些方法在话题预测中取得了不错的效果,但它们都只针对了浅层语义信息来进行文本分类,而没有考虑到特征之间的深层语义关系。同
12、时由于闲聊数据集规模较大,对数据进行标注效率较低且无法保证准确率,因此现在的研究更倾向于在话题预测任务中使用无监督或半监督分类方法。而对于回复检索任务,则通常使用线性分类器、神经网络或匹配计算的方法。基于以上研究,Qin等人7在DKRN(dynamic knowl-edge routing network model)模型中预测下一轮关键词时使用了不同的特征粒度,在细粒度预测中引入动态掩码,生成长度为关键词集合大小的掩码,将与当前关键词无关的词位置标为负无穷,排除了无关话题的影响。但该方法未考虑到关键词在对话上下句传递时所形成的空间结构,忽视了不同关键词之间的潜在语义。KnowHRL(thre
13、e-layerknowledgegraphgroundedhierarchical RL model)模型8将分层强化学习同外部知识图整合,用于高级别话题选择和低级别深入话题对话。CKC9(commonsense-aware keyword-guided neuralconversational model)模型通过使用概念词显式建模对话的方法增强上下文语义,从而提升话题转换合理性和回复检索的准确性。然而该方法将关键词与概念词一同映射到外部常识图,这样会比较依赖外部图的规模。同时,目前已有的研究都存在一个问题,即都未关注到在使用目标导向策略选择下一轮关键词时,不同关键词与当前对话具有不同的相关
14、性权重。为此,本文提出一种基于图卷积与子图注意力的话题语义增强对话引导模型 KWGE(keywords-graphenhanced target-guided model)。首先根据关键词在对话上下句的共现关系搭建关键词无向图(keyword graph,KWG),对话上下句中出现的关键词之间存在关系,构成关键词节点之间的边。然后利用图卷积神经网络(graph convolutional network,GCN)编码该无向图来捕捉每个关键词节点的高阶邻域信息,以增强该关键词所代表话题的语义信息。针对下一轮关键词预测任务,先融合对话历史特征与关键词特征,对关键词集合做多分类任务,预测关键词得分,
15、然后再结合当前关键词的掩码筛选得到候选关键词集合,计算候选关键词同当前对话的注意力权重来更新其表示,最后根据候选关键词与目标话题的相似度选出更接近目标的下一轮关键词。而对于回复检索任务,先使用关键词匹配与对话匹配相结合的方法来增强关键词对回复选择的影响,以得到候选回复集合中每个回复的得分,然后选择第一条包含下一轮关键词或更贴近目标话题的候选关键词的话语作为回复。经过实践检验后可得,该方法相较于目前常用的模型在闲聊数据集上提升了 2%召回率与准确率。具体来说,本文的主要贡献可以归纳如下:(1)提出一种关键词特征增强的 TGOD 对话模型KWGE,巧妙地结合了无向图、图编码和子图注意力机制,融合了
16、更深层次的语义;(2)构建关键词无向图,使用图卷积神经网络的图编码方式提取深层次话题语义,在关键词预测任务中增强关键词特征;(3)获取候选关键词集合后,构建候选关键词子图,使用子图注意力机制计算关键词距目标话题的距离,结合目标导向策略选择下一轮关键词。1相关工作图卷积神经网络10能根据节点的邻域属性来更新节点的嵌入向量,如图2所示。形式上,若有无向图G=(V,E),V是节点的集合,E是边的集合。每个节点的出入度矩阵为D,其中对图1主题引导的对话Fig.1Topic-guided conversationTarget:balletHello,how do you feel?I feel good
17、,just took a drive through the countryside.The countryside is awesome,do you live in the city?I live in a city.What do you do for activity?I walk a lot,or going to the gym.I recommend you to dance.It can exercise our muscles.Oh,I would like to,dancing makes people look better.Especially ballet,it ca
18、n enhance your temperament.1722023,59(7)角线上的元素为Dii=jAij,n个节点的特征矩阵XRNF,N为节点数,F为节点特征维度。GCN对无向图进行编码时,首先随机初始化节点权重,接着获得图节点嵌入矩阵HiRNFi,其中Fi表示第i层的特征数目。GCN每一个卷积层的传播规则如公式(1)、(2)所示:H(l+1)=(D?-12A?D?-12H(l)W(l)(1)H0=X(2)其中A?=A+IN,IN是单位矩阵。D?是A?的度矩阵,D?ii=jA?ij,Hi是网络第i层的特征,每一行都是一个节点的特征表示,记为kw。X是图的最初始特征也就是输入向量,维度为N
19、F0,Wi是第i层的权重矩阵,维度为Fi+1Fi,()是激活函数。2KWGE模型KWGE模型如图3所示,该模型包括关键词无向图构建、下一轮关键词预测、目标导向策略、回复检索4个模块,一步步展示了如何进行每轮对话的话题规划,从而进一步辅助聊天话题转换以及回复生成。2.1关键词无向图构建为了使语料库适应关键词转换任务,这里沿用TGC模型中基于TF-IDF11的关键词提取器所提取的关键词集合,将关键词对应到语料库中的每句话语,由上下句中的词共线关系构建关键词无向图。具体流程为:根据语料库中的所有对话集合(contexts),一段对话c由n句话语xi(utterance)组成,即c=x1,x2,xn。
20、取对话上句话语xi-1中的所有关键词k1i-1,k2i-1,kpi-1作为节点v1i-1,v2i-1,vpi-1,下句话语xi中的所有关键词k1i,k2i,kqi作为节点v1i,v2i,vqi,v1i-1,v2i-1,vpi-1中所有节点与v1i,v2i,vqi中所有节点之间两两存在关系,构成无向图的边。考虑到存在关键词跳转自身无法达到目标的情况,去除了图中的节点自环,上述过程如图4,从语料库中所有对话c1,ck,cn中提取关键词关系,其中浅灰色的节点代表由其他对话的话语中提取的关键词节点,这些节点与ck中的关键词有关,且已经与ck中提取的节点间构建了关系。由于话语之间互相联系,上下句之间语义
21、相关,因此关键词之间的信息流动也是双向的,上句话中的关键词kpi-1的语义信息传递到下句话,形成下句话中的关键词kqi,而kqi的形成与kpi-1有关。且在无向图上,信息图2节点信息加权聚合Fig.2Node information weighted aggregationW7W3W4W6W8W9W5W0W1W2Datasetmeat0.2jump0.79ball0.3runballet1.0dance0.82walk0.70.54Candidate keywords目标导向策略下一轮关键词预测Mskkeyword listkwXGRUGCNbuilding关键词无向图cardrivecity
22、activitydancewalkcountrysidecandidateresponselistx3x2x1xn-1xnxn+1Hello,how do you feel?语料库对话历史rkwmatchukwn+1kn+1rxRNNmatchRNN回复检索Utterance ProbabilityI recommend you to dance.It canexercise all ourmuscles.I walk a lot,or going to the gym.I live in a city.What do you dofor activity?The countryside is
23、 awesome,doyou live in the city?I feel good,just took a drivethrough the countryside.图3融合关键词深层语义的话题引导对话模型Fig.3Keyword-graph enhanced target-guided conversation model图4构建关键词无向图Fig.4Constructing keyword undirected graphbuildingcitydriveactivitydancewalkcountrysidecarck+1ckck-1I walk a lot,or going tot
24、he gym.I live in a city.Whatdo you do for activity?The countryside is awesome,do you live in the city?I feel good,just took a drivethrough the countryside.Hello,how do you feel?冯雅茹,等:增强深层话题语义的对话引导模型173Computer Engineering and Applications计算机工程与应用2023,59(7)传递是双向的,每个节点可以包含更多相关语义,使得特征编码更具有准确性与丰富性,因此本文构
25、建关键词无向图而非有向图。对语料库遍历结束后,就可以得到关键词无向图KWG=(V,E),构建的无向图(部分)如图5所示。2.2下一轮关键词预测给定一段对话c的对话历史x1:n=x1,x2,xn,其中包含关键词序列k1:n=k1:p1,k1:p2,k1:qn,预测回复中代表话题的一个关键词kn+1本质上是一个多分类问题,由对比实验的结果图9、10可知,使用大量历史对话进行编码并不能对最终的分类结果进行增强,因此只使用最近两句对话历史用于预测任务。即在整个关键词预测模块中,将xn-1、xn、k1:pn-1、k1:qn作为输入,输出关键词集合中每个关键词的得分,再经过掩码筛选得到候选关键词集合,如图
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 增强 深层 话题 语义 对话 引导 模型 冯雅茹
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。