大语言模型融合知识图谱的问答系统研究.pdf
《大语言模型融合知识图谱的问答系统研究.pdf》由会员分享,可在线阅读,更多相关《大语言模型融合知识图谱的问答系统研究.pdf(12页珍藏版)》请在咨信网上搜索。
1、计算机科学与探索Journal of Frontiers of Computer Science and Technology1673-9418/2023/17(10)-2377-12doi:10.3778/j.issn.1673-9418.2308070大语言模型融合知识图谱的问答系统研究张鹤译1,王鑫1+,韩立帆1,李钊1,陈子睿1,陈哲21.天津大学 智能与计算学部,天津 3003542.天津中医药大学 循证医学中心,天津 301617+通信作者 E-mail:摘要:大语言模型(large language model,LLM),包括ChatGPT,在理解和响应人类指令方面表现突出,对自
2、然语言问答影响深远。然而,由于缺少针对垂直领域的训练,LLM在垂直领域的表现并不理想。此外,由于对硬件的高要求,训练和部署LLM仍然具有一定困难。为了应对这些挑战,以中医药方剂领域的应用为例,收集领域相关数据并对数据进行预处理,基于LLM和知识图谱设计了一套垂直领域的问答系统。该系统具备以下能力:(1)信息过滤,过滤出垂直领域相关的问题,并输入LLM进行回答;(2)专业问答,基于LLM和自建知识库来生成更具备专业知识的回答,相比专业数据的微调方法,该技术无需重新训练即可部署垂直领域大模型;(3)抽取转化,通过强化LLM的信息抽取能力,利用生成的自然语言回答,从中抽取出结构化知识,并和专业知识图
3、谱匹配以进行专业验证,同时可以将结构化知识转化成易读的自然语言,实现了大模型与知识图谱的深度结合。最后展示了该系统的效果,并通过专家主观评估与选择题客观评估两个实验,从主客观两个角度验证了系统的性能。关键词:大语言模型(LLM);知识图谱;问答系统;垂直领域;中医药方剂文献标志码:A中图分类号:TP391Research on Question Answering System on Joint of Knowledge Graph and LargeLanguage ModelsZHANG Heyi1,WANG Xin1+,HAN Lifan1,LI Zhao1,CHEN Zirui1,CH
4、EN Zhe21.College of Intelligence and Computing,Tianjin University,Tianjin 300354,China2.Evidence-Based Medicine Center,Tianjin University of Traditional Chinese Medicine,Tianjin 301617,ChinaAbstract:The large language model(LLM),including ChatGPT,has shown outstanding performance in understandingand
5、 responding to human instructions,and has a profound impact on natural language question answering(Q&A).However,due to the lack of training in the vertical field,the performance of LLM in the vertical field is not ideal.Inaddition,due to its high hardware requirements,training and deploying LLM rema
6、ins difficult.In order to addressthese challenges,this paper takes the application of traditional Chinese medicine formulas as an example,collectsthe domain related data and preprocesses the data.Based on LLM and knowledge graph,a vertical domain Q&Asystem is designed.The system has the following ca
7、pabilities:(1)Information filtering.Filter out vertical domainrelated questions and input them into LLM to answer.(2)Professional Q&A.Generate answers with more professionalknowledge based on LLM and self-built knowledge base.Compared with the fine-tuning method of introducingprofessional data,using
8、 this technology can deploy large vertical domain models without the need for retraining.基金项目:国家自然科学基金面上项目(61972275);中国人工智能学会-华为MindSpore学术奖励基金(2022037A)。This work was supported by the National Natural Science Foundation of China(61972275),and the Chinese Association for ArtificialIntelligence-Huawe
9、i MindSpore Open Fund(2022037A).收稿日期:2023-08-02修回日期:2023-09-21Journal of Frontiers of Computer Science and Technology计算机科学与探索2023,17(10)问答系统(question answering,QA)能够自动回答用户提出的自然语言问题,是信息检索和自然语言处理的交叉研究方向。将知识图谱(knowledgegraph,KG)与问答系统融合,正确理解用户语义是一大挑战1。虽然知识图谱问答能够通过对问题进行分析理解,最终获取答案,但面对自然语言的灵活性与模糊性,如何处理复杂问
10、题的语义信息,如何提高复杂推理问答的高效性仍是研究难点2。近年来,大语言模型(large language models,LLM)在多种自然语言处理任务3-4上取得了显著的成果,并表现出若干涌现能力5。InstructGPT6、ChatGPT(https:/ 在各种自然语言处理任务上表现卓越,甚至能够对未见过的任务表现出不错的性能,这为正确处理复杂问题展示了能够提供统一解决方案的潜力。然而,这些模型都存在一些固有的局限性,包括处理中文能力较差,部署困难,无法获得关于最近事件的最新信息以及产生有害幻觉事实(halluci-natoryfact)9等。由于这些局限性,将大语言模型直接应用于专业领域
11、问答仍然存在诸多问题。一方面难以满足大语言模型对于硬件资源的要求;另一方面,面对专业领域,大语言模型的能力仍然有所不足。面对专业领域的问题,大语言模型的生成结果可能缺乏真实性和准确性,甚至会产生“幻觉事实”。为了增强大语言模型应对专业领域问题的能力,很多工作采取数据微调的方式修改模型参数,从而让大模型具有更高的专业能力。然而一些文献指出这些数据微调的方法会产生灾难性遗忘(catas-trophic forgetting)10,致使模型原始对话能力丧失,甚至在处理非微调数据时会出现混乱的结果。为了应对这些问题,本文结合大语言模型与知识图谱,设计了一种应用于专业领域的问答系统。该问答系统通过将知识
12、库(knowledge base,KB)中的文本知识、知识图谱的结构化知识、大语言模型中的参数化知识三者融合,生成专业问答结果,因此无需使用数据微调的方式修改模型参数,就能够理解用户语义并回答专业领域的问题。同时,通过采用类似于ChatGLM-6B这样对硬件资源要求较低的模型,以降低硬件对系统的约束。另外,随着大语言模型技术的发展,认知智能范式的转变将是接下来的研究重点,如何将大语言模型与知识图谱进行有效结合是一个值得研究的课题。因此,本文参照研究问答系统的形式,进一步研究“大语言模型+知识图谱”的智能信息系统新范式,探索知识图谱与大语言模型的深度结合,利用专业性知识图谱来增强LLM的生成结果
13、,并利用LLM理解语义抽取实体对知识图谱进行检索与增强。本文的主要贡献有两点:(1)提出大语言模型+专业知识库的基于提示学习(prompt learning)的问答系统范式,以解决专业领域问答系统数据+微调范式带来的灾难性遗忘问题。在提升大模型专业能力的同时,保留其回答通用问题的能力。在硬件资源不足的情况下,选择较小的大模型部署专业领域的问答系统,实现能和较大的大模型在专业领域相媲美甚至更好的效果。(2)探索了大语言模型和知识图谱两种知识范式的深度结合。实现了将大语言模型和知识图谱的双向链接,可以将易读的自然语言转换为结构化的数据,进而和知识图谱中的结构化数据匹配,以增强回答专业性;可以将KG
14、中的结构化知识转换为更易读的自然语言知识来方便人们理解。本文相关代码开源在https:/ ChatGPT为代表的大语言模型表现出令人震惊的能力,国内诸多厂商纷纷投入构建中文大语言模型,并涌现出了一系列的模型,如百度的文心(3)Extract conversion.By strengthening the information extraction ability of LLM and utilizing its generatednatural language responses,structured knowledge is extracted and matched with a pr
15、ofessional knowledge graph forprofessional verification.At the same time,structured knowledge can be transformed into readable natural language,achieving a deep integration of large models and knowledge graphs.Finally,the effect of the system is demonstratedand the performance of the system is verif
16、ied from both subjective and objective perspectives through twoexperiments of subjective evaluation of experts and objective evaluation of multiple choice questions.Key words:large language model(LLM);knowledge graph;Q&A system;vertical field;traditional Chinese medicine2378张鹤译 等:大语言模型融合知识图谱的问答系统研究一
17、言、阿里的通义千问、华为的盘古大模型等。这些模型虽然具有一定的问答能力,但是正如上文所言,它们在专业领域都有着巨大的局限性。GLM(gene-ral language model)11是清华提出的预训练语言模型,它的底层架构是通用语言模型,在超过 4 000亿个文本标识符上进行预训练。本文系统的应用示例同样是基于GLM。在垂直领域存在很多的工作,它们主要采用的方法仍然是数据+微调的范式,即使用不同的专业数据对预训练语言模型进行微调,如 P-tuning12、P-tuning v213等,以获取语言模型在相应领域的专业能力。通过更新少量参数,减少了对硬件资源的要求。虽然减弱了微调产生的灾难性遗忘
18、问题,但是此问题仍然存在。PMC-LLaMA14提出一种基于生物医学文献的预训练语言模型,通过对LLaMA模型进行微调,注入医疗知识以增强其在医疗领域专业的能力,从而提高其在医疗问答基准测试中的表现。Med-PaLM15针对医疗领域,提出了 MultiMedQA 医学问题回答基准,涵盖了医学考试、医学研究和消费者医学问题。基于 Flan-PaLM 进行指令微调(instructiontuning),在多个方面缩小了与临床医生的差距,证明了指令提示调整的有效性。ChatDoctor16使用医疗领域知识对 LLaMA 模型进行微调获取医疗聊天模型,其根据在线医疗咨询网站的10万真实世界患者-医生对
19、话,对模型进行了微调,添加了自主知识检索功能,通过构建适当的提示在大语言模型中实现具体检索功能。华佗(本草)17基于中文医学知识的LLaMA微调模型,采用了公开和自建的中文医学知识库,主要参考了中文医学知识图谱CMeKG(https:/ ChatGLM-6B 的中文问诊模型,由 ChatGPT生成与医学知识内容与逻辑关系相关的若干问题构建训练数据,再通过“文本段-问题”对的方式让ChatGPT回答问题,使ChatGPT生成含有医学指南信息的回答,保证回答的准确性。从以上工作可以总结出,垂直领域的范式还是通过不同来源的数据+不同的模型基座进行微调,仍然无法避免微调的固有缺陷,而本文使用的专业知识
20、库+大语言模型的新范式能够解决这一问题。LangChain(https:/ 一 个强大的框架,旨在帮助开发人员使用语言模型构建端到端的应用程序,可以为 LLM 的开发利用提供有力支撑。它提供了一套工具、组件和接口,可以简化创建由 LLM 或聊天模型提供支持的应用程序的过程。LangChain可以轻松管理与大语言模型的交互,将多个组件链接在一起,并集成额外的资源。利用LangChain,本文设计的问答系统可以轻松建立知识库与大语言模型间的链接,将知识注入到大语言模型当中。2系统概述本文提出的专业问答系统基于大语言模型与知识图谱,旨在探索大语言模型+专业知识库的问答系统范式,探索大语言模型与知识图
21、谱的深度结合,以实现专业的垂直领域问答效果,并为用户提供专业问答服务和友好交互服务。基于以上目标系统实现了以下功能:信息过滤、专业问答、抽取转化。为了实现这些功能,系统基于专业知识与大语言模型,利用 LangChain将两者结合,设计并实现了大语言模型与知识图谱的深度结合新模式。信息过滤模块旨在减少大语言模型生成虚假信息的可能性,以提高回答的准确性。专业问答模块通过将专业知识库与大语言模型结合,提供专业性的回答。这种方法避免了重新训练大语言模型所需的高硬件要求和可能导致的灾难性遗忘后果。抽取转化是指从自然语言文本抽取出知识图谱结构化数据,将知识图谱结构化数据转化为自然语言文本,是为了进一步探索
22、问答系统新范式而设计的。一方面基于大语言模型提取出专业知识,将知识图谱结构化数据转化为自然语言文本,易于用户理解;另一方面利用知识抽取出三元组和知识图谱对比验证,可以增强大语言模型回答的专业性,同时抽取出的三元组在经专家验证后可以插入知识图谱中以增强知识图谱。除此之外,本系统还实现了用户友好的交互服务。如图1所示,系统交互流程如下:(1)用户向系统提出问题,问题通过信息过滤后,与知识库中的相关专业知识组成提示,输入到专业问答模块中得到答案;(2)信息抽取模块从回答中提取出三元组,与知识图谱进行匹配,获取相关节点数据;(3)这些节点数据经用户选择后,同样以提示的形式输入专业问答模块得到知识图谱增
23、强的回答。这种双向交互实现了大语言模型和知识图谱的深度结合。总而言之,本文提出的专业问答系统通过大语言模型与知识图谱深度结合,实现了专业的垂直领2379Journal of Frontiers of Computer Science and Technology计算机科学与探索2023,17(10)域问答效果,并且提供用户友好的交互服务。系统的信息过滤模块减少了虚假信息生成的可能性,专业问答模块提供了专业性的回答,抽取转化模块进一步增强了回答的专业性,并可以对结构化数据进行解释,降低用户理解难度,同时可用专家确认无误的知识进一步增强知识图谱。这种新的问答系统范式为用户提供了更准确、更专业的答案
24、,同时保持了用户友好的交互体验。3系统构建方法本文从数据构造与预处理、信息过滤、专业问答、抽取转化四方面,以中医药方剂领域的应用为例,介绍如何构建系统。本文针对专业领域,收集相关领域数据进行预处理,设计流程来训练一套易于部署的专业领域问答系统,并探索大语言模型与知识图谱的融合。图 2以中医药方剂专业领域为例展示了该系统的问答流程。首先,对输入的中医药方剂相关问题文本进行信息过滤,即文本分类,判断出该文本是否与中医药方剂相关。其次,通过LangChain在知识库中检索与文本相关的知识,以提示的方式和问题一起输入大模型,如:ChatGPT、ChatGLM等,大模型通过推理生成具备专业知识的答案。然
25、后,对该回答进行知识抽取,从回答中抽取出三元组。将抽取出的三元组和已有的方剂知识图谱进行匹配,以验证回答的专业性,同时将知识图谱中的节点以问题的形式输入大模型,获取易读的自然语言解释,从而实图1问答系统流程图Fig.1Flow chart of Q&A system图2 大语言模型融合知识图谱问答流程示例Fig.2 Example of question-answer process for integrating knowledge graph in a large language model2380张鹤译 等:大语言模型融合知识图谱的问答系统研究现了大模型和知识图谱的双向转换。3.1数据
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 语言 模型 融合 知识 图谱 问答 系统 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。