基于prompt tuning的中文文本多领域情感分析研究.pdf
《基于prompt tuning的中文文本多领域情感分析研究.pdf》由会员分享,可在线阅读,更多相关《基于prompt tuning的中文文本多领域情感分析研究.pdf(12页珍藏版)》请在咨信网上搜索。
1、 基于p r o m p t t u n i n g的中文文本多领域情感分析研究*赵文辉1,吴晓鸰1,凌 捷1,HOON H e o2(1.广东工业大学计算机学院,广东 广州 5 1 0 0 0 6;2.三星电机,韩国 水原 1 6 6 7 4)摘 要:不同领域的情感文本表达方式不一样,通常需要为各个领域训练相应的情感分析模型。针对无法用一个模型进行高效多领域情感分析的问题,提出了基于提示微调(p r o m p t t u n i n g)的多领域文本情感分析方法M S A P T。借助h a r d p r o m p t,指示情感文本的所属领域和待选的情感标签,调动不同领域情感分析相关的
2、知识,再为情感分析预训练一个统一的“通才模型”,在下游的各领域文本学习中,保持模型冻结,通过p r o m p t t u n i n g使模型学习到下游各领域情感文本的特征。M S A P T仅需保存一个模型和一些参数量远远小于模型的p r o m p t,实现了多领域情感分析。在多个属于不同领域的情感文本数据集上进行实验,结果表明仅进行p r o m p t t u n i n g时,M S A P T效果优于模型微调(m o d e l t u n i n g)的。最后,分别对适应特定领域的p r o m p t t u n i n g、h a r d p r o m p t、s o f
3、 t p r o m p t的长度和中间训练数据集的大小进行消融实验,从证明其对情感分析效果的影响。关键词:多领域情感分析;提示微调;预训练语言模型;T 5中图分类号:T P 3 9 1文献标志码:Ad o i:1 0.3 9 6 9/j.i s s n.1 0 0 7-1 3 0 X.2 0 2 4.0 1.0 1 9M u l t i-d o m a i n s e n t i m e n t a n a l y s i s o f C h i n e s e t e x t b a s e d o n p r o m p t t u n i n gZ HAO W e n-h u i1,W
4、U X i a o-l i n g1,L I NG J i e1,HOON H e o2(1.S c h o o l o f C o m p u t e r S c i e n c e a n d T e c h n o l o g y,G u a n g d o n g U n i v e r s i t y o f T e c h n o l o g y,G u a n g z h o u 5 1 0 0 0 6,C h i n a;2.S a m s u n g E l e c t r o-m e c h a n i c s,S u w o n 1 6 6 7 4,K o r e a)A
5、 b s t r a c t:T h e e x p r e s s i o n o f s e n t i m e n t t e x t s i n d i f f e r e n t d o m a i n s a r e d i f f e r e n t,s o i t i s u s u a l l y n e c e s-s a r y t o t r a i n t h e c o r r e s p o n d i n g s e n t i m e n t a n a l y s i s m o d e l f o r e a c h d o m a i n.I n o r
6、 d e r t o s o l v e t h e p r o b l e m t h a t o n e m o d e l c a n n o t b e u s e d f o r m u l t i-d o m a i n s e n t i m e n t a n a l y s i s,t h i s p a p e r p r o p o s e s a m u l t i-d o m a i n t e x t s e n t i m e n t a n a l y s i s m e t h o d b a s e d o n p r o m p t t u n i n g
7、,c a l l e d M S A P T.W i t h t h e h e l p o f h a r d p r o m p t s,i n d i c a t i n g t h e d o m a i n o f t h e e m o t i o n a l t e x t a n d t h e s e l e c t e d e m o t i o n a l l a b e l s,t h e m o d e l i s p r o m p t e d t o d r a w o n i t s k n o w l e d g e o f d i f f e r e n t
8、 d o m a i n s e n t i m e n t a n a l y s i s.T h e n,a u n i f i e d g e n e r a l i z e d m o d e l i s p r e t r a i n e d f o r s e n t i m e n t a l a n a l y s i s.I n d o w n s t r e a m l e a r n i n g o f v a r i o u s d o m a i n t e x t s,t h e m o d-e l i s f r o z e n a n d p r o m p t
9、 t u n i n g i s u s e d t o m a k e t h e m o d e l l e a r n t h e c h a r a c t e r i s t i c s o f e m o t i o n a l t e x t i n e a c h d o w n s t r e a m d o m a i n.M S A P T o n l y r e q u i r e s s a v i n g a m o d e l a n d s o m e p r o m p t s w i t h f a r f e w e r p a-r a m e t e r
10、 s t h a n t h e m o d e l f o r m u l t i-d o m a i n s e n t i m e n t a n a l y s i s.E x p e r i m e n t s w e r e c o n d u c t e d u s i n g m u l t i-p l e d a t a s e t s o f e m o t i o n a l t e x t i n d i f f e r e n t f i e l d s,a n d t h e r e s u l t s s h o w t h a t M S A P T o u t
11、 p e r f o r m s m o d e l f i n e-t u n i n g w h e n o n l y p r o m p t e d t u n i n g i s a p p l i e d.F i n a l l y,t h e l e n g t h o f p r o m p t t u n i n g,h a r d p r o m p t a-d a p t e d t o s p e c i f i c d o m a i n s,s o f t p r o m p t a n d t h e s i z e o f i n t e r m e d i a
12、 t e t r a i n i n g d a t a s e t a r e a b l a t e d r e s p e c-t i v e l y,t o p r o v e t h e i r i m p a c t o n t h e e f f e c t i v e n e s s o f s e n t i m e n t a n a l y s i s.*收稿日期:2 0 2 2-0 6-2 0;修回日期:2 0 2 2-1 2-1 4基金项目:广东省国际科技合作领域项目(2 0 1 9 A 0 5 0 5 1 3 0 1 0);工业装备质量大数据工业和信息化部重点实验室
13、开放课题(2 0 2 1-1 E Q B D-0 2)通信作者:吴晓鸰(1 1 0 0 9 5 9 9q q.c o m)通信地址:5 1 0 0 0 6 广东省广州市番禺区大学城广东工业大学计算机学院A d d r e s s:S c h o o l o f C o m p u t e r S c i e n c e a n d T e c h n o l o g y,G u a n g d o n g U n i v e r s i t y o f T e c h n o l o g y,H i g h e r E d u c a t i o n M e g a C e n t e r,P
14、 a n y u D i s t r i c t,G u a n g z h o u 5 1 0 0 0 6,G u a n g d o n g,P.R.C h i n a C N 4 3-1 2 5 8/T PI S S N 1 0 0 7-1 3 0 X 计算机工程与科学C o m p u t e r E n g i n e e r i n g&S c i e n c e第4 6卷第1期2 0 2 4年1月 V o l.4 6,N o.1,J a n.2 0 2 4 文章编号:1 0 0 7-1 3 0 X(2 0 2 4)0 1-0 1 7 9-1 2K e y w o r d s:m
15、u l t i-d o m a i n s e n t i m e n t a n a l y s i s;p r o m p t t u n i n g;p r e-t r a i n e d l a n g u a g e m o d e l(P LM);T 51 引言随着互联网的发展,人们生活的各个领域都与互联网产生了紧密的联系,人们会在各个互联网平台发表评论。通过分析这些文本中的情感倾向,挖掘有价值的信息,是自然语言处理中一个重要的研究方向。目前情感分析方法主要基于情感词典、机器学习和深度学习。深度学习常用的神经网络模型有卷积神 经 网 络C NN(C o n v o l u t i
16、o n a l N e u r a l N e t-w o r k)、循 环 神 经 网 络R NN(R e c u r r e n t N e u r a l N e t w o r k)、长短期记忆L S TM(L o n g S h o r t-T e r m M e m o r y)网络和门控循环单元G RU(G a t e d R e-c u r r e n t U n i t)。这些模型均被广泛应用到情感分析任务中。K a l c h b r e n n e r等1提出把 C NN 应用于自然语言处理,并设计了一个动态卷积神经网络模型,以处理不同长度的文本。M o n i k a等
17、2提出使用循环神经网络模型R NN对序列信号进行建模,通过在网络模型中引入记忆单元来处理长期依赖关系,同时能避免R NN 的梯度消失问题。近年来,预 训 练 语 言 模 型P LM(P r e-t r a i n e d L a n g u a g e M o d e l)飞 速 发 展,相 继 提 出 了B E R T(B i d i r e c t i o n a l E n c o d e r R e p r e s e n t a t i o n s f r o m T r a n s f o r m e r s)3、R o B E R T a(R o b u s t l y o p
18、t i m i z e d B E R T p r e t r a i n i n g a p p r o a c h)4和T 55等 基 于T r a n s f o r m e r的模型。因为P LM通过自注意力机制解决一词多义的问题,同时还能捕获词与词、句与句之间的高维情感特征,加上巨大的模型规模与从大规 模预训练语 料中获得的 通用知识,微调P LM的全模型参数后进行情感分析取得了非常优异的性能,成为了情感分析的主流方法6 8。M a n等9提出使用B E R T模型作为文章特征提取模型,并利用深度卷积神经网络提取文章的局部信息,效果好过传统深度学习模型的。梅侠峰等1 0提出了结合A
19、L B E R T(A L i t e B E R T)和B i F A S RU-AT(B i d i r e c t i o n a l b u i l t-i n F a s t A t t e n t i o n S i m p l e R e-c u r r e n t U n i t-AT t e n t i o n)的情感分析模型,借助预训练模型赋予词上下文动态语义,解决了一词多义问题;再采用双向内置快速注意力简单循环单元B i F A S RU对上下文进行建模,模型获得了较高的F1值。然而,情感文本的表达方式与文本所属领域密切相关,不同领域的情感描述之间有着明显的差别。例如,“
20、这真的把我看哭了。”这句话,描述一部电影可能是感动而哭的积极评价,而若是放在餐饮领域,则可能是因为菜品卖相太差的消极评价。因此,直接将某特定领域训练的情感分析模型应用于其它领域会存在适应度不佳的问题1 1。传统的模型微调(m o d e l t u n i n g)方法对多个不同领域进行情感分析,需要对每个领域分别建模。比如,杨修远等1 2提出了一种自适应多领域知识蒸馏框架,分别训练多个不同领域的B E R T教师模型;然后,利用基于多领域对应的多个B E R T模型,对单个学生模型进行进一步的蒸馏学习。而训练各个领域对应的情感模型,需要保存每个领域对应的大量参数,这将会极大地耗费存储空间,如
21、图1 a所示。F i g u r e 1 C o m p a r i s o n o f m u l t i-d o m a i n s e n t i m e n t a n a l y s i s m e t h o d s b a s e d o n m o d e l f i n e-t u n i n g a n d p r o m p t t u n i n g图1 基于模型微调与基于提示微调的多领域情感分析方法对比B r o w n等1 3提出了p r o m p t d e s i g n(或p r i m-i n g),可通过给出任务描述或者几个范例来调动G P T-3模型,
22、模型无需微调,可直接应用于下游任务。这种方法无需为每个下游任务训练相应的模型参数,单个模型可以同时服务于许多不同的任务。在当今模型参数量持续增加的情况下,“冻结”预训练模型的方法产生了巨大的影响。然而这种081C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 4,4 6(1)通过人工设计的p r o m p t和少量范例来调动模型的方法,在下游任务上的性能远远落后于模型微调的。近期,有 研 究 人 员 提 出 了 自 动 生 成(设 计)p r o m p t的方法。S h i n等1 4提出了一种在下游任务训
23、练数据的指导下,搜索多个离散的模型基本输入单元(t o k e n)组成p r o m p t的算法。虽然这优于人工设计的p r o m p t,但其效果与模型微调的仍有差距。L i等1 5提出了前缀微调(p r e f i x t u n i n g)方法,冻结模型参数并在编码器中的每层加入了“前缀”。与人工设计和自动生成的p r o m p t不同的是,“前缀”完全由可微调的自由参数组成,与离散的t o-k e n不是一一对应的。此方法在生成任务上取得了优异的结果。后来,H a m b a r d z u m y a n等1 6将可训练参数仅添加到掩码语言模型(M a s k e d L
24、a n-g u a g e M o d e l)的输入和输出子网络中,简化了上述方法,在分类任务上取得了尚可的结果。L e s t e r等1 7提出了p r o m p t t u n i n g,进一步简化了p r o m p t的形式,此方法保持模型冻结,仅仅把k个可微调的t o k e n添加到输入文本的前端作为s o f t p r o m p t,不同的下游任务学习不同的s o f t p r o m p t。当模型规模变得很大时,p r o m p t t u n i n g的效果接近于模型微调的,但在中小型的模型中,p r o m p t t u n i n g的效果与模型微调
25、的还存在较大差距。值得注意的是,实验中发现,对p r o m p t使用不同的初始化方法,对最终的效果有很大的影响。因此,一些研究工作中提出,在p r o m p t应用到下游任务之前,先用有监督或自监督学习的方法进行训练得到一个或几个p r o m p t,作为下游任务p r o m p t的 初 始 化,取 得 了 非 常 好 的 效 果。G u等1 8提出了P P T(P r e-t r a i n e d P r o m p t T u n i n g),通过自监督学习的方法训练p r o m p t作为下游任务的初始化,在少样本学习(f e w-s h o t l e a r n i
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于prompt tuning的中文文本多领域情感分析研究 基于 prompt tuning 中文 文本 领域 情感 分析研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。