联合多任务学习的对话情感分类和行为识别.pdf
《联合多任务学习的对话情感分类和行为识别.pdf》由会员分享,可在线阅读,更多相关《联合多任务学习的对话情感分类和行为识别.pdf(14页珍藏版)》请在咨信网上搜索。
1、第4 6卷 第9期2 0 2 3年9月计 算 机 学 报CH I N E S E J OUR NA L O F C OMP UT E R SV o l.4 6 N o.9S e p.2 0 2 3 收稿日期:2 0 2 2-0 7-2 8;在线发布日期:2 0 2 3-0 1-1 8.本课题得到国家自然科学基金项目(N o.6 2 1 4 1 2 0 1)、重庆市自然科学基金面上项目(C S T B 2 0 2 2 N S C Q-M S X 1 6 7 2)、重庆市教育委员会科学技术研究计划重大项目(N o.K J Z D-M 2 0 2 2 0 1 1 0 2)资助.刘思进,硕士研究生,中
2、国计算机学会(C C F)学生会员,主要研究领域为自然语言处理、情感分析.E-m a i l:l i u s i j i n 2 0 2 0.c q u t.e d u.c n.朱小飞(通信作者),博士,教授,中国计算机学会(C C F)高级会员,主要研究领域为自然语言处理、数据挖掘、信息检索.E-m a i l:z x f c q u t.e d u.c n.彭展望,硕士研究生,中国计算机学会(C C F)学生会员,主要研究领域为自然语言处理、数据挖掘.联合多任务学习的对话情感分类和行为识别刘思进 朱小飞 彭展望(重庆理工大学计算机科学与工程学院 重庆 4 0 0 0 5 4)摘 要 对话情
3、感分类和对话行为识别是对话系统中的两个子任务,旨在预测对话中每个语句的情感标签和行为标签.这两个任务受多种因素的影响而密切相关,而现有的模型没有合理利用对话中包含的显式和隐式信息,如说话者信息,时间信息,标签信息等,并且两个相关任务之间缺乏有效的交互.为了解决上述问题,本文提出了一个新的多任务学习模型,即说话者感知跨任务协同交互图网络(S p e a k e r-a w a r e C r o s s-t a s k C o-i n t e r a c t i v e G r a p h N e t-w o r k,S A-C C GN).该模型首先捕捉了说话者随时间变化的情感和行为线索,以生
4、成说话者感知的语句表示,然后通过跨任务协同交互图网络来充分建模对话内的信息传播和任务间的信息交互,其中,通过构建一个有向无环图来模拟一个对话的信息传播,每一次图传播后,使用协同交互层对两个任务进行适当的交互.最后,在解码时引入标签信息,即标签之间的区分度和关联性,对模型训练进行约束.在两个公开数据集上的实验结果表明,该模型相较于目前最先进的联合模型,在对话情感分类任务上的F 1值分别提高了4.5 7%和3.3 3%,在对话行为识别任务上的F 1值分别提高了2.1 5%和0.6 3%,而参数量和内存使用降低了约 1/2.关键词 多任务学习;对话系统;情感分类;行为识别中图法分类号T P 3 9
5、1 D O I号1 0.1 1 8 9 7/S P.J.1 0 1 6.2 0 2 3.0 1 9 4 7D i a l o g u e S e n t i m e n t C l a s s i f i c a t i o n a n d A c t R e c o g n i t i o n B a s e d o n M u l t i-T a s k L e a r n i n gL I U S i-J i n Z HU X i a o-F e i P E NG Z h a n-W a n g(C o l l e g e o f C o mp u t e r S c i e n c e
6、 a n d E n g i n e e r i n g,C h o n g q i n g U n i v e r s i t y o f T e c h n o l o g y,C h o n g q i n g 4 0 0 0 5 4)A b s t r a c t C u r r e n t l y,s o c i a l m e d i a p l a t f o r m s a l l o w u s e r s t o u n i v e r s a l l y e x p r e s s t h e i r o p i n i o n s a n d s e n t i m e
7、 n t s d u e t o t h e i r c o n v e n i e n c e a n d o p e n n e s s.A s o n e o f t h e m o s t c o mm o n w a y s o f c o mm u-n i c a t i o n,d i a l o g u e c o n t a i n s r i c h i n f o r m a t i o n a n d s e n t i m e n t e x p r e s s i o n o f p a r t i c i p a n t s.D i a l o g u e s e
8、 n t i m e n t c l a s s i f i c a t i o n a n d d i a l o g u e a c t r e c o g n i t i o n a r e t w o s u b-t a s k s i n d i a l o g u e s y s t e m s t h a t a i m t o p r e d i c t t h e s e n t i m e n t a n d a c t l a b e l o f e a c h u t t e r a n c e i n a d i a l o g u e.I n t h e p a s
9、 t f e w y e a r s,t h e s e t w o t a s k s g a i n e d a t t e n t i o n f r o m t h e N L P c o mm u n i t y d u e t o t h e i n c r e a s e o f p u b l i c a v a i l a b i l i-t y o f d i a l o g u e d a t a.T h e y c a n b e u s e d t o a n a l y z e d i a l o g u e s t h a t t a k e p l a c e
10、o n s o c i a l m e d i a o r o t h e r s c e n e s a n d p r o v i d e s u p p o r t f o r d o w n s t r e a m t a s k s,s u c h a s d i a l o g u e r e s p o n s e g e n e r a t i o n.T h e y c a n a l s o a i d i n a n a l y z i n g d i a l o g u e s i n r e a l t i m e s,w h i c h c a n b e p u
11、b l i c o p i n i o n m o n i t o r i n g,i n t e r-v i e w s,p s y c h o l o g i c a l c o n s u l t i n g a n d m o r e.T h e s e t w o t a s k s a r e i n f l u e n c e d b y m u l t i p l e f a c t o r s a n d c l o s e l y r e l a t e d.H o w e v e r,e x i s t i n g m o d e l s d o n o t m a k
12、e r e a s o n a b l e u s e o f t h e e x p l i c i t a n d i m p l i c i t i n f o r m a t i o n c o n t a i n e d i n a d i a l o g u e,s u c h a s s p e a k e r i n f o r m a t i o n,t e m p o r a l i n f o r m a t i o n,a n d l a-b e l i n f o r m a t i o n,a n d s i m p l y o r c o a r s e-g r
13、a i n e d m o d e l i n g t h e i n t e r a c t i o n o f t w o t a s k s.T o s o l v e t h e a b o v e p r o b l e m s,t h i s p a p e r p r o p o s e s a n e w m u l t i-t a s k l e a r n i n g m o d e l,n a m e l y S p e a k e r-a w a r e C r o s s-t a s k C o-i n t e r a c t i v e G r a p h N e
14、t w o r k(S A-C C GN).T h e m o d e l f i r s t c a p t u r e s s p e a k e r-a w a r e s e n t i m e n t a n d a c t c u e s a l o n g w i t h t h e t i m e t o g e n e r a t e s p e a k e r-a w a r e u t t e r a n c e r e p r e s e n t a t i o n s,a n d t h e n a d e q u a t e l y m o d e l s i n
15、f o r m a t i o n p r o p a g a t i o n w i t h i n a c o n v e r s a t i o n a n d i n f o r m a t i o n i n t e r-a c t i o n b e t w e e n t a s k s t h r o u g h a c r o s s-t a s k c o-i n t e r a c t i v e g r a p h n e t w o r k,w h e r e i n f o r m a t i o n p r o p-a g a t i o n o f a c o
16、n v e r s a t i o n i s m o d e l e d b y c o n s t r u c t i n g a d i r e c t e d a c y c l i c g r a p h,a n d a f t e r e a c h g r a p h p r o p a g a t i o n,a p p r o p r i a t e i n t e r a c t i o n b e t w e e n t w o t a s k s i s p e r f o r m e d u s i n g t h e c o-i n t e r a c t i v
17、e l a y-e r.F i n a l l y,t h e l a b e l i n f o r m a t i o n i s i n t r o d u c e d,i.e.,d i f f e r e n t i a t i o n a n d c o r r e l a t i o n b e t w e e n l a-b e l s,w h i c h c a n c o n s t r a i n t h e m o d e l t r a i n i n g w h e n d e c o d i n g.S p e c i f i c a l l y,i n t h e
18、 m u l t i-l o s s d e-c o d e r,t h e s u p e r v i s e d c o n t r a s t i v e l e a r n i n g l o s s i s u s e d t o m a k e t h e l e a r n e d r e p r e s e n t a t i o n o f d i f-f e r e n t l a b e l s m o r e d i f f e r e n t i a t e d a n d t h e c o n d i t i o n a l r a n d o m f i e l
19、 d l o s s i s u s e d t o c o n s t r a i n t h e g e n-e r a t i o n o f a d j a c e n t l a b e l s e q u e n c e s,t h e n t h e f i n a l s e n t i m e n t a n d a c t l a b e l o f e a c h u t t e r a n c e a r e o b-t a i n e d.I n o r d e r t o p r o v e t h e e f f e c t i v e n e s s o f t
20、 h e m o d e l i n t h i s p a p e r,e x p e r i m e n t s w e r e c o n d u c t e d o n t h e t w o p u b l i c t w o-w a y d i a l o g u e d a t a s e t s:D a i l y D i a l o g d a t a s e t a n d M a s t o d o n d a t a s e t,a n d w e c o m p a r e o u r p r o p o s e d m e t h o d w i t h a v a
21、 r i e t y o f s t a t e-o f-t h e-a r t m e t h o d s,i n c l u d i n g d i a l o g u e s e n-t i m e n t c l a s s i f i c a t i o n m e t h o d s,d i a l o g u e a c t r e c o g n i t i o n m e t h o d s a n d j o i n t-t r a i n m e t h o d s.E x p e r i-m e n t a l r e s u l t s o n t w o p u b
22、 l i c d a t a s e t s s h o w t h a t o u r m o d e l o u t p e r f o r m s t h e c u r r e n t s t a t e-o f-t h e-a r t j o i n t m o d e l C o-GAT,w i t h a n i m p r o v e m e n t o f 4.5 7%a n d 3.3 3%i n F 1 s c o r e s f o r t h e d i a l o g u e s e n t i m e n t c l a s s i f i c a t i o n
23、 t a s k a n d 2.1 5%a n d 0.6 3%i n F 1 s c o r e s f o r t h e d i a l o g u e a c t r e c o g n i t i o n t a s k o n t h e t w o d a t a s e t s,r e s p e c t i v e l y,w h i l e r e d u c i n g t h e n u m b e r o f p a r a m e t e r s a n d m e m o r y u s-a g e b y a b o u t 1/2.T h e p e r f
24、 o r m a n c e o f S A-C C GN o n t w o p u b l i c d a t a s e t s e x c e e d s t h e b e s t r e s u l t s i n t h e k n o w n l i t e r a t u r e.E x p e r i m e n t s s h o w t h a t t h i s m e t h o d c a n e f f e c t i v e l y u t i l i z e d i a l o g u e i n f o r-m a t i o n,a n d h a s
25、o b v i o u s a d v a n t a g e s i n d i a l o g u e s e n t i m e n t c l a s s i f i c a t i o n t a s k a n d d i a l o g u e a c t r e c-o g n i t i o n t a s k c o m p a r e d t o p r e v i o u s m e t h o d s.K e y w o r d s m u l t i-t a s k l e a r n i n g;d i a l o g u e s y s t e m;s e n
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 联合 任务 学习 对话 情感 分类 行为 识别
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。