融合情感词典和自注意力的双通道情感分析模型.pdf
《融合情感词典和自注意力的双通道情感分析模型.pdf》由会员分享,可在线阅读,更多相关《融合情感词典和自注意力的双通道情感分析模型.pdf(11页珍藏版)》请在咨信网上搜索。
1、101第 5 卷第 4 期2023 年 8 月Vol.5No.4Aug.2023数据与计算发展前沿,2023,5(4)融合情感词典和自注意力的双通道情感分析模型巨家骥,黄勃*,张帅,郭茹燕上海工程技术大学,电子电气工程学院,上海 201620摘 要:【应用背景】针对自然语言处理中的情感分析任务,目前的深度学习方法还是通过大量的数据训练来逐步提升效果,并没有充分利用文本中的情感词信息。【方法】本文提出了一种集成了情感词典和注意力机制的双通道文本情感分析模型。基于自注意力机制的通道负责提取语义特征,基于情感注意力的通道负责提取情感特征,两个通道分别提取的特征融合后获得文本最终的向量表达。同时引入一
2、种注意力软约束来平衡两个通道中的注意力。【结果】实验结果表明,双通道的结构能够分别关注文本的不同特征,语义特征和情感特征结合起来有效提升了模型的分类性能。由于集成了情感词典,模型还具有较好的可解释性。【结论】本文提出的情感分析模型与相关模型相比拥有较好的性能和可解释性。关键词:深度学习;情感词典;文本情感分析;双通道;注意力A Dual-Channel Sentiment Analysis Model Integrating Sentiment Lexcion and Self-AttentionJU Jiaji,HUANG Bo*,ZHANG Shuai,GUO RuyanSchool of
3、 Electrical and Electronic Engineering,Shanghai University of Engineering and Technology,Shanghai 201620,ChinaAbstract:Application Background For the task of sentiment analysis in natural language processing,current deep learning methods are based on big data training to gradually improve the effect
4、,and do not fully exploit the information of sentiment words in the text.Methods This paper proposes a dual-channel text sentiment analysis model that integrates sentiment lexicon and attention mechanism.The channel based on self-attention is responsible for extracting semantic features,and the chan
5、nel based on emotional attention is to extract emotional features,and the features extracted by the two channels are fused to obtain the final vector representation of the text.A soft constraint of attention is also introduced to balance the attention in both channels.Results The experimental result
6、s show that the dual-channel structure can focus on different features of the text separately,and the combination of semantic and sentiment features significantly improves the sentiment classification performance ISSN 2096-742XCN 10-1649/TP文献CSTR:32002.14.jfdc.CN10-1649/TP.2023.04.009文献DOI:10.11871/
7、jfdc.issn.2096-742X.2022.04.009页码:101-111 获取全文基金项目:国家重点研发计划(No:2020AAA0109300);上海市科委科技创新行动计划(22S31903700,21S31904200)*通信作者:黄勃(E-mail:)102数据与计算发展前沿,2023,5(4)巨家骥 等:融合情感词典和自注意力的双通道情感分析模型 of the model.The model also has better interpretability due to the integration of the sentiment lexicon.Conclusions
8、The sentiment analysis model proposed in this paper has better performance and interpretability compared with related models.Keywords:deep learning;lexicon;text sentiment analysis;dual channel;attention 引 言随着社交网络和电子商务的兴起,互联网上产生了越来越多包含用户情感倾向的文本数据。对这些信息进行精准的情感分析可以帮助政府了解大众舆情以及商家提升服务质量,对于社会具有广泛的现实意义,因此需
9、要情感分析技术对这些数据进行处理和分析。句子级别的文本情感分析,就是对带有情感倾向的主观性文本进行情感倾向判别和 分类1。目前,针对情感分析问题的方法主要包括利用句法依存关系等规则的方法、基于传统机器学习的方法和基于深度学习建立神经网络的方法2。基于规则的方法大多是利用情感词典和分析句法依存关系进行情感分析。情感词典是一种会对词语的情感极性、强度以及词性等属性进行标注的数据库。这种方法一般是先通过情感词典对文本中的词语进行情感词查询和句法语义分析,然后再依据词语在情感词典查询得到的情感值进一步判断文本的情感倾向3。这种方法实现起来比较方便,但是因为语言的句法复杂,同一个词放在不同的语境中表达的
10、含义可能天差地别4,所以存在准确度不高且泛化能力差的缺点。基于机器学习的方法一般是将文本的词性、情感词、否定词等人工标注的特征映射为高维向量,然后通过支持向量机等分类算法通过有监督训练得到一个模型。这种方法的分类性能严重依赖于人工标注的准确性,并且不能对文本的上下文语义进行建模,因此也存在较大的局限性5。基于深度学习的方法不依赖于人工标注,近年来得到长足的发展并取得较好的成果。例如 Perikos等6使用集成学习的方法来进行文本情感的识别和分析;Kiritchenko 等7使用神经网络从数据中学习判别特征;LiuJie 等8使用多层级的双向门控循环网络(Bidirectional Gate R
11、ecurrent Unit,Bi-GRU)来处理顾客评论信息;Sun 等9使用深度神经网络(Deep Neural Network,DNN)模型来处理微博评论中的情感分类问题;Chen 等10利用双通道卷积神经网络(Convolutional Neural Network,CNN)模型和字符嵌入在微博情感分类上取得了较好的成绩;Zhai 等11使用集成注意力机制的 Bi-GRU 在方面级别的情感分析任务上取得了良好的性能;范涛等12使用图卷积网络(Graph Convolutional Network,GCN)和句法依存图对网民的评论文本进行情感分析。情感词在以情感词典基础的传统情感分类算法中
12、起到重要的作用,但是在深度学习模型中并没有得到充分的考虑和应用。受到文献 13 的启发,本文将情感词与深度学习网络结合起来提出一种基于情感词典和注意力的双通道模型(Lexicon Based Daul Channels with Attention,LDCA)。模 型 中 基于 Self-attention 的 语 义 信 息 提 取 通 道(Semantic Extraction Channel,SEC)负 责 提 取 语 义 特 征,基于情感注意力的情感信息提取通道(Emotion Extraction Channel,EEC)负责提取情感特征,两个通道分别关注不同维度的信息,然后将其分别
13、提取的特征进行融合从而获得文本最终的向量表达。本文模型将情感词资源和深度学习相结合从而提高了模型整体性能。同时,情感词典的集成还帮助提升了模型的可解释性。103数据与计算发展前沿,2023,5(4)巨家骥 等:融合情感词典和自注意力的双通道情感分析模型 1 相关工作 1.1 情感词典情感词典一般是通过规则方法、统计学方法、机器学习等方法构建而成。情感词典通常包含形容词、连词、副词等。这些词大概率能够对文本的情感倾向产生影响14。因此,在文本情感分析中,能够充分利用情感词典的信息对提高模型的性能具有积极意义。本文使用的情感词典是 SenticNet515。Sent-icNet5 并不是仅仅依赖关
14、键词以及关键词的共现模式来构建,而是充分利用了关联常识概念的隐含语义信息。因此,这种建模方式能够较大程度上挖掘出词的情感倾向。虽然目前使用情感词典的方法比较朴素,在性能上一般不如深度学习的方法,但是情感词典方法的一个比较突出的优点是其可解释性较高。基于情感词典的情感分析方法的可解释性属于结合认知和因果推理方式的可解释性。本文将人们的认知(情感词典)融入到模型中帮助人们理解模型对文本做出情感分类预测的原因,并且模型对语句注意力权重的分配进行可视化,从而验证模型在可解释性方面上的提升16。1.2 词嵌入工具 Word2Vec17是一种词的分布式向量表示方法,能够把学习到的语义知识嵌入到词的向量表达
15、中,但是 Word2vec 得到的是词的固定表征,无法解决一词多义等问题。GloVe 模型在 2014 年被 Pennington 等18提出,它是一种既使用了语料库的全局统计特征,也使用了局部的上下文特征的词向量方法。其在诸多情感分析模型19-20中被广泛应用,并且仍在不断发展和改进21-22。1.3 Bi-GRU门控循环网络(Gate Recurrent Unit,GRU)是循环神经网络(Recurrent Neural Network,RNN)的一个变种,和 RNN 相比它能够在保留长期序列信息的同时,减少梯度消失的问题。GRU 与长短期记忆网络(Long short-term memo
16、ry,LSTM)相比,内部结构更加简单,对计算能力的要求不高,同时收敛速度更快。GRU 神经网络的更新方式如下:(1)(2)(3)(4)GRU 的运算是从前到后推进的,这种方式容易导致文本序列前面的信息没有后面的信息重要的问题。Bi-GRU 增加了一个从后往前的隐藏层,能够更加充分地利用全文的信息,从而克服了这一缺陷。Bi-GRU 的模型结构如图 1 所示,其中前向隐藏层的输出为,后向隐藏层的输出为,Bi-GRU 隐藏层的输出 可以表示为公式(5)。(5)GRUGRUGRUGRUGRUGRUGRUGRUT1h1h2h3hnT2T3Tn图 1 Bi-GRU 模型Fig.1 Bi-GRU mode
17、l structure1.4 注意力机制注意力机制首先在计算机视觉领域被提出,Bahdanau 等23首次在机器翻译任务中使用注意力104数据与计算发展前沿,2023,5(4)巨家骥 等:融合情感词典和自注意力的双通道情感分析模型 机制并取得良好的效果。通过引入注意力机制,深度学习模型能够关注文本序列中对当前任务目标更加重要的信息,从而达到模型优化的目的。其权重计算的本质可以描述为一个查询(Query)到一系列键值对(Key-Value)的映射。将 Query 和每个 Key 进行相似度计算得到权重,然后使用 函数对这些权重进行归一化,最后将权重和相应的键值 Value进行加权求和得到最后的注
18、意力向量。自注意力(Self-attention)与注意力的主要区别为自注意力机制的 Query、Key 和 Value 都是相同的。其具体计算过程如公式(6)所示。(6)2 模型描述本文基于上述相关理论知识提出一种融合情感词典和注意力机制的文本情感分析模型(Lexicon based Daul Channels with Attention,LDCA)。模型首先在输入层得到文本的向量表达,然后分别在语义信息提取通道(SEC)和情感信息提取通道(EEC)中提取语义特征和情感特征,之后将两个通道提取的特征进行融合,最后利用 softmax 函数来得到最终的情感分类预测结果。模型的整体架构如图 2
19、所示。2.1 输入层输入层可以为模型提供词向量。将经过分词、去除停用词、词干还原等预处理操作后的文本序列输入到 GloVe 训练模型生成词嵌入。一个长度为 n的语句,经过输入层后的向量表达为,其中 d 为词嵌入的维度。2.2 特征提取层特征提取层包括 SEC 和 EEC。对于 SEC,模型首先利用 Bi-GRU 网络结构对情感分类层注意力软约束特征融合(Concat)Softmax函数Loss情感词典情感注意力自注意力最大平均池化最大平均池化Bi-GRUBi-GRU上下文向量特征融合层特征提取层输入层词嵌入IjustliketheSEPmovie语义信息提取通道情感信息提取通道图 2 融合情感
20、词典和自注意力的双通道情感分析模型结构图Fig.2 Lexicon based daul channels with attention model architecture105数据与计算发展前沿,2023,5(4)巨家骥 等:融合情感词典和自注意力的双通道情感分析模型 文本的双向序列进行处理,从而提取文本深层信息的特征并建立语句级别的向量表达。由于在一个语句中,每个词语对文本具有不同程度的贡献,所以为每个词语分配不同的权重能够更好地提取文本的深层次的信息,因此本文引入自注意力机制给文本中的词语分配不同的权重,从而进一步提高模型对文本语义的理解。引入自注意力机制后的计算过程如公式(7)(9)
21、所示。(7)(8)(9)式中,ui为注意力的隐含层表示;Ws为权重矩阵,bs为偏置项;ai为经过 softmax 函数归一化的注意力向量;Vs为 SEC 的输出。对于 EEC,本文采用基于情感词典和注意力机制的模型(Lexicon based Bi-GRU with Attention,LBA)来提取情感信息。Senticnet5 中包含 100,000 个情感词,每个情感词都有一个在-1,1 范围内的情感倾向分数,当该分数在(0,1 表示该词为正向情感,数值越大表示情感极性越强,反之同理。正常情况下,在一个存在情感倾向的句子中,一个词的情感极性越强就携带了越多的情感信息,因此应该得到更多的注
22、意力。比如 IMDB 中 的 一 个 例 子“Unfortuntately this is not the case”,“Unfortuntately”这个单词的消极情感倾向很高,所以模型应该更加关注这个词。为了量化单词的情感强度,模型给每个词定义了情感度13(Sentiment Degree,SD)如公式(10)。(10)公式中,代表词在情感词典 中的得分;是的绝对值。如果一个单词没有在情感词典中出现,则这个词的为 0。对于一个长度为 T 的句子,则其单词级别的情感注意力向量为:(11)公式中,是一个正的可变参数,可以用来调节情感度之间的差异,越大,则情感词与中性词之间的差异越大。模型将每句
23、话的情感注意力向量与 Bi-GRU 中的隐藏状态相乘在 EEC 得到最终输出。(12)图 3 为 SEC 和 EEC 分别对同一句话处理后的权重分配情况,颜色越深则代表权重越大。图中可以明显看出,基于自注意力机制的语义信息提取通道对于特定词“Lackawanna Blues”给了更多的权重,而基于情感注意力的情感信息提取通道准确地捕捉到了真正的情感词“happy”并为其分配了更多的权重。模型注意力权重的可视化,可以帮助人们理解模型如何对文本的情感倾向做出判断。2.3 特征融合及情感分类层在两个通道分别提取出语义信息和情感信息I watch Lackawanna Blues every time
24、 it comes on.It brings back happy times for me.I watch Lackawanna Blues every time it comes on.It brings back happy times for me.EEC:SEC:图 3 IMDB 数据集中的一个例子分别进行情感注意力和自注意力后的权重分配Fig.3 An example in the IMDB dataset performs weight distribution after emotional attention and self-attention106数据与计算发展前沿,20
25、23,5(4)巨家骥 等:融合情感词典和自注意力的双通道情感分析模型 后,模型在特征融合层将和进行拼接,从而构建出文本整体的特征向量。为了简化模型的计算量,使用行连接的方式进行特征融合,如公式(13)所示。(13)式中表示向量的横向拼接(Concat),即保持维度不变,各维度的数据拼接起来。将特征融合后的文本向量输入分类器,从而得到模型最终预测的情感分类结果,如公式(14)所示。(14)其中,为权重矩阵;为偏置矩阵;为模型输出的预测结果。2.4 注意力软约束当模型过度重视情感词典引入的外部信息时,会造成过拟合的现象。为了平衡 SEC 中的注意力和EEC 中的情感注意力,本文引入了一种注意力软约
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 融合 情感 词典 注意力 双通道 分析 模型
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。