基于多头注意力卷积Transformer的假新闻检测.pdf
《基于多头注意力卷积Transformer的假新闻检测.pdf》由会员分享,可在线阅读,更多相关《基于多头注意力卷积Transformer的假新闻检测.pdf(11页珍藏版)》请在咨信网上搜索。
1、Hans Journal of Data Mining 数据挖掘数据挖掘,2023,13(4),288-298 Published Online October 2023 in Hans.https:/www.hanspub.org/journal/hjdm https:/doi.org/10.12677/hjdm.2023.134029 文章引用文章引用:张亚立,李征宇,孙平.基于多头注意力卷积 Transformer 的假新闻检测J.数据挖掘,2023,13(4):288-298.DOI:10.12677/hjdm.2023.134029 基于基于多头注意力卷积多头注意力卷积Transfo
2、rmer的的 假新闻检测假新闻检测 张亚立张亚立,李征宇,孙李征宇,孙 平平 沈阳建筑大学,计算机科学与工程学院,辽宁 沈阳 收稿日期:2023年8月18日;录用日期:2023年9月18日;发布日期:2023年9月26日 摘摘 要要 随着通信技术和社交媒体的迅速发展,假新闻的广泛传播已经成为一个严重的问题,对国家和社会造成随着通信技术和社交媒体的迅速发展,假新闻的广泛传播已经成为一个严重的问题,对国家和社会造成了巨大的损失。因此,检测假新闻已经成为备受关注的研究领域。虽然卷积神经网络了巨大的损失。因此,检测假新闻已经成为备受关注的研究领域。虽然卷积神经网络(CNN)在局部特征在局部特征提取方面
3、效果出色,但其对顺序依赖和长距离依赖的处理能力较弱。因此,本文提出了一种注意力卷积提取方面效果出色,但其对顺序依赖和长距离依赖的处理能力较弱。因此,本文提出了一种注意力卷积Transformer模型,结合了模型,结合了Transformer架构和架构和CNN提取局部特征的优点,并实现高效的假新闻检测。提取局部特征的优点,并实现高效的假新闻检测。本文引入了一种新的注意力机制本文引入了一种新的注意力机制多头注意力卷积机制,通过卷积过滤器将复杂的词空间转换为信息多头注意力卷积机制,通过卷积过滤器将复杂的词空间转换为信息更丰富的卷积过滤器空间,从而捕捉重要更丰富的卷积过滤器空间,从而捕捉重要的的n-g
4、ram信息。该模型不仅能够捕捉局部和全局的依赖关系,信息。该模型不仅能够捕捉局部和全局的依赖关系,还能保留词语之间的序列关系。实验结果在两个真实数据集上表明,多头注意力卷积还能保留词语之间的序列关系。实验结果在两个真实数据集上表明,多头注意力卷积Transformer在假在假新闻检测任务中的准确率、召回率和新闻检测任务中的准确率、召回率和F1值明显高于值明显高于TextCNN、BiGRU和传统的和传统的Transformer模型模型。关键词关键词 假新闻检测假新闻检测,注意力卷积注意力卷积,Transformer Fake News Detection Based on Multi-Head
5、Attention Convolution Transformer Yali Zhang,Zhengyu Li,Ping Sun School of Computer Science and Engineering,Shenyang Jianzhu University,Shenyang Liaoning Received:Aug.18th,2023;accepted:Sep.18th,2023;published:Sep.26th,2023 Abstract With the rapid development of communication technology and social m
6、edia,the widespread dis-semination of fake news has become a serious problem,causing huge losses to the country and so-张亚立 等 DOI:10.12677/hjdm.2023.134029 289 数据挖掘 ciety.Therefore,detecting fake news has become a research area that has attracted much atten-tion.Although the convolutional neural netw
7、ork(CNN)is excellent in local feature extraction,its ability to deal with sequential dependencies and long-distance dependencies is weak.Therefore,this paper proposes an attentional convolution Transformer model,which combines the advan-tages of Transformer architecture and CNN to extract local feat
8、ures,and achieves efficient fake news detection.This paper introduces a new attention mechanismmulti-head attention convo-lution mechanism,which transforms the complex word space into a more informative convolution filter space through convolution filters,thereby capturing important n-gram informati
9、on.The model not only captures local and global dependencies,but also preserves the sequential rela-tionship between words.Experimental results on two real datasets show that the accuracy,recall and F1 value of multi-head attention convolution Transformer in fake news detection tasks are significant
10、ly higher than TextCNN,BiGRU and traditional Transformer models.Keywords Fake News Detection,Attention Convolution,Transformer Copyright 2023 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/li
11、censes/by/4.0/1.引言引言 新闻是人们了解外界信息的主要渠道,新媒体时代下,繁杂多样的社交平台促使新闻的传播环境、传播形式和传播内容发生巨大变化,社交媒体在给人们获取信息便利的同时,也成为虚假新闻恣意传播的渠道。虚假新闻是由专业媒体发布,通过操控舆论来达成某种政治或经济目的的手段。虚假新闻的危害极大,如果不能被及时发现并遏止,极易引起经济衰退和社会动荡,根据 2019 年 CHEQ 和巴尔的摩大学的经济研究报告显示,人类在没有特殊情况的帮助下仅能识别出 54%1的虚假新闻。与此同时,每年由于虚假新闻造成的经济损失高达 780 亿美元2。这一数据揭示了虚假新闻对全球社会和经济的严重
12、影响。在这复杂环境下,为了提高读者对假新闻的防范意识,一些平台,如 Twitter、Facebook、新浪微博3等,会提供信息检测基站来识别假新闻,但这些平台需要花费大量资金聘请领域专家来应对各类假新闻,耗时又耗力。因此,探索更加智能高效的自动化虚假新闻检测方法具有重要意义。早期的虚假新闻检测都会使用机器学习方法对新闻文章进行自动检测。比如,通过研究探索用于区分虚假内容和真实内容的不同文本属性4,研究人员利用这些特征,并使用各种方法训练多种机器学习算法的组合,以实现准确的检测结果。这些研究极大地推进了自动化虚假新闻检测的进程。然而,假新闻内容非常复杂,在使用机器学习方法对假新闻进行检测时,存在
13、着很多的局限性。首先,特征提取是传统机器学习方法的核心环节之一,但对于假新闻来说,其特征往往是复杂而难以捉摸的。传统方法需要依靠人工设计和选择特征来描述新闻文章,然后将这些特征作为输入传递给机器学习模型。但是,对于假新闻5来说,可以利用的特征可能并不明显或一致,因此提取出有效的特征变得非常困难。例如,假新闻可能使用与真实新闻类似的词汇和句法结构6,或者通过掩盖真相和错误引用来迷惑读者,这些特征并不容易被机器学习模型捕捉到。其次,数据不平衡也是一个常见的问题7。由于真实新闻的数量普遍远远大于假新闻的数据量,机器学习模型可能更加倾向于预测为真实新闻。这会导致模型对假新闻的学习不足,容易将假新闻误分
14、类为真实新闻。最后,语义复杂性也是传统机器学习方法在假新闻检测中的一个挑战8。假新闻往往通过歪曲事实、引导误导或语义模糊来误导读者。传统机器学习方法在处Open AccessOpen Access张亚立 等 DOI:10.12677/hjdm.2023.134029 290 数据挖掘 理语义复杂性时存在局限性,难以准确理解和识别假新闻中的潜在含义。传统方法通常依赖于基于统计的模式匹配,而缺乏对语义和上下文的深入理解。针对现有研究存在的问题,本文提出了一种新的注意力机制多头注意力卷积机制,其利用卷积过滤器的语义从复杂的词空间转换为信息更加丰富的卷积过滤器空间,去捕获其中重要的 n-gram。注意
15、力卷积机制不仅能捕获局部和全局的依赖关系,而且还能保留词语之间的序列关系或者说先后关系;我们使用我们提出的多头注意力卷积 Transformer 作为假新闻分类器,在两个真实的数据集上进行真假新闻检测。实验结果表明,我们所提出的多头注意力卷积 Transformer 在每个数据集上都表现出了很优异的效果。与现有的 TextCNN,BiGRU 和传统的 Transformer 相比,我们的模型提高了检测的准确性。本文主要贡献总结如下:1)我们提出的多头注意力卷积机制充分利用了卷积过滤器的语义,简化了对于分类所需的 n-gram特征的提取和优化。2)多头注意力卷积机制保持了 CNN 的最大池化(M
16、axPooling)功能,它不仅能够保留序列位置信息,而且还能捕获局部特征和全局特征。3)我们在两个真实的数据集上的大量实验表明:多头注意力卷积 Transformer 在两个真实数据集上的表现优于现有的假新闻检测模型。2.相关工作相关工作 近年来,研究者开始利用深度学习模型如基于门控循环单元(Gated Recurrent Unit,GRU)和基于卷积神经网络(Convolutional Neural Network,CNN)的模型进行假新闻检测9。Wang 等人10使用文本特征和元数据来训练各种机器学习模型,作者使用卷积层捕捉元数据向量之间的依赖关系,通过最大池化层将文本表示与来自双向长短
17、期记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)的元数据文本表示串联进行假新闻检测。Yang 11等人使用了 CNN 模型来进行假新闻分类,CNN 是一种特殊的前馈神经网络,其卷积层与池化层相互交织。对于自然语言处理(Natural Language Processing,NLP),CNN 中的卷积核可以被视为 n-gram 提取器,将每个位置的 n-gram 转换为显示其与滤波器相关性的向量。在池化操作的帮助下,可以捕获文本与每个过滤器的总体相关性。因此,CNN 在捕获 n-gram 的语义和句法信息以获得更抽象和判别表示方面具有优势。据
18、Li 12研究,CNN 在捕获顺序信息和长距离依赖关系方面相对较弱,因为卷积滤波器有很小的核,通常只关注局部 n-gram,并且池化操作导致位置信息丢失。RNN 以循环处理顺序数据而闻名。然而,由于 RNN 的循环特性,它存在两个问题:梯度消失和并行不友好。许多研究试图通过在 RNN 中加入注意机制来缓解梯度消失问题13。一种叫做 Transformer 的新型神经网络结构解决了这两个问题,完全依靠自我关注来处理长距离依赖,而不需要反复计算。基于Transformer 的神经网络的出现在广泛的 NLP 任务中带来了一系列突破14。特别是,基于 Transformer的预训练语言模型在许多基准数
19、据集中取得了最先进的性能。然而,Transformer 的庞大架构通常需要更多的训练数据、CPU/GPU 内存和计算能力,特别是对于长文本。此外,Transformer 可能会忽略对文本分类任务很重要的相邻元素(即 n-grams)之间的关系15 16。针对上述所提到的CNN和Transformer的局限性,我们提出了一种基于多头注意力卷积Transformer的假新闻检测模型结构。该模型结合了 Transformer 和 CNN 的优点,实现了高效的文本分类。我们采用了传统 Transformer 的架构,包括多头结构和多层网络。每个注意力头通过新的注意力卷积方法,有效地捕捉局部 n-gra
20、m 特征。这里的注意力卷积利用了卷积滤波器的语义,将文本从复杂的词空间转换为信息更丰富的卷积滤波器空间,以简化对于分类所需的 n-gram 的优化。同时,该机制还保留了 CNN的 MaxPooling 功能,既能保留序列位置信息,又能捕获局部和全局特征。实验结果表明,我们提出的张亚立 等 DOI:10.12677/hjdm.2023.134029 291 数据挖掘 多头注意力卷积Transformer在两个真假新闻数据集的检测中优于TextCNN、BiGRU和传统Transformer模型。3.多头注意力卷积多头注意力卷积 Transformer 模型模型 本文提出的多头注意力卷积 Trans
21、former,其采用了卷积机制计算注意力,该注意力可以捕获文本中重要的局部特征和全局特征,抵御混淆信息,增强特征提取能力。图 1 为本文提出的多头注意力卷积机制概念图,该机制由三个独立的子模块组成,分别为通过 n-gram 卷积获取得到的局部特征模块、位置编码模块与全局注意力池化模块,它们能够协同工作并自适应地细粒度化特征。Figure 1.Attention convolution mechanism 图图 1.注意力卷积机制 1)首先将输入的原始新闻(News Content)进行词嵌入表示(Embedding)得到新闻文本的词向量集合。具体执行流程为:新闻文本输入序列设为1234,lTt
22、 t t tt=?,其中it表示为新闻分词后的第 i 个词语,l表示文本序列分词后的长度。将每个it通过 Word2Vec 算法编码成 Embedding 表示iq,得到新闻文本词向量集合1234,lQq q q qq=?,wdiqR其中wd为新闻文本单词 Embedding 的维度。2)接着对文本词向量执行多个卷积过滤器的 n-gram 卷积操作,捕捉句子的关键语义,学习语义单元的特征,得到文本特征映射空间表示,我们认为这个特征映射空间包含了文本中各个 n-gram 局部信息,本文将该特征映射空间作为文本局部特征表示。令卷积核集合1234,mFfffff=?,其中wndifR表示为第 i 个
23、卷积核,n 为卷积核的宽度,m 为卷积核的数量,则每个卷积核维度为,wn d,利用卷积 F 对文本 Q 进行卷积计算,计算公式如式(1):MQF=(1)其中表示卷积计算,本文采用大小为 n-gram=3 的卷积核,因此单个卷积核的维度扩充至()12Catiiiiqqqq+=+,Cat 表示级联,输出 M 为卷积提取的特征映射集合,其维度为,l m。3)然后对得到的文本特征映射 M 进行最大池化(MaxPooling)操作,以便获得文本中最显著的特征信息,即文本与每个卷积过滤器的总体相关性,通过使用最大池化结果与卷积过滤器进行点乘操作,模型可以更加强调并增强池化结果中的重要特征,进一步提高模型对
24、关键信息的敏感性,本文将该输出结果作为全局特征表示 G,计算公式如式(2),输出维度为,l m。张亚立 等 DOI:10.12677/hjdm.2023.134029 292 数据挖掘 ()MaxPoolingGFM=(2)4)融合局部表征、位置编码特征表示和全局表征,极大提高计算注意力的特征表示,三者融合的输出作为注意力计算的输入,即 Q、K、V 三个参数矩阵,计算公式如式(3):QKVMGP=+、(3)其中,P 为位置编码特征表示有助于捕获文本中单词的全局特征,输出 Q、K、V 的维度为,l m。5)计算注意力卷积表示 O,将上一步得到的参数矩阵映射到一个多维子空间,在该子空间中,使用自注
25、意机制捕获句子中单词的注意分布,计算公式如式(4),最后级联多个头的注意力输出。()SoftmaxTiQ KAtt OVd=(4)()()()()()12,hAtt OCat Att OAtt OAtt O=?(5)其中,()iAtt O为第 i 个头的注意力表示,h 为头的数量。6)最后对多个并行头的注意力分布应用全局注意力池化模块,计算整个序列中每个注意力特征图的最大值,从而产生一个固定长度的向量,该向量概括了输入的最显著特征。将该特征与上一步得到的注意力卷积输出拼接,以获得输入文本的最终特征表示,使得模型更加专注于最重要的特征,同时仍然捕获整体注意力的得分,计算公式如式(6):()()(
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 多头 注意力 卷积 Transformer 新闻 检测
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。