面向中文文本分类的字符级对抗样本生成方法.pdf
《面向中文文本分类的字符级对抗样本生成方法.pdf》由会员分享,可在线阅读,更多相关《面向中文文本分类的字符级对抗样本生成方法.pdf(10页珍藏版)》请在咨信网上搜索。
1、面向中文文本分类的字符级对抗样本生成方法张顺香*吴厚月朱广丽许鑫苏明星(安徽理工大学计算机科学与工程学院淮南232001)(合肥综合性国家科学中心人工智能研究院合肥230088)摘要:对抗样本生成是一种通过添加较小扰动信息,使得神经网络产生误判的技术,可用于检测文本分类模型的鲁棒性。目前,中文领域对抗样本生成方法主要有繁体字和同音字替换等,这些方法都存在对抗样本扰动幅度大,生成对抗样本质量不高的问题。针对这些问题,该文提出一种字符级对抗样本生成方法(PGAS),通过对多音字进行替换可以在较小扰动下生成高质量的对抗样本。首先,构建多音字字典,对多音字进行标注;然后对输入文本进行多音字替换;最后在
2、黑盒模式下进行对抗样本攻击实验。实验在多种情感分类数据集上,针对多种最新的分类模型验证了该方法的有效性。关键词:对抗样本生成;文本分类;情感分类;多音字;字符级对抗样本中图分类号:TP391.1;TN915.08文献标识码:A文章编号:1009-5896(2023)06-2226-10DOI:10.11999/JEIT220563Character-level Adversarial Samples Generation Approachfor Chinese Text ClassificationZHANGShunxiangWUHouyueZHUGuangliXuXinSUMingxing(
3、School of Computer Science and Engineering,Anhui University of Science&Technology,Huainan 232001,China)(Institute of Artificial Intelligence,Hefei Comprehensive National Science Center,Hefei 230088,China)Abstract:Adversarialsamplegenerationisatechniquethatmakestheneuralnetworkproducemisjudgmentsbyad
4、dingsmalldisturbanceinformation.Whichcanbeusedtodetecttherobustnessoftextclassificationmodels.Atpresent,themethodsofsamplegenerationintheChinesedomainmainlyincludetraditionalcharactersandhomophonessubstitution,whichhavetheproblemsoflargedisturbanceamplitudeofsamplegenerationandlowqualityofsamplegene
5、ration.PolyphoniccharactersGenerationAdversarialSample(PGAS),acharacter-levelcountermeasuresamplesgenerationapproach,isproposedinthispaper.Whichcangeneratehigh-qualityadversarialsampleswithminordisturbancebyreplacingpolyphoniccharacters.First,apolyphonicworddictionarytolabelpolyphonicwordsisconstruc
6、ted.Then,theinputtextwithpolyphonicwordsisreplaced.Finally,anadversarialsampleattackexperimentintheblack-boxmodelisconducted.Experimentsonmultiplesentimentclassificationdatasetsverifytheeffectivenessoftheproposedmethodforavarietyofthelatestclassificationmodels.Key words:Anti-samplegeneration;Textcla
7、ssification;Sentimentalclassification;Polyphoniccharacters;Character-leveladversarialsamples1 引言对抗样本起源于图像领域,通过对自动驾驶领域中的转弯图像进行修改,导致自动驾驶系统出现故障。在文本领域中,通过在文本中添加噪声的方式来生成对抗样本,会使分类器出现错误分类1,这启发了后续的文本对抗生成方法2,3和防御方法4,5。同时有学者6已经证实,当神经网络模型遭遇对抗样本攻击时,会出现准确率急剧降低的情况。在实际应用中,对抗样本常被用作检测模型鲁棒性的依据之一7。目前,在中文文本对抗样本生成领域,生成对
8、抗样本的方法主要有基于同音字替换8和繁体字替换9收稿日期:2022-05-07;改回日期:2022-07-09;网络出版:2022-07-14*通信作者:张顺香基金项目:国家自然科学基金(62076006),安徽高校协同创新项目(GXXT-2021-008),安徽省研究生科研项目(YJS20210402)FoundationItems:TheNationalNaturalScienceFoundationofChina(62076006),TheUniversitySynergyInnovationProgramofAnhuiProvince(GXXT-2021-008),TheGraduat
9、eStudentsScientificResearchProjectofAnhuiProvince(YJS20210402)第45卷第6期电子与信息学报Vol.45No.62023年6月JournalofElectronics&InformationTechnologyJun.2023等。但在进行繁体替换和同音字替换时,增加人工阅读障碍,扰动幅度大,容易被防御机制识别,生成的对抗样本质量不高。为最大程度保障语义,降低人工阅读障碍,本文提出一种字符级对抗样本生成方法(PolyphoniccharactersGenerationAd-versarialSample,PGAS),具体框架如图1所示。
10、该方法采用改进的定向词删除评分机制进行关键词定位,找到影响分类的关键词;然后利用构建的多音字字典,用多音字替换的方法修改原始数据生成对抗样本,在多个最新的分类模型上进行试验。2 相关工作目前,文本领域对抗样本生成主要分为字符级、词级和句子级对抗样本生成方法。2.1 字符级对抗样本生成方法在字符级的对抗样本生成中,Matthias等人10提出一种字符级的对抗样本用作机器阅读理解模型的攻击验证。Niu等人11应用字符级对抗样本生成的方法,对生成样本采用最大边际法揭示了多种对话模型的弱点,提高了对抗模型的鲁棒性。Ebrahimi等人12通过研究字符级神经机器翻译的对抗样本,提出了以删除或改变翻译中的
11、单词的两种攻击方法。GAO等人13提出通过修改核心词,使扰动编辑距离最小化的黑盒对抗样本生成方法(DeepWordBug)。Dou等人14改进了Gao等人13的方法,提出快速生成对抗样本方法(FastWordBug),对经常出错的单词进行更改,快速构造对抗样本。Ebrahimi等人15根据输入数据的重要性,提出强鲁棒性的字符级分类器。Song等人16提出一种基于梯度的搜索方法来输出欺骗目标分类器的自然文本。2.2 词级对抗样本生成方法在词级别的对抗样本生成中,Li等人17提出一种通过掩码填充,并利用上下文感知来修改语法输出的对抗样本生成模型。Tan等人18利用扰乱词形的变化,生成了看似合理和语
12、义上相似的对抗样本。Li等人19提出一种利用预训练模型来生成对抗样本的高质量和有效的方法。Zang等人20将基于义元的词替换方法和基于粒子群优化的搜索算法结合,完善现有的词级攻击方法中的优化搜索算法。Cheng等人21考虑文本的离散性,提出了一种结合群套索和梯度正则化的投影梯度方法,来进行非重叠攻击和有针对性的关键字攻击。2.3 句子级对抗样本生成方法Jia等人22提出句末嵌入的句子级对抗样本生成方法,启发了后续句子级生成方法。Minervini等人23研究自然语言推理(NaturalLanguageInference,NLI)中违反给定1阶逻辑约束的对抗样本自动生成问题,最大限度地度量违反此
13、类约束的程度。Wang等人24在Jia等人22的基础上,将生成的对抗样本嵌入到文本的不同位置,验证其模型的缺陷。Ribeiro等人25利用简单的扰动来检测单个句子中的语义改变问题。Iyyer等人26提出句法控制的释义网络,生成符合标准句法结构的对抗样本。Han等人27生成的对抗样本减弱了预测模型的结构化输出对输入中的小扰动过于敏感的现象。Wang等人28提出一种受控对抗文本生成模型,可以生成形式多样且流畅的对抗样本。上述工作大都基于英文环境下进行对抗样本生成,在中文文本中效果不佳。而目前中文领域生成对抗样本的方法主要有同音字和繁体字替换等,扰动较大且生成质量不高,因此提出一种适用于中文领域生成
14、高质量、小扰动的对抗样本的方法具有重要意义。图1PGAS模型框架图第6期张顺香等:面向中文文本分类的字符级对抗样本生成方法22273 构建多音字字典本文多音字字典的构建流程主要由两部分组成;是数据的获取与处理;进行多音字字典的构建。3.1 数据获取与处理传统中文中含有614个中文多音字29,其中共计1337个读音,其中3个读音以上的字共计91个,4个读音以上的字共17个,且不同发音代表的含义也不同。为确保数据的准确性,需对数据进行预处理,排除其中现代汉语不常用的多音字。其次,由于获取到的多音字为单个汉字,需要进行数据标注以区分具体读音对应的具体含义,本文考虑采用人工标注的方法。3.2 构建多音
15、字字典针对多音字的结构特点,需要具体描述出不同读音下所表达的具体含义,因此进行下列定义。(w,x,y,i)i 1,7定义多音字字典。表示包含字符和读音之间关系的字典。它用于具体表述字符和读音之间的关系,可用四元组描述。其中,w是多音字的中文表示,x是w的拼音表述,y是w的具体含义,i表示w的第i个读音,。随着多音字读音的增多,其含义也逐渐变多。由定义知,在含多音字的句子中,需根据i值来确定w的具体含义y,而i值可通过x来确定。读音与字义之间的联系,采用点互信息PMI算法来完成,PMI可以较为准确地衡量读音与字义的相关性,其计算如式(1)所示PMI(x,y)=log2p(x,y)p(x)p(y)
16、=log2p(x|y)p(x)=log2p(y|x)p(y)(1)p(x,y)=p(x)p(y)p(x,y)p(x)p(y)其中,若x与y无关,则,表示该读音没有此含义;若x与y相关程度越高,则与比值越大。wiWi=w1,w2,.,wli设多音字的含义集合为,则构建的集合W为W=w11w12.w1nw21w22.w2n.wn1wn2.wnn(2)wijWii 1,7,n 1,7其中,表示单词的第i个读音与对应的含义组成的集合,其中,并且每个多音字的不同读音可能有多个含义。4 PGAS算法4.1 算法假设sss s sss s 本文将评论数据作为输入得到输出结果得分,将 与阈值进行比较,得到预测
17、的分类结果。由于评论数据已经给定正例和负例,故仅需判断是否分类正确即可。训练集中的正负例分别标记为1和0,当时,判断该输入为正样本;当时,则判断该输入为负样本。样本输入后得到得分,若 在得分阈值 和 之间则为中性,情感倾向较弱或者不含情感倾向;则偏正面;则偏负面。评论文本中的多音字可能多个读音都不包含情感倾向,这不会对PGAS算法产生影响。因为无论是否包含情感倾向,在原句中进行多音字替换时,除了判断核心词的情感倾向外,核心词自身以及其他词含有多音字也会对最终的结果产生影响。4.2 扰动定位WW=w1,w2,.,wnWPGAS算法中,需要定位多音字的位置,根据WordHandling算法8的字删
18、除评分方法的启发,提出了改进的定向词删除评分机制(TargetedDele-tionScore,TDS)进行多音字位置的位置重要性判断,根据重要性进行多音字替换操作。对输入样本进行分词得到,其中n表示输入样本的字符长度,再将输入样本进行拼音化处理,通过与构建的多音字字典中进行比对,找到输入样本中全部的多音字位置,对序列中的第i个多音字,计算整个样本和删除该字之后样本的输入分数差值TDS(wi)=f(w1,.,wi1,wi,wi+1,.,wn)f(w1,.,wi1,wi+1,.,wn)(3)4.3 算法描述PGAS算法的核心思想是通过对输入文本中的多音字进行替换来达到改变模型预测结果的目的。具体
19、包含以下两个步骤:首先构建多音字字典,然后根据多音字字典来替换原始样本中的多音字,生成对抗样本。PGAS算法进行对抗样本生成主要是通过多音字替换实现,在实际应用中,多音字的不同读音具有不同的含义,将不同读音的汉字视为相对独立的两个汉字,因此其对应的向量表示也完全不同。为了清晰地描述PGAS算法原理,展示多音字的读音不同导致的向量表示变化,相关描述如图2所示。X1,X2,.,XTcX1,cX2,.,cXTcXi图2中,句子由等T个汉字组成,对其进行汉克尔矩阵化(Hankelization)操作,变形为,其中表示为汉字对应的矩阵形式。通过PGAS算法,对含有多音字的汉字2228电子与信息学报第45
20、卷cMiXnew执行替换操作,即将图3中红色框处的0变为1,得到改变后的矩阵,即可得到更新后的。图2详细描述了PGAS算法通过矩阵变换得到不同含义且不同读音的同形字形式化流程。针对代替换字读音在2个以上的汉字,通过计算其IMD值(具体计算方法见5.3节),选取IMD值最大的读音进行替换。IMD值越大,表明两读音之间的偏移量越大,原始语义偏离越大,越容易起到攻击的效果。5 实验及结果分析本文选用的数据分为两部分,构建多音字字典时,采用的多音字数据来源于魏星等人28提出的中文科技术语多音字表中数据。生成对抗样本数据来源于谭松波公开的酒店评论数据、微博评论数据以及商品评论数据,在针对数据集中的数据进
21、行分词后,采用人工标注的方法对其中的多音字进行标注。5.1 实验设置本文在不同网络模型上进行了对抗样本有效性验证,通过对多种类型的情感分类文本数据集进行统计分析,数据集的相关信息汇总见表1。本文使用多种类型的数据构建出试验数据集,每种评论文本平均有6 000条。由于本实验仅需要验证含有情感倾向的多音字所属的评论语句,经过人工筛选后,评论中剩余5 886条含有多音字的语句,正负样例比重相同。对评论语句的多音字进行人工标注,将标注好的数据分为训练集和测试集,训练集和测试集的数据比例为3:7。在实验中,分类阈值 设为0.5,和 的值分别为0.6和0.4。使用PGAS生成对抗样本数据,并将对抗样本数据
22、,传入长短期记忆网络(LongShort-TermMemory,LSTM)和卷积神经网络(ConvolutionalNeuralNetwork,CNN)等传统模型和部分最新的情感分类模型测试生成样本的效果。为了验证所提出来的PGAS的有效性,首先生成对抗样本,将这些对抗样本作为输入,对现有最新的情感分类模型实施黑盒攻击。对于PGAS攻击效果的衡量是根据神经网络模型对对抗样本检测的准确率下降程度体现,准确率下降越多,则攻击效果越好。5.2 实验结果及分析实验使用酒店评论数据、微博评论数据以及商品评论数据,利用最新的情感分类模型对提出的PGAS算法生成的对抗样本进行验证。同时,为了与其他对抗样本生
23、成方法作比较,特设置对照实验,以期验证本方法的优势。关于模型检测准确性如表2表4所示,对比方法有词处理生成方法(Word-Handling)8、词级黑盒对抗样本生成方法(Cword-Attacker)9、黑盒对抗样本生成方法(DeepWordBug)13和快速生成对抗样本方法(FastWordBug)14。测试模型分别有:支持向量机(SupportVectorMachines,SVM)30、长短期记忆网络(LongShort-TermMemory,LSTM)31、深度记忆网络(MemNet)32、方面交互网络(IAN)33、注意力集中注意网络(AOA)34、注意编码网络(AEN-GloVe)3
24、5、LSTM+SynATT36、目标依赖图注意网络(TD-GAT)37、特定方面图建卷积网络(ASGCN)38、卷积神经网络(Convolu-tionalNeuralNetwork,CNN)39和分层式卷积神经网络情感分类(pos-ACNN-CNN)40。本文在相同的实验环境下,在多个公开数据集上与多种对抗样本生成方法生成的样本,用11种文表 1 实验数据集项目酒店评论数据微博评论数据商品评论数据任务类型情感倾向性分类 情感倾向性分类 情感倾向性分类分类数目222训练集(条)4 12070 00042 130测试集(条)1 76630 00018 056多音字数量(个)2 556 9527 3
25、91 4566 585 441图2PGAS算法替换向量描述样例图3字音1和字音2在坐标系中的转移第6期张顺香等:面向中文文本分类的字符级对抗样本生成方法2229表 2 在酒店评论数据集上的对比试验结果(%)测试模型无修改对比方法本文方法WordHandlingCWordAttackerDeepWordBugFastWordBugPGAS准确率准确率降低幅度准确率降低幅度准确率降低幅度准确率降低幅度准确率降低幅度SVM76.3572.194.1671.035.3269.187.1770.156.2052.3623.99LSTM83.2176.256.9674.298.9272.5110.7075
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 面向 中文 文本 分类 字符 对抗 样本 生成 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。