基于语义概念的图像情感分析.pdf
《基于语义概念的图像情感分析.pdf》由会员分享,可在线阅读,更多相关《基于语义概念的图像情感分析.pdf(10页珍藏版)》请在咨信网上搜索。
1、 年 月第 卷第 期西 北 工 业 大 学 学 报 :收稿日期:基金项目:国家自然科学基金面上项目()与陕西省重点研发计划()资助作者简介:杨瀚森(),西北工业大学博士研究生,主要从事机器学习、图像识别研究。通信作者:吕国云(),西北工业大学副教授,主要从事音频、视频、图像处理及虚拟现实研究。:基于语义概念的图像情感分析杨瀚森,樊养余,吕国云,刘诗雅,郭哲(西北工业大学 电子信息学院,陕西 西安;虚拟现实内容制作中心,北京)摘 要:随着越来越多的用户通过社交媒体表达自己的情感,图像情感分析技术受到了研究人员的密切关注。但是由于情感的模糊性和主观性,相比较于其他计算机视觉任务,图像情感分析更具挑
2、战性。该领域既有的工作仅研究了图像到情感之间的直接映射关系。然而,心理学中有关情感感知的理论揭示了人们感知情感的过程是分步式的。因此,提出了一种新的图像情感分析框架,利用情感概念作为中级语义来辅助建立图像和情感之间的关系。将情感和概念的关系用知识图谱来描述并嵌入到语义空间中,再将图像的视觉特征投影至该语义空间与情感进行对齐,从而学习图像和情感之间的关系。另一方面,提出了一种多层次深度度量学习方法,从标记层面以及示例层面同时对模型进行优化。在 个情感图像数据集上进行实验,结果表明提出的方法在情感图像检索以及分类任务上,相对于现有方法表现良好。关 键 词:图像情感分析;知识图谱;视觉语义嵌入;深度
3、度量学习中图分类号:文献标志码:文章编号:()随着互联网技术的快速发展和应用,越来越多的人在社交媒体上表达意见,分享情感和日常生活。大量的文字、视觉内容在不同用户之间传播。相比于文字,视觉内容包含更多的抽象信息,针对图像的分析引起了研究者的密切关注。当下,图像情感分析在舆情监控、意见挖掘方面发挥了重要作用。此外,该领域开发出的技术存在很多潜在的应用,比如,推荐、娱乐、行为评估等。图像情感分析的目的是预测图像的情感类别,或获得与查询图像具有相同情感的图像。与基于内容的图像分析任务相比,情感的主观性与抽象性使得图像特征和情感之间存在“语义鸿沟”。早期,研究者利用或设计不同的底层特征以学习它们与人类
4、情感之间的映射。等使用边缘、颜色、纹理直方图等人工特征的组合进行情感图像检索。等提取图像的颜色、形状、纹理特征,利用多核学习进行情感图像分类与检索。受到心理学及艺术理论的启发,等基于艺术方面的理论,提取图像平衡、梯度、运动等特征,并结合底层以及高层特征,进行了图像到情感的多图学习。随着卷积神经网络在物体检测、图像分割、图像识别等领域的成功应用,深度卷积神经网络也逐步被引入图像情感分析领域。近年来,研究人员在卷积神经网络的基础上,提出了各种基于情感的图像检索方法。等利用情感之间的层级关系,提出一种具有层级结构的三元组损失函数,实现了情感图像的检索与分类。等在 提出的损失函数的基础上,用自适应间隔
5、代替三元组中的固定间隔,增强了检索与分类性能。等利用情感层级关系,设计了一种带有层级结构的 损失函数,对情感图像进行检索和分类,并且在此基础上提出一种自适应的难分负样本生成方法,进一步提升了模型性能。目前,图像情感分析领域的方法都是建立图像特征和情感之间的直接映射关系。然而,图像情感分析包含了人们感知过程的主观性和抽象性,直接第 期杨瀚森,等:基于语义概念的图像情感分析的映射关系往往难以准确建立。除计算机视觉领域,图像对情感的影响也得到了心理学家的关注。心理学研究表明,人类感知情感的过程分为 步:刺激(,)、机理(,),反应(,),即 模型。然而现有的图像情感分析方法可以看作是直接建立 中 和
6、 的关系,而包含人的感知知识以及经验的机理()步骤被忽略了。此外,用独热()离散向量来表示情感标记,外部的知识无法融入模型的训练过程。所以,通常的图像情感分析方法会受到模糊性和主观性的影响,而人的情感认知却较少受到影响。受到情感认知过程的启发,本研究尝试在图像到情感的学习过程中加入类似于人们认知的中间特征。一类图像情感概念为本研究提供了思路。这些概念通过名为 的图像概念检测器得到。给定一张图片,能够输出多个跟情感有关的语义概念,比如“”或“”等。这些概念能够很好地描述图像内容,同时具有明显的情感倾向性,因此可以很好地作为图像和情感之间的中间语义。综合以上事实,本研究提出了一种新的图像情感分析方
7、法,利用情感概念作为中间语义来连接图像与情感之间的关系,旨在克服图像情感分析中的模糊性和主观性问题。首先,本研究建立了一个情感专属知识图谱来描述概念和情感之间的关系。然后将知识图谱中的节点嵌入到一个共同的语义空间中。模型的训练采用端到端的视觉语义嵌入方式,将图像特征投影至语义空间与情感进行匹配。同时,情感图像在语义上具有较大的差异性,本研究还提出了一个多级可变间隔损失函数,从而有效地学习图像特征和情感之间的关系。在该损失函数中,间隔大小可以根据相应的概念相似度进行自动调节。实验表明,本文提出的方法具有较好的分类及检索性能,模型输出特征具有较高的可区分性。方 法图 展示了本研究所提出方法的框架:
8、训练图像经过 检测器得到一系列情感概念;利用情感概念以及情感构建知识图谱;用图嵌入方法将知识图谱嵌入语义空间;利用卷积神经网络提取图像特征,将图像特征投影至语义空间,通过多级相似度损失函数优化图像特征和情感特征之间的相似度。测试时,计算图像投影特征与不同情感向量之间的相似度,将相似度最大的情感作为预测结果。图 系统框架图 简介本研究中的情感语义概念通过视觉概念检测器 得到。基于在 数据集上预训练的深度模型,等在 数据集上对深度模型进行微调。是一个通过基于情感词语检索和标记分析建立的情感本体数据集,该数据西 北 工 业 大 学 学 报第 卷集包含 个情感概念标记和 多万张图像。的最后一个全连接层
9、有 个神经元,每个神经元对应一个情感概念。输入一张图片,能够输出 个概念的概率分布。图 给出了情感概念的示例。当人们看到图)所示的图片时,不禁对历史遗迹发出赞叹。所以,惊叹是与这张图片最匹配的情感响应。当人们看到图)这样的场景时,相比较于其他情感,恐惧可能是最为接近人们反应的情感。很明显,除了图像的视觉信息,人们经验当中的先验知识会在很大程度上影响情感认知。图 情感概念示例 问题描述假设有 张训练图片 (,)(,),这里 表示第 张图片,并且每张图片带有一个标记,数据集共有 类标记。视觉语义嵌入模型通过最大化视觉向量和标记向量之间的相似度,建立从输入到输出的映射:。给定一张图片 和相应的类别标
10、记 在语义空间中的表示(),模型的学习过程使如下先验概率最大化:(,)(),)()是视觉语义嵌入模型中需要学习的参数。图像表示预训练的深度神经网络模型可以作为良好的图像表示。在 的基础上建立视觉语义嵌入模型,并在训练集上对其进行微调。为了消除 最后一个全连接层与图嵌入空间中节点维数的差异,用另一个全连接层替换 本身的最后一个全连接层。基于其他深度模型的性能将会在之后进行讨论。知识图谱构建与表示为了将外部知识融入到模型的训练过程中,首先建立一个情感专属的知识图谱。在该知识图谱中,情感和概念之间的相互关系得以描述。知识图谱作为一种实体的组织方式,能够将数据以图的形式保存和表示,并且保留各实体之间的
11、结构化信息。一个图可以表示为 (,),表示节点,表示边。节点之间的关系通过边来表示。在本研究构建的情感专属知识图谱中,有 个情感类别和 个概念,所以一共有 个节点。边(,)表示情感节点()和概念节点()之间的连接权重,边 (,)表示 个概念节点之间的连接权重。首先用检测器对训练集中的每个图片进行检测。因为检测概率较低的概念不能够正确反映图像中的内容,所以对每张图像保留前 个检测概念。于是,可以通过统计概念和情感之间的共现次数,以及概念和概念之间的共现次数,并且进行归一化,得到两类边的权值。如图)所示,和惊叹以及 分别共现一次。任意 个情感节点之间没有关联。在构建知识图谱后,利用 将图谱中的所有
12、实体以及图关系嵌入到一个低维的语义空间中,是一种基于 的图嵌入方法,采用一种有偏的随机游走采样方式,通过参数设置来控制搜索策略,从而有效地平衡了学习过程中的同质性和同构性。并且这种游走方式可以挖掘出结构相似性等序列本身没有的信息。同质性和同构性较强的节点在该语义空间中距离较近,而相似度较低的语义节点距离则较远。给定当前节点,访问下一个节点 的概率为(),(,),其他()式中:表示游走中的第个节点;是归一化常数;是节点和节点之间的未归一化转移概率。为平衡同质性和同构性,引入 个超参数 和 来控制随机游走产生的方式,并且定义未归一化转移概率为:(,),为节点 和节点 之间边的权重,其中(,),()
13、式中:为节点 和 之间的最短路径距离。经过以上转移概率的预处理,以及有偏置的随机游走和异步随机梯度下降优化,可以学习得到节点的向量表示。第 期杨瀚森,等:基于语义概念的图像情感分析 模型训练在构建了知识图谱以及完成图嵌入后,通过多级损失函数来训练视觉语义嵌入模型。图像特征由深度神经网络 的倒数第 层表示,情感标记通过 表示。全连接层 将图像特征投影至语义空间,使得其维数与情感语义节点维数相同,其中 为图像特征维数,为情感语义特征维数。在视觉语义嵌入的研究中,点积相似度是最常用的衡量 个向量相似度的指标。为了在语义空间中将视觉特征与情感相匹配,通常的做法是将负点积相似度作为损失函数来优化模型,其
14、形式为 ()()式中:表示第 个训练图片的特征;()表示与相应的情感标记特征。然而,只对 个向量之间的差异进行惩罚,这样的约束力较弱。因此设计一个三元组损失函数,实现视觉情感相似度约束,在减小图像特征和情感之间差异的同时,使得图像特征远离其他不同类别的情感向量。损失函数为 (,()(,()()式中:(,)表示 个向量之间的负点积相似度;(,)。()表示与 不同的情感向量。为固定间隔。进一步,为了优化视觉向量之间的分布,使用另一个三元组损失函数进行视觉相似度约束 (,)(,()式中:表示与类别相同的正示例特征;表示与类别不同的负示例特征。然而,情感图像的类内差异可能会很大,同时,类间差异会很小。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 语义 概念 图像 情感 分析
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。