基于连续卷积神经网络的3D脑电图情绪识别.pdf
《基于连续卷积神经网络的3D脑电图情绪识别.pdf》由会员分享,可在线阅读,更多相关《基于连续卷积神经网络的3D脑电图情绪识别.pdf(6页珍藏版)》请在咨信网上搜索。
1、Computer Era No.9 20230 引言“弃我去者,昨日之日不可留;乱我心者,今日之日多烦忧”。此句出自诗人李白,其揭示的是情绪对日常生活的影响。如今,人工智能技术对于精确获得人类的情绪状态起到至关重要的作用1。人类情绪可以通过面部表情、言语、眼动信号和生理信号来检测。前三种都容易受到被试者的主观影响,而脑电图(EEG)2、眼电图(EOG)等生理信号是由人体自发产生的。脑电信号来自人脑,其变化可以直观准确地反映人类情绪状态。因此,许多研究者开始使用脑电图信号来研究情绪识别。郑伟龙研究脑电图的情绪识别临界频带,并得出beta和gamma频带更适合于任务3。一项关于脑电信号分布的研究也
2、证实了高频波段更能区分情绪状态4。唐昊等人使用双峰深度去噪自动编码器和双峰-LSTM对情绪状态进行分类,平均准确率为83.25%5。还有一种将多通道脑电图数据转换为二维帧表示的预处理方法,结合了CNN和RNN来识别情绪6。李友军从不同的脑电图通道中提取功率谱密度(PSD),构建多维特征图像(MFI),并结合CNN和LSTM来处理脑电图MFI序列,识别人类情绪7。杨仪龙从EEG信号DOI:10.16644/33-1094/tp.2023.09.020基于连续卷积神经网络的3D脑电图情绪识别*李文书,王浩(浙江理工大学计算机学院智能识别与系统实验室,浙江 杭州 310018)摘要:作为人类大脑神经
3、活动的重要指标,脑电(EEG)信号能更深层次地反映人的情绪状况,但当前大多数深度学习模型通过EEG识别情绪不够精确。本文提出基于连续卷积神经网络的3D脑电图情绪识别模型,采用提取DE和PSD特征时得到的等价矩阵所构造的三维脑电图立方体作为输入,舍弃卷积神经网络中的池化层。在DEAP数据集上进行实验,Arousal准确率为95.77%,Valence准确率为93.52%,表明该方法非常适用于情绪识别,能给后续相关研究提供参考。关键词:脑电情绪识别;连续卷积神经网络;深度学习;DEAP数据集;3D脑电图中图分类号:TP183文献标识码:A文章编号:1006-8228(2023)09-96-05Em
4、otion recognition in 3D EEG based on continuous convolutional neural networkLi Wenshu,Wang Hao(Laboratory of Intelligent Identification and Systems,School of Computer Science,Zhejiang Sci-Tech University,Hangzhou,Zhejiang 310018,China)Abstract:As an important indicator of human brain neural activity
5、,the electroencephalography(EEG)signal can reflect humanemotional condition at a deeper level,but most current deep learning models are not accurate enough to identify emotions by EEG.A 3D EEG emotion recognition model based on continuous convolutional neural network is proposed,which uses the 3D EE
6、Gcube constructed from the equivalence matrix obtained when extracting DE and PSD features as input and discards the poolinglayer in the convolutional neural network.Experiments are conducted on the DEAP dataset with an accuracy of 95.77%for Arousaland 93.52%for Valence,which shows that the method i
7、s suitable for emotion recognition tasks and can provide references forsubsequent related research.Key words:EEG emotion recognition;continuous convolutional neural network;deep learning;DEAP dataset;3D-electroencephalogram收稿日期:2023-03-17*基金项目:国家自然科学基金(31771224,61603228);国家科技部重点研发计划重点专项课题(2018YFB100
8、4901);浙江省自然科学基金(LY17C090011,LGF19FO20009)作者简介:李文书(1975-),男,浙江杭州人,博士,浙江理工大学教授,主要研究方向:图像处理、认知建模、虚拟实现、物联网集成开发通讯作者:王浩(1999-),男,安徽安庆人,硕士研究生,主要研究方向:计算机视觉、数据挖掘。96计算机时代 2023年 第9期中分频提取微分熵(DE),对高频波段分类训练,集成CNN来识别情绪,平均准确率为89.84%8。大多数研究忽略了基础信号(无刺激下记录的脑电图信号)的重要性。据此分析,我们提出一种脑电图片段的三维输入形式(融合了微分熵DE和功率谱密度PSD),通过等价二维矩阵
9、的方式将其输入至连续卷积神经网络,舍弃原卷积神经网络中的池化层,有效地提升了准确率。1 情绪维度理论及DEAP数据集介绍1.1 情绪维度理论情绪维度理论由美国心理学家威廉詹姆士和丹麦生理学家卡尔兰格提出,目前已成为情绪分类标准的主流方案9,如图1所示。图1情绪维度理论模型情绪维度模型由两个维度组成,横轴表示效价度(Valence),纵轴表示唤醒度(Arousal)。人类基本情感包括放松、沮丧、愉快、悲伤、恐惧等,均可映射到二维平面点上,四个象限依次为高唤醒高效价,高唤醒低效价,低唤醒高效价,低唤醒低效价。1.2 DEAP数据集DEAP数据集是一个公开可用的数据集10,在情感计算和情绪识别研究中
10、广泛使用,其包含多种信号(EEG、周围生理信号和音视频记录)。数据集包含32名参与者观看40个时长约一分钟的音乐视频,每段视频数据由32导脑电信号和8导其他生理信号组成,然后要求其填写对效价和唤醒程度的自我评估。效价和唤醒等级从1到9(1代表悲伤/平静,9代表快乐/兴奋)。2 方法2.1 频率分解和特征提取数据集中的数据进行了降采样处理,采样频率从512Hz降到 128Hz。预处理阶段,我们对脑电信号使用了带通滤波器来进行频段分割工作。根据张等人的总结11,脑电图频率模式及其对应特征见表1所示,情感的兴奋程度和频段的频率成正比,因此我们对原始脑电信号进行频段分解,分解后得到对情绪识别效果较好的
11、后四个频段。表1频段分布频段频段()Delta()Theta()Alpha()Beta()Gamma频率频率0.54Hz48Hz812Hz1230Hz3080Hz大脑状态大脑状态深睡眠浅睡眠闭眼、放松状态活跃思考、焦虑高警觉、高焦虑意识强度意识强度很低较低中等较高很高2.2 三维输入结构国际10-20系统是一种国际公认的描述和应用头皮电极位置和大脑皮层底层区域的方法,如图2所示,每个电极物理上相邻多个电极,这些电极记录大脑特定区域的EEG信号。为了保留多个相邻通道之间的空间信息,根据电极分布图,将一维的DE和PSD特征变换为二维平面,0代表未使用该通道。图2脑电极映射二维矩阵因此,我们得到每个
12、脑电图段的八个二维平面。下一步是将这些平面堆叠成三维脑电图立方体作为CNN的输入进行训练。在计算机视觉领域中,图像的分类任务采用RGB彩色通道来组织图像,0255用于表示每个颜色通道中的颜色的强度,使用彩色图像的表示法作为类比8,如图3所示。图3脑电立方体构建框架97Computer Era No.9 2023我们对不同波段的脑电信号提取微分熵(DE)和功率谱密度(PSD)来描述这些不同的波。PSD描述了信号中存在的功率,它是频域中用于实现情感识别的最常用的特征之一12,DE度量了信号的复杂度13。这两种方式非常适用于提取脑电特征映射。PSD的提取公式为:h(X)=Xf(X)log(f(x)d
13、x其中,x是一个随机变量,f(x)是 x的概率密度函数。对于服从高斯分布的级数X,N(,2),DE的提取公式为:h(X)=-122e()x-222log()122e-()x-222dx施14等人已经证明了对于一个特定的频带i,微分熵可以定义为:hi(X)=12log()2e2i其中,hi和2i分别表示对应的脑电图信号在频带i i上的差分熵和信号方差。因此,一段特定频带i i的特征可以用一维向量来表示Vi R32。从原始脑电图信号中提取每个波段的PSD和DE向量,然后根据32通道的等价二维矩阵将其转换为二维平面,对于每个0.5秒的窗口,所有波段和特征的二维平面都被创建,而且深度堆叠。每个脑电图立
14、方体都是模型的输入,高度为8,宽度为9,深度为9,如图3的step3-4所示。2.3 基础信号处理情绪是一种复杂的心理状态,外部因素的细微差别对人们的情绪有一定的影响。在DEAP数据集中,收集了参与者在无刺激下产生的三秒基础信号。为了研究基础信号的特征对最终分类结果的影响,我们将三秒的基础信号切割为三个一秒的片段,并用上述提取特征的方法将每个信号转换为四对 DE 和 PSD特征向量,然后计算这三个脑电图立方体的DE和PSD特征值的和的平均值来表示基础信号的 DE 和 PSD特征。最后,计算实验脑电图(刺激下)和基础脑电图(无刺激下)之间的DE和PSD的偏差来代表该部分的情绪状态特征。其中,DE
15、和PSD的权重相等,单步骤可以表示为:final_vij=exper_vij-k=13base_vik3其中,exper_vij表示频段 i 在段落 j 上的特征向量,base_vik表示频段 i 在基础信号段落 j 上的特征向量,final_vij表示频段i在j段落上的最终情绪状态特征向量。2.4 连续卷积神经网络如图3中构建的三维脑电立方体可以被视为彩色图像,这使得我们可以充分利用CNN从输入中提取代表性的特征。在本文中,如图4所示,我们使用了一个具有四个卷积层的连续卷积神经网络来从输入立方体中提取特征,添加了一个具有退出操作的全连接层用于特征融合,传入最终分类。“连续”表示在两个相邻的卷
16、积层之间没有池化层。虽然在计算机视觉领域中,卷积层后面通常是池化层,其主要功能是以一些信息丢失为代价降低数据维数,但由于三维脑电立方体的大小远小于计算机视觉场的大小,所以在本模型中池化层被丢弃。此外,在每个卷积层中,采用零填充来防止立方体边缘信息丢失。在前三个卷积层中,内核设置大小为4*4,步幅为1。在卷积运算后,加入RELU激活函数,使模型具有非线性特征变换能力。使用64个特征映射开始第一个卷积层,并在接下来的两个卷积层中将特征映射加倍,因此,在第二接层,层和第三层中有128个和256个特征映射。为了融合特征映射并降低计算成本,增加了一个包含64个特征映射的1*1卷积层。在这四个连续的卷积层
17、之后,添加了一个全连以将 64 个 9*9 特征映射到最终的特征向量(1024),最终的分类器接收f R1024以预测人类的情绪状态。图4连续卷积神经网络98计算机时代 2023年 第9期3 实验3.1 实验环境及参数设置实验中脑电图数据为40*8064*8*32(视频*样本*波段*通道),将被试者在刺激下的脑电图数据切成(40*N)段,每个段的长度为L。将这些片段分类到相应的标签中,分割后,脑电图数据转换为40*N*L*8*32(视频*段*长度*波段*通道)。在我们的实验中,长度L设置为128,即每个参与者身上有 2400 个片段,我们应用所提出的方法从DEAP数据集中识别效价和唤醒。其中,
18、我们选择 5作为阈值,根据唤醒和效价的评分水平(1-9)将标签分为两个二元分类问题,即高/低效价、高/低唤醒。本实验基于 tensorflow2.3.0 平台,采用 Ubuntu18.04LTS 64 位操作系统,搭载 Intel E5-2620 CPU,NVIDIA GTX2080Ti GPU,显存11G。采用截断的正态分布函数初始化核的权值,为了避免过拟合和提高泛化能力,加入L2正则化,CNN和MLP对L2的惩罚强度分别为0.5和0.05。相关参数如表2。表2参数设置表参数名称CNN初始学习率MLP初始学习率批尺寸损失函数优化器参数值0.0010.0164最小化交叉熵Adam为了检验基础信
19、号及分频段对最终分类结果的影响,我们设计了三种分类,对三种不同的分类进行了实验,并比较了他们的结果。分类 1表示丢弃基础信号的特征的情况,分类 2表示只使用基础信号的DE特征的情况,分类3表示使用基础信号的DE和PSD特征的情况,结果如表3、表4所示。可以看出,使用双基础信号的特征能显著提高情绪识别的准确性。另外,频带越高,对情绪的识别度越精确,而且所有波段的组合可以相互补充,有助于取得更好的结果。方法MLPDTOursMLPDTOurs分类123123123CASE12312312366.3870.6875.9958.0067.8876.6762.9978.097979.363665.468
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 连续 卷积 神经网络 脑电图 情绪 识别
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。