基于脑电网络图特征的情绪识别研究.pdf
《基于脑电网络图特征的情绪识别研究.pdf》由会员分享,可在线阅读,更多相关《基于脑电网络图特征的情绪识别研究.pdf(9页珍藏版)》请在咨信网上搜索。
1、ISSN 10049037,CODEN SCYCE4Journal of Data Acquisition and Processing Vol.38,No.4,Jul.2023,pp.815-823DOI:10.16337/j.10049037.2023.04.006 2023 by Journal of Data Acquisition and Processinghttp:/Email:sjcj Tel/Fax:+8602584892742基于脑电网络图特征的情绪识别研究李存波1,杨蕾1,陈昭瑾1,汪义锋1,李沛洋2,李发礼1,尧德中1,徐鹏1(1.电子科技大学生命科学与技术学院神经信息
2、教育部重点实验室,成都 611731;2.重庆邮电大学生物信息学院,重庆 400065)摘要:针对情绪脑电信号提出一种网络图特征学习与情绪识别算法。首先,利用情绪脑电数据构建对应的情绪脑电网络;其次,在由情绪脑电网络尺度定义的高维空间构建脑电网络样本间的局部邻接关系图以挖掘样本集的分布特性,进而得到样本集的图拉普拉斯矩阵;在此基础上,进一步利用谱图理论对情绪脑电网络的最优低维空间映射进行求解,在保留原始样本局部邻接关系的前提下实现对情绪脑电网络的降维与重新表达,并将每个情绪脑电网络样本表示成 1组脑电网络特征集;最后利用提取到的情绪脑电网络特征集,结合支持向量机分类学习算法,针对情绪识别任务进
3、行识别模型的训练和学习,实现对情绪状态的准确解码与识别。在国际公开情绪脑电数据集的实验结果表明:相较于传统情绪识别算法,本文所提方法能有效提升情绪识别准确率,在基于公开数据集的多类情绪识别任务中分别达到 91.85%(SEED 数据集,3 类)、79.36%(MAHNOBHCI 数据集,3 类)和 79%(DEAP 数据集,4类)的稳健识别效果。关键词:情绪识别;脑电图;脑电网络;特征提取;图学习中图分类号:TP181 文献标志码:AEmotion Recognition Based on Graph Features Extracted from EEG NetworksLI Cunbo1,
4、YANG Lei1,CHEN Zhaojin1,WANG Yifeng1,LI Peiyang2,LI Fali1,YAO Dezhong1,XU Peng1(1.MOE Key Lab for Neuroinformation,School of Life Science and Technology,University of Electronic Science and Technology of China,Chengdu 611731,China;2.School of Bioinfomatics,Chongqing University of Posts and Telecommu
5、nications,Chongqing 400065,China)Abstract:To accurately evaluate individual emotional states,we propose a graph feature learning and recognition algorithm for electroencephalogram(EEG)based emotion recognition.In the proposed algorithm,the original EEG data are first used to construct the correspond
6、ing EEG network.And then,the local adjacency graph between different emotional EEG network samples is constructed in the highdimensional EEG brain network space,which aims to capture the distribution of the emotional EEG brain networks,and the graph Laplacian matrix can be estimated with the adjacen
7、cy graph.Thirdly,the optimal lowdimensional graph embeddings of emotional EEG brain networks are obtained by the spectral graph theory,and the emotional EEG brain network samples can be represented in the low-dimensional space,in which the initial emotional EEG brain networks can be represented with
8、 a set of network features.基金项目:国家自然科学基金(U19A2082,61961160705,61901077);国家重点研发计划(2017YFB1002501)。收稿日期:20220505;修订日期:20221013数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.4,2023Finally,based on the extracted emotional EEG brain network features,the optimal support vector machine classi
9、fier is trained and utilized in the emotion recognition.The verification experiment is carried out on the international public emotional EEG datasets,and experimental results show that compared with traditional emotion recognition algorithms,the proposed method can effectively improve the accuracy o
10、f emotion recognition,and achieve a robust recognition effect of 91.85%(SEED dataset,3class),79.36%(MAHNOBHCI dataset,3class)and 79%(DEAP dataset,4class)on three public datasets,respectively.Key words:emotion recognition;electroencephalogram(EEG);EEG brain network;feature extraction;graph learning引
11、言大脑对情绪的加工是一个复杂的动态过程,情绪改变着人类个体的生产生活,如决策行为、人际交往等12。情绪加工障碍会引发系列生理及心理疾病,如睡眠障碍、抑郁症和精神分裂症等3。近年来,随着认知神经学科的快速发展,基于个体生理监测技术的情感计算已作为一种新兴研究方向而被广泛关注45。情感计算领域的快速发展对于临床探究精神类疾病的发病机制,制定合理有效的诊疗方案等都具有重要意义3;此外,情感计算技术的不断突破也为新型脑机接口技术,如情感脑机接口、智能人机交互等的设计与实现提供了新的可能67。情绪识别作为情感计算领域中至关重要的研究方向,旨在实现对个体情绪状态的自动识别与解码,为情感脑机接口与智能人机交
12、互提供支撑,使计算机具有感知个体情感及加工生成类人情感的能力,从而实现更为智能化、人性化的情感交互,提升人机交互体验810。脑电图(Electroencephalogram,EEG)凭借其独特的便携、无创、低成本和高时间分辨率等优势,被作为一种重要的大脑认知加工过程监测手段,广泛应用于情绪、决策等认知任务的研究中11。为推动情感计算领域的发展,国内外相关研究者提供了相应的情绪脑电公开数据库。为实现个体情绪加工过程生理信号的有效监测,上海交通大学吕宝粮教授团队以情绪片段为素材设计情绪诱发实验范式,并将对应的数据形成上海交通大学情绪脑电数据库(SEED)进行公开,为情绪识别领域的研究提供了可靠数据
13、保障12。此外,还有帝国理工学院的 MAHNOBHCI数据库13、玛丽女王学院的 DEAP数据库14等。基于情绪脑电数据,研究者们提出了不同的情绪识别算法以及基于情绪的神经反馈尝试,推动着情感计算领域的快速发展15。如 Li等16将强化学习理论用于情绪识别任务中,并提出一种神经结构搜索框架,通过实验验证了所提框架的优越性;Huang等17利用情绪脑电设计实现了一套基于情绪调节的神经反馈训练系统,实验结果表明:通过该系统的神经反馈训练,受试者的情绪调节能力得到了提升。相关研究表明,大脑对情绪的加工与处理是一个涉及多个脑区的动态交互过程,在此过程中,脑区间的信息协同和交互模式与个体的情绪状态息息相
14、关1819。因此,如何利用大脑情绪认知加工过程中的脑电信号,实现对情绪加工过程中脑区间的动态交互模式进行客观评估与精确刻画,对情绪识别研究具有重要意义20。脑电网络分析方法作为一种有效的认知神经科学研究手段,旨在通过探究脑电时序信号间的相关关系,实现对脑区间功能连接的客观评估21。针对情绪加工过程中的脑电数据,研究者们尝试利用脑电网络分析方法探究不同情绪状态下脑电网络间的差异模式,以进一步提升情绪识别准确率。文献 22 利用相位锁时方法分别构建正性和负性情绪的脑功能连接网络,探究不同刺激类型下的脑功能连接模式差异;Li等23将情绪脑电的局部激活特征与脑电网络全局性的统计属性特征进行融合,对比实
15、验结果表明:与单模态脑电特征相比,融合特征能取得最高的情绪识别准确率;究其原因,脑电网络特征能很好地弥补局部激活特征的不足,通过融合策略可获得不同情绪状态下的最优局部与816李存波 等:基于脑电网络图特征的情绪识别研究全局融合特征集,进而实现情绪识别性能的提升。从本质上说,脑电网络作为广义图的一种,脑电采集电极可作为图的顶点,脑电网络的功能连接视作图的边24。基于图论理论,脑电网络的统计属性被广泛应用于脑网络的特征提取任务中,目前常用的脑电网络属性特征包括特征路径长度、聚类系数、局部效率和全局效率等25,脑电网络属性特征能够在顶点和功能边的水平上反映单个脑电网络样本的统计属性23。然而,由于情
16、绪认知过程的动态复杂性,个体相同的情绪状态也会因时间、场景等因素的不同而呈现出一定的波动性。因此,减小情绪状态波动造成的影响对于进一步提升情绪识别的精度非常有效。在计算机视觉领域,文献 26 提出了拉普拉斯特征映射(Laplacian eigenmaps,LE)的方法用于图像数据的低维嵌入和聚类;在此基础上,又进一步提出了局部保持投影(Locality preserving projections,LPP)算法27,并用于实现图像数据的降维和人脸识别28。事实上,能否通过评估情绪脑电网络样本间的相似度构建样本邻接图,并在保持样本间邻接关系的前提下寻找情绪脑电网络样本数据在低维空间的重新表达、实
17、现对情绪脑电网络的特征提取,这对于提升情绪识别的精度非常有意义。基于上述分析,本文利用图嵌入方法对情绪脑电网络数据进行图特征的提取,实现高维脑电网络数据在低维空间的重新表达,并利用支持向量机(Support vector machine,SVM)有效实现对情绪脑电数据的识别和分类。1 脑电网络图特征提取与情绪识别 本文提出的情绪脑电网络图特征提取与情绪识别方法主要涵盖以下 4个部分:(1)利用情绪脑电数据构建对应的情绪脑电网络;(2)针对情绪脑电网络样本,在脑电网络定义的高维空间下构建样本间的邻接图,并得到对应的图拉普拉斯矩阵;(3)利用图谱理论寻找情绪脑电网络样本在低维空间的最优表示,实现对
18、情绪脑电网络数据的低维嵌入和图特征提取;(4)利用 SVM 分类器实现对情绪状态的识别和预测。具体的实现流程如图 1所示。1.1脑电网络构建研究表明:基于相位信息的同步测量方法更能反映脑区之间对信息协同处理的非线性同步模式22。本文采用相位同步(Phaselocking value,PLV)评估不同脑区之间的功能网络连接。具体来说,对于给定的单通道脑电序列信号X(t),通过希尔伯特变换可以得到其对应的解析信号H(t),形式为H(t)=X(t)+iXh(t)=A(t)e-i()t(1)式中:Xh(t)为脑电序列X(t)的希尔伯特变换29,定义为Xh(t)=1PV-X()tt-d,PV表示柯西主值
19、;图 1情绪脑电网络图特征提取与情绪识别示意图Fig.1Diagram of emotional EEG network feature extraction and emotion recognition817数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.4,2023A(t)和(t)分别表示给定脑电序列X(t)的瞬时振幅和瞬时相位。通过解析信号,脑电时序信号X(t)的瞬时相位信息可以表示为(t)=arg X(t)=arc tanXh()tX()t(2)对于多通道脑电信号,通过式(2)可以得到任意通道时序脑电信号的瞬时
20、相位,通过评估不同通道脑电信号间瞬时相位的同步性,可以实现对不同脑区功能连接的评估。给定两个脑电时间序列Xi(t)和Xj(t),对应脑电网络功能连接边的表达为Netij=|1T1Tei()t|,(t)=Xi(t)-Xj(t)(3)通过式(3),对于给定的一个多通道情绪脑电网络样本数据,可以得到对应的情绪脑电网络。1.2脑电网络图特征学习与情绪识别针对脑电网络数据,最常用的特征提取策略是:利用图论理论对单个脑电网络样本中各个节点的统计特性进行分析,通过对各个节点间局部连接属性的统计,提取出对应的脑电网络属性特征。不同于已有的网络属性特征提取策略,本文利用情绪脑电网络图特征学习策略(Graph l
21、earning,GL)实现对脑电网络特征的有效提取。本文所提情绪识别策略的具体实现流程如图 1所示,算法的实现主要包括情绪脑电网络构建、样本局部邻接图估计、最优低维映射空间求解和情绪解码与识别 4个部分。针对由脑电信号构建得到的情绪脑电网络,根据图 1所示算法流程可实现情绪脑电网络的有效降维和特征提取,进而得到更为稳健的情绪状态解码与识别效果。具体来说,本文将情绪脑电网络样本视为定义在高维脑网络空间下的离散点,通过构建高维空间下样本间的局部邻接图得到样本点在原始高维空间下的分布形式;利用图学习策略,在保留样本间局部邻接拓扑关系的前提下,求解出最优映射空间、寻找原始高维样本在最优低维图嵌入子空间
22、中的重新表达形式,完成对高维情绪脑网络的有效降维和特征提取,实现对情绪脑电网络的本征表达。对于给定的高维情绪脑电网络样本集=Net1,Net2,Net3,Netn,如何利用图学习策略寻找情绪脑网络的最优映射w、实现对脑网络的有效降维与特征提取对情绪识别性能的提升至关重要。利用该最优映射w,每一个情绪脑电网络样本可被重新表示成一组脑电网络特征,完成情绪脑电网络样本在最优低维空间下的重新表达。对任意情绪脑电网络样本Neti,其低维表达形式可表示为yi=wTNeti。直观地说,情绪脑网络样本集在低维空间中的重表达形式应当保留原始高维脑网络空间的分布形式,即保留原始高维空间下的局部样本邻接拓扑图信息。
23、本文为有效保留原始样本空间下的局部邻接拓扑结构、求解出最优的低维映射空间,将待求解的最优低维嵌入空间W定义为arg minWij()yi-yj2Gij(4)式中G为高维向量空间下样本间的局部邻接图。本文利用样本间的欧氏距离并结合热核函数构建样本邻接图27,情绪脑电网络样本间的局部邻接距离定义为Gij=e-Neti-Netj2t(5)在原始高维脑网络空间下,通过式(5)能有效捕获原始情绪脑网络样本之间的局部邻接拓扑信息,并将其作为一种图约束信息有效保留原始高维脑网络样本的分布形式。此外,为有效抑制因噪声及脑电采集环境对脑网络样本的影响,本文采用 K近邻算法(Knearest neighbor,K
24、NN)策略对构建得到的邻接图进行稀疏化处理,以保留样本间的局部邻接关系的同时消除离群样本值的影响。进一步地,针818李存波 等:基于脑电网络图特征的情绪识别研究对目标函数式(4),利用谱图理论可将目标函数转化为arg minwJ(w)=wTLTwwTDTw=wT(D-G)TwwTDTw(6)式中D为邻接图的度矩阵,Dii=jGji;L为样本局部邻接图的拉普拉斯矩阵。由于wTDTw的缩放对于最优求解不产生影响,限定wTDTw=1。式(6)最优映射空间的求解可转化为广义特征值的求解问题,形式如下LTw=DTw(7)通过式(7)可以得到目标的最优低维映射空间向量集,实现原始高维情绪脑电网络的低维嵌入
25、表达。从本质上来说,本文所提情绪识别策略主要完成对情绪脑网络的有效降维和特征提取,通过式(47),原始高维情绪脑网络空间下的样本点可实现在低维图嵌入空间的最优重表达,有效实现情绪脑网络的特征提取,为情绪识别性能的提升提供保障。针对提取到的情绪脑电网络图特征,本文利用 SVM构建情绪识别系统,以实现对情绪脑电数据的准确识别。2 情绪识别验证实验 本文采用 3个公开的国际情绪脑电数据库对所提的情绪识别策略进行验证试验,包括 SEED 数据集,MAHNOBHCI数据集和 DEAP数据集。在情绪诱发实验方面,3个数据库均采用带有情绪标签的视频片段作为诱发素材,以诱发出被试的目标情绪状态。在情绪脑电数据
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 网络图 特征 情绪 识别 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。