基于时空特征学习Transformer的运动想象脑电解码方法.pdf
《基于时空特征学习Transformer的运动想象脑电解码方法.pdf》由会员分享,可在线阅读,更多相关《基于时空特征学习Transformer的运动想象脑电解码方法.pdf(9页珍藏版)》请在咨信网上搜索。
1、DOI:10.1322023.02.014CNATURASCIENCEMar.,20232023年3月JOURNALCOHNANNNIVERSITYVol.59,No.2第59 卷第2 期南京大学学报(自然科学)基于时空特征学习Transformer的运动想象脑电解码方法宋耀莲,殷喜喆,杨俊*(昆明理工大学信息工程与自动化学院,昆明,6 50 50 0)摘要:脑电图(Electroencephalography,EEG)可记录来自大脑皮层的电信息,反映了脑活动中神经细胞放电产生的电场变化情况.EEG的空间信息和时间信息对于运动想象脑电(MotorImageryElectroencephalog
2、ram,M I-EEG)解码分类模型学习判别特征至关重要,但过度依赖预处理和手工特征提取,导致对EEG数据进行信号分类较为困难。尽管深度学习已经在很多领域实现了自动特征提取,但脑电图的深度学习尚未完成.提出基于FBCSP(Fi l t e r Ba n k Co m m o n Sp a t i a lPatterns)和Transformer模型的时空特征学习的运动想象脑电解码方法,针对FBCSP滤波的脑电信号,依次通过空间维度和时间维度上的注意力转换来获取空间和时间特征,然后通过Softmax函数对不同类别的EEG数据进行分类:实验结果表明,在BCI竞赛数据集IV-2a上,该方法的分类准确
3、率可达8 4.16%,为MI脑电信号分类提供了新思路.关键词:运动想象,脑电图(EEG),注意力,Transformer模型中图分类号:TP391.41文献标志码:ATransformer based on temporal-spatial feature learning formotor imagery electroencephalogram signal decodingSong Yaolian,Yin Xizhe,Yang Jun(School of Information Engineering and Automation,Kunming University of Scienc
4、e and Technology,Kunming,650500,China)Abstract:Electroencephalography(EEG)is used to record electrical information from the cerebral cortex,which reflectschanges in the electric field producced by the firing of nerve cells during brain activity.The spatial and temporal information ofthe EEG is cruci
5、al for the Motor Imagery Electroencephalogram(MI-EEG)decoding and classification model to learndiscriminative features.Researchers over-reliance on preprocessing and manual feature extraction makes it difficult to classifysignals from EEG data.Although automatic feature extraction has been achieved
6、in several other fields using deep learning,deep learning for EEG is not yet completed.In this paper,a motor imagery EEG decoding method based on FBCSP(FilterBank Common Spatial Patterns)and Transformer model for temporal-spatial features learning is proposed.For the EEGsignals filtered by FBCSP,the
7、 spatial and temporal features are obtained through attention transformation in the spatialdimension and the temporal dimension in turn.Then,different categories of EEG data are classified by Softmax function.Experimental results show that the classification accuracy of the proposed method reaches 8
8、4.16%on the BCI competitionIV-2a dataset,which provides a new idea for MI-EEG classification.Key words:motor imagery,Electroencephalogram(EEG),attention,Transformer model基金项目:昆明理工大学人才科研启动基金(KKSY20190328)收稿日期:2 0 2 3-0 1-30*通讯联系人,E-mail:314第59 卷南京大学学报(自然科学)基于脑电的脑机接口(BrainComputerInterface,BCI)可以为大脑和外
9、界提供独立的信息交换和控制通道,增强人脑与环境通信和交互的能力 1.BCI研究可以帮助残疾或者瘫痪的人实现对外部设备的控制,提高生活的质量,近年来已成为人们高度关注的研究领域。运动想象脑电图(MotorImageryElectroen-cephalogram,M I-EEG)是一种无须外部刺激且能自我调节的脑电图,可以通过电极检测,但如何从大脑活动中解释运动意图是BCI的主要难点.在之前的研究中发现,高效的神经解码算法可以显著提高解码精度,从而提高BCI的性能,而脑电信号的低信噪比是导致其分类精度较低的主要原因.因此,从预处理的脑电信号中提取特征来区分不同动作的脑电信号是BCI技术中最重要的部
10、分,即脑电信号的特征提取与分类 2 .已经证明,传统的机器学习方法在脑电信号分类中效果良好,如共空间模式(Common SpatialPatterns,CSP)、滤波器组共空间模式(FilterBankCom-monSpatialPatterns,FBCSP)和支持向量机 3等.但是,MI-EEG信号具有低信噪比、时变和个体差异大的特点,传统的机器学习方法有一定的局限性,而且在特征提取上很大程度依赖人工设计的特征,需要大量的先验知识.为了克服传统方法的缺点,许多基于深度学习的分类方法 4 被提出,现在BCI范式已拥有各种不同构架的深度学习网络模型 5,如卷积神经网络(Convolutional
11、 Neural Networks,CNN)6)、循环神经网络(Recurrent Neural Network,RNN)7)长短期记忆(Long Short-Term Memory,LSTM)8)或它们的组合方法然而,上述方法仍然存在一些限制,阻碍了高性能BCI的构建.如CNN的性能依赖每一层卷积核的选择,大的卷积核会阻碍深层CNN的利用率,而小的卷积核则限制了CNN的感受野 9 ,如果没有足够深的结构,很难感知信号内部广泛的关系,会产生大量的计算。Socheretal10提出基于RNN的EEG信号分析方法,取得了优越的效果,LSTM也被用来进行EEG信号分析 11.但这些方法不足以处理更多的
12、扩展数据,如RNN只作用于先前的记忆和当前的状态,LSTM虽然能捕获长距离依赖信息,但无法并行计算,CNN虽然能并行计算,但无法捕获长距离依赖信息,需要通过层叠或者扩张卷积核来增大感受野.Vaswanietal12提出Transformer网络,在NLP(Na t u r a l La n g u a g e Pr o c e s s i n g)的序列建模能力上引起飞跃,已被引人翻译、图像生成等领域.与CNN,RNN和LSTM相比,Trans-former模型中的注意力机制不仅在长序列特征相关性计算和模型可视化与可解释性方面优于其他模型,而且在处理长期依赖关系方面表现了更优越的性能.最近,基
13、于Transformer的模型也被应用于不同的EEG任务.Sun etal13将Transformer与CNN相结合来提高MI-EGG的分类准确性.Pedoeem etal14构建了卷积层、全连接层和用于癫痫检测的Transformer的混合架构.Guo et al15提出一种具有深度卷积和Transformer编码器的新型神经网络模型,它探索情绪识别对每个EEG通道的依赖性,通过可视化获取的特征来进行基于EEG的情绪识别.长期依赖关系是时间序列的重要特征,所以Transformer模型是一个很好的序列数据识别模型,但目前MI-EEG的研究中仍然缺乏Trans-former的应用.基于上述分析
14、,提出基于FBCSP的时空特征学习的Transformer运动想象脑电解码方法,实现对原始EEG信号的时空特征抽取和识别.首先,根据运动想象EEG信号的特性,利用FBCSP构成的空间滤波器对原始运动想象EEG信号进行滤波处理,然后依次进行空间维度和时间维度上的注意力转换,最后通过Softmax函数对EEG数据进行分类.实验结果表明,该方法可有效提高对MI脑电信号分类的准确率1数据集与预处理1.1数据集使用BCI竞赛IV-2aMI-EEG数据集,该数据集由奥地利格拉茨工业大学提供 16 ,,一共记录了九名受试者左手、右手、双脚和舌头四种不同的运动想象任务的EEG信号,每个受试者的实验数据分为两组
15、,即训练集和测试集.每个任务包含2 8 8 次试验,每种类型的MI-EEG信号试验7 2 次,按图1所示的计时方案来进行记录.实验采集装置有2 5个通道,其中EEG电极有22个,眼电(EOG)电极有3个.主电极分布如图2315第2 期宋耀莲等:基于时空特征学习er的运动想象脑电解码方法所示,符合国际10-2 0 标准,采样率为2 50 Hz.数据通过50 Hz的陷波滤波器过滤以消除工频干扰,然后通过0.5 10 0 Hz的带通滤波器保留人脑电波频率的主要成分.BeepCueFixation crossMotorimageryBreak012345678t(s)图1数据采集的计时方案Fig.1D
16、ata acquisition timing schemeFz4689111213C3CzC414151617Ref.18GND1920图2EEG电极位置的示意图Fig.2Schematicdiagramof EEG electrodes1.2FBCSP空间滤波器为消除工频干扰,原始EEG数据通过50 Hz的陷波滤波器滤波.与运动想象相关的信息在频谱上是局部化的,大多数脑电信息出现在(812Hz)和(1232Hz)波段,而眼电噪声频率范围主要存在于较低频。为了进一步提高脑电信号的信噪比,将数据带通滤波至 4,40 Hz,并去除基线漂移、眼动、头动等伪迹干扰.因此,为了定位该鉴别信息,使用滤波器
17、组共空间模式(FBCSP)来构建空间滤波器,通过CSP算法来改善原始信号的空间差异并保持时间信息。CSP算法是常用的对EEG信号进行空间滤波的方法,在EEG信号的分类识别中应用广泛17 .CSP算法的主要目的是设计空间滤波器,将原始多维数据投影到低维空间,使滤波处理后两类数据之间的方差最大化18 .FBCSP算法是CSP算法的进一步扩展,能有效提取不同频带的特征.由于传统的FBCSP只适用于二分类,本文使用一对多(OneVsRest,OVR)的分类策略来处理多分类的任务,将多类任务中的每一类都分别与其他类区分.基于FBCSP的空间滤波过程如下.首先,FBCSP使用由ChebyshevI型滤波器
18、构成的滤波器组将其分解成6(16 9)个频带的信号.例如,以带宽为4Hz在 4,40 Hz将MI-EEG信号分解为4 8,8 12,12 16,36 40Hz共九个频带上的信号,得到九组不同频带范围的MI-EEG信号.第6(16 9)个带通滤波器得到的MI-EEG用E,表示,然后分别对每个频带成分计算“二分类 CSP投影矩阵W,,得到滤波器Z.=WTE,每类MI任务包含n(n=7 2)个实验数据.具体过程如下:(1)首先,计算第6 个滤波器的“两类 MI-EEG中每个实验的协方差矩阵:E,ETC,=-(1)trace(E,Et)其中,trace(X)代表矩阵X的对角线元素之和,T为转置运算符.
19、(2)通过一类和“剩余类的平均协方差ZCo.和Z.Com,得到所有实验的混合空间协方差Cbe:Chs=Er-,Co.+Z,Cor:(2)其中,Cb。为其中一类的协方差矩阵,Cr为“剩余”类的协方差矩阵,N为“剩余类别的实验数据,(3)对混合空间协方差矩阵进行特征值分解:Cbe=UbeAbUl(3)其中,Ub为特征向量矩阵,Abc为特征值对角矩阵.(4)构造白化矩阵P,和空间系数矩阵Sb:1P,=AUT(4)So=P.CoPT(5)Sbr=P,CorPT(6)其中,Sb。为其中一类的空间系数矩阵,Sbr为“剩余 类的空间系数矩阵。(5)利用Sb。和Sbr具有的相同的特征向量构成矩阵B,对其进行分
20、解:Sbo=B,AboBT(7)316南京大学学报(自然科学)第59 卷Sr=B,AbrBT(8)其中,A6。和Abr为特征值对角阵。(6)计算投影矩阵Wb,得到经过空间滤波后的脑电信号Z:W,=(BTP,)T(9)Z.=WTE.(10)2模型结构如图3所示,模型的总体框架包括四部分,分别是数据预处理、空间模块、时间模块和分类.首先对原始数据进行空间滤波处理,然后,空间模块利用点积注意力机制对特征通道进行加权,时间模块采用多头注意力机制(MultiheadAttention,MHA)进行时间变换,从不同的角度感知脑电信号的全局时间依赖关系,最后使用Softmax函数进行分类 12 2.1空空间
21、模块该模块使用缩放的点积注意力机制对特征通道进行加权.先将输入数据分别与三个不同的权重矩阵相乘得到查询(Query)向量Q、键(Key)向量K和值(Value)向量V,三个矩阵大小相同,按式(11)计算加权值.Q与K点乘的结果除以缩放因子d,进行归一化,通过Soft-max函数,对应的就是各个通道之间的相互关联程度,然后乘上对应的矩阵V,得到最后的加权结果,即通道加权的表示.矩阵Q代表将用于匹配的每个通道,矩阵K代表使用点积的所有其他通道QKTAttention(Q,K,V)=SoftmarV(11)2.2时间模块EEG信号的时间信息对于提高运动想象脑电解码的性能至关重要.该模块采用多头注意力
22、机制,可以从不同的角度感知脑电信号的全局时间依赖关系,为了降低计算的复杂度,对经过空间模块压缩的数据进行切片,然后分成h个更小的部分,即头部.将各部分的输出线性变换并进行串联连接,最后将得到的注意力向量作为输出,具体如下:MutiHead(Q,K,V)=(12)Concat(headi,.,head,.)wohead,=Attention(QW,KWK,VWy)(13)其中,Concat是矩阵拼接函数,head,是第i个head的输出结果,h是head的个数,W是最终输出的线性变换,W&,WK,WY分别为Q,K,V在第i个head上的线性变换.全连接前馈神经网络是对多头注意力层的输出结果进行两
23、次线性变换和一次Gelu(G a u s s i a nErrorLinearUnits)激活操作,MHA和前向反馈子层都包含一个残差链接结构,然后再做一个规Results11RF1LT1二1Dot ProductMulti-Head1RawEEGsignalAttention1SoftmaxAdd&NormScalingFactor川FeedForwardDot ProductAdd&NormKT11SpatialFilter川Global AveragePooling1Position Embedding11111Input11ProcessingSpaceModuleTimeModule
24、ClassificationModule图3模型结构Fig.3The architecture of ourmodelL317第2 期宋耀莲等:基于时空特征学r的运动想象脑电解码方法范化操作作为子层的最终输出.该模型的MHA和全连接前馈模块重复三次,以获得更好的效果,为了让模型利用脑电采样之间的序列关系,即位置信息,在压缩和切片之前,利用卷积层对脑电采样之间的序列进行编码,卷积层的内核大小设为51,步长设为1.2.3分类输出模块快采用全局平均池化层(Global AveragePooling,GAP)来代替卷积神经网络中传统的全连接层.GAP层通过平均池化操作将时间模块输出的每个特征向量的平均
25、值映射到一个类别标签或输出节点,连接到一个完全连接层,最后使用Softmax函数获得预测概率,2.4训练过程及策略为了保证模型的稳定性,使用五折交叉验证的方法进行训练.在有限的数据集下,将每个受试者的训练集和测试集随机打乱放到一起,每个受试者有57 6 个样本.将它们随机分为五个相等的部分,选择其中四份作为训练集,剩下的一份作为测试集对模型进行测试,得到分类准确率。最后,将得到的五个准确率取平均值作为模型的分类结果。在Transformer的多头注意力机制中,多头数目设置为5.同时,使用Adam优化器 4,它是常用的优化器之一,实现简单,计算效率高,占用的内存少,经过偏置矫正后,优化器的每次迭
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 时空 特征 学习 Transformer 运动 想象 解码 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。