QTFD与DenseNet相结合的运动想象分类方法.pdf
《QTFD与DenseNet相结合的运动想象分类方法.pdf》由会员分享,可在线阅读,更多相关《QTFD与DenseNet相结合的运动想象分类方法.pdf(12页珍藏版)》请在咨信网上搜索。
1、文章编号:1003-0530(2023)08-1443-12第 39 卷 第 8 期2023 年8 月信号处理Journal of Signal ProcessingVol.39 No.8Aug.2023QTFD与DenseNet相结合的运动想象分类方法金晶1,2 杨益雕1 孙浩1 王行愚1(1.华东理工大学能源化工过程智能制造教育部重点实验室,上海 200237;2.华东理工大学深圳研究院,广东深圳 518063)摘 要:运动想象脑机接口(Motor Imagery Brain Computer Interface,MI-BCI)技术近年来在医疗康复、娱乐等许多领域得到了广泛的运用。然而,如
2、何处理非平稳的脑电信号(Electroencephalography,EEG),并从中提取可辨识的特征并分类仍然是主要难点之一。针对这个问题,本研究提出了一种基于二次型时频分布(Quadratic time-frequency distributions,QTFD)和密接型网络(DenseNet)的新型MI-EEG分类模型。具体地,我们首先使用QTFD初步提取MI任务相关的脑电时频特征,并构造得到EEG片段的高分辨率时频表示。常用的线性时频分析方法往往会忽略部分非线性信息,难以准确地描述MI信号的能量分布。与线性时频分析方法相比,QTFD方法以二次型变换的形式将信号从时域投影到时频域,能更好地
3、描述信号的能量分布,其对时间和频率的变化具有不变性,能提供较为稳定准确的时频特征。随后,本研究采用了轻量级网络模型DenseNet对时频表示的浅层和深层特征进行逐级提取并整合。DenseNet可训练参数量较少,适用于数据量较少的MI-BCI应用,它在每层网络之间都建立了直接的连接,每一层网络都可以访问之前所有网络的特征图,从而得到更具有区分性的特征表示。最后,本研究在BCI竞赛IV数据集上进行了实验验证,将提出的分类模型与各先进对比算法进行了比较。结果表明,我们所提出的方法在使用脑电通道数更少的情况下,获得了更好的分类性能。关键词:脑机接口;脑电信号;运动想象;神经网络;时频变换中图分类号:R
4、318 文献标识码:A DOI:10.16798/j.issn.1003-0530.2023.08.010引用格式:金晶,杨益雕,孙浩,等.QTFD与 DenseNet相结合的运动想象分类方法 J.信号处理,2023,39(8):1443-1454.DOI:10.16798/j.issn.1003-0530.2023.08.010.Reference format:JIN Jing,YANG Yidiao,SUN Hao,et al.QTFD and DenseNet based motor imagery classification method J.Journal of Signal P
5、rocessing,2023,39(8):1443-1454.DOI:10.16798/j.issn.1003-0530.2023.08.010.QTFD and DenseNet Based Motor Imagery Classification MethodJIN Jing1,2 YANG Yidiao1 SUN Hao1 WANG Xingyu1(1.Key Laboratory of Smart Manufacturing in Energy Chemical Process,Ministry of Education,East China University of Science
6、 and Technology,Shanghai 200237,China;2.Shenzhen Research Institute of East China University of Science and Technology,Shenzhen,Guangdong 518063,China)Abstract:Motor imagery(MI)-based brain-computer interfaces(BCIs)have gained immense popularity in a wide range of fields,including medical rehabilita
7、tion and entertainment.However,effectively processing non-stationary Electroencephalography(EEG)signals and extracting recognizable features from them remain major obstacles.In this study,our primary objective was to address this challenge by employing Quadratic Time-Frequency Distribution(QTFD)as a
8、n initial step to 收稿日期:2023-05-06;修回日期:2023-06-02基金项目:国家自然科学基金项目(62176090);科技创新2030重点项目2022ZD0208900;部分获得上海市科技重大专项2021SHZDZX项目资助;部分获得“111计划”B17017项目资助;国家地方科技发展引导基金项目(深圳市)(2021Szvup043);江苏省科技计划2022年度专项资金项目BE2022064-1(重点研发计划、产业前瞻和关键核心技术)信号处理第 39 卷extract relevant EEG time-frequency features associated
9、 with MI tasks.By utilizing QTFD,we constructed high-resolution time-frequency representations of EEG fragments,enabling a more comprehensive analysis.Conventional linear time-frequency analysis methods often overlook nonlinear information and struggle to accurately depict the energy distribution of
10、 MI signals.In contrast,QTFD projects the signal from the time domain to the frequency domain using quadratic transformations,resulting in a more precise description of the signal s energy distribution.Moreover,QTFD exhibits invariance to changes in time and frequency,offering relatively stable and
11、accurate time-frequency characteristics.To further enhance feature extraction,we adopted the lightweight DenseNet network model.This model progressively extracts and integrates shallow and deep features from the time-frequency representations.DenseNet,with its small number of trainable parameters,is
12、 particularly well-suited for MI-BCI applications with limited available data.A notable advantage of DenseNet is its direct interconnection between each layer of the network,allowing feature graphs from all preceding layers to be accessed.Consequently,this facilitates the generation of a more distin
13、guishable feature representation.Finally,we conducted experimental validation on the BCI Competition IV dataset,comparing the performance of our proposed classification model with various state-of-the-art algorithms.The results conclusively demonstrate that our method achieves superior classificatio
14、n performance,even when utilizing a reduced number of EEG channels.These findings underscore the efficacy of our approach in effectively processing non-stationary EEG signals and extracting informative features for MI-BCI applications.Key words:brain-computer interface;electroencephalography;motor i
15、magery;neural network;time-frequency transform1引言脑机接口(Brain Computer Interface,BCI)是一种将脑电信号转换为外部设备控制命令的新兴人机交互技术1,能够为用户与外界建立起沟通的桥梁,近年来受到了研究者们的广泛关注。BCI技术最早应用在康复医学领域,它能够帮助中风和瘫痪患者实现与外界环境的沟通交流,辅助行动不便的患者使用轮椅或假肢等2-3。此外,随着信号处理方法和脑科学的不断发展,BCI也逐渐延伸应用于其他领域,如机器人技术、教育、娱乐和军事等4-7。通过电极在头皮表面采集的脑电图信号(Electroencephalo
16、gram,EEG),具有时间分辨率高、无创性等优点,同时兼具设备成本低的特性,已经成为BCI系统中应用最为广泛的大脑活动记录方法8。根据不同的激活模式,EEG 可以分为慢皮层电位(Slow Cortical Potentials,SCP)9、事 件 相 关 电 位(Event-Related Potentials,ERP)10-11和感觉运动节律(Sensorimotor Rhythm,SMR)12-13等。其中,受到许多研究者关注的运动想象(Motor Imagery,MI)BCI主要使用了SMR信号。当人体执行肢体运动任务或想象肢体运动时,大脑皮层感觉运动区域的SMR将会增加或减少,出现局
17、部事件相关同步(Event-Related Synchronization,ERS)或事件相关去同步(Event-Related Desynchronization,ERD)现 象,MI-BCI可以通过 ERD/ERS的不同 EEG模式来解码用户的运动意图14-15。与其他非侵入式BCI相比,例如 P300-BCI、稳态视觉诱发电位(Steady-State Visual Evoked Potential,SSVEP)BCI,MI-BCI不需要外部刺激来诱发EEG的电位活动,不需要额外的辅助硬件设备,因此对用户和研究者而言使用更为便捷,具有更广泛的应用前景16-18。然而,由于 EEG信号属于
18、非平稳性信号,具有低信噪比的特性,其信号方差和均值随着时间不断变化,并且容易受到噪声和伪迹的干扰。因此,提高MI-BCI的分类性能是一个具有挑战性的问题19。MI分类任务的特征提取算法可以大致分为传统机器学习和深度学习两种。在传统机器学习方面,共空间模式(Common Spatial Pattern,CSP)算法应用最为广泛20,该算法通过计算特定频段的空间滤波器来提取该频段的EEG频域信息,但特定频段的选择过于依赖研究者个人经验,并且不同受试者和任务对应的最佳频段往往是不同的。因此,只包含了单一特定频段信息的传统CSP方法无法构建通用的分类模型21。为了缓解单一频段选择带来的影响,ANG等提
19、出了滤波器组CSP(Filter-Bank CSP,FBCSP)22,FBCSP使用多个空间滤波器将EEG分解为多个子频带,使用CSP算法从多个子频带中提取出更多频域相关的信息。然而,FBCSP仍然非常依赖人类脑动力学等先验知识和经验,这也是其他传统机器学习方法所面临的问题,而仅仅依靠现有的经验知识很难兼顾实际应用中的场景,无法保障模1444第 8 期金晶 等:QTFD与DenseNet相结合的运动想象分类方法型的鲁棒性,导致最终的应用效果较差,MI信号的识别准确率较低23。近年来,深度学习方法获得了长足的发展,许多领域的前沿算法都逐渐转向了深度学习的研究。在MI-BCI中,深度学习方法将特征
20、提取模型的参数和分类器的参数进行了整合优化,统筹改进了整个分类框架。与传统CSP方法相比,深度学习方法能够构建端到端的分类模型,能够获得更好的特征提取和分类性能,具有更好的鲁棒性。针对MI信号的特征提取和分类,研究者们提出了多种深度学习网络模型。其中,卷积神经网络(Convolutional Neural Network,CNN)在处理MI分类任务方面展现出了巨大的优势和潜力。CNN无须手动提取特征就可以直接从 EEG 信号时序列中学习 ERD/ERS 脑电模式,并从中提取层次结构24-25。例如,LAWHERN等人提出了一种 EEGNet 浅层 CNN 模型,它将原始EEG信号作为输入,将多
21、个卷积滤波器以并行、串行的形式相结合,逐级提取信号的时间和空间特征,相比于传统机器学习方法获得了更优越的分类性能26。DAI等人提出了一种混合卷积尺度的CNN模型,采用了多个不同尺度的时间卷积核对EEG信号进行时域特征提取,并最终整合多尺度特征进行MI任务分类27。除了EEG时间序列外,EEG的二维表示也常作为CNN的输入来进行MI-BCI的分类任务,其中时频分布(Time-Frequency Distribution,TFD)的二维表示应用最为广泛,如频谱特征28-30 及其二维图像31-32 等。TFD包含了EEG的重要时频特征,常用的时频变换方法主要包括短时傅里叶变换(Short-Tim
22、e Fourier Transform,STFT),小波变换(Wavelet Transform,WT)等。将EEG的时间序列转换为TFD的二维表示后,许多用于图像分类的深度学习模型也可以应用于BCI的解码过程中,扩宽了BCI的算法研究思路。但TFD与CNN相结合的MI-BCI识别框架的相关研究中,仍然存在以下问题:(1)STFT、WT等二维表示方法都是以线性时频联合函数来描述EEG频谱和能量密度与时间之间关系的,但能量是信号的二次型表示,是非线性的,所以这种线性的时频变换方法往往会忽略掉部分非线性信息33,难以准确地描述MI信号的能量分布。(2)现有的MI数据集规模较小,面对较深的网络模型或
23、较多的训练参数时,存在训练数据量不足的问题,导致无法训练得到较好的分类模型。针对以上问题,本研究提出了一种基于非线性二次型时频分布(Quadratic Time-Frequency Distributions,QTFD)和 密 接 型 网 络(DenseNET)的轻量级MI分类模型。其中,QTFD使用二次型变换的方式将时域EEG信号投影到时频域,能更好地描述MI信号的能量分布,且时频分辨率较高,蕴含的时频信息更准确丰富。基于DenseNet的轻量级网络的训练参数较少,对训练数据量的需求较低,且能逐级提取信号的时频特征,并充分利用和整合浅层特征和深层特征,获得更好的特征提取效果和分类性能。实验结
24、果表明,基于 QTFD 和DenseNet的MI分类模型相较于对比算法获得了更好的分类性能。2数据集与信号预处理2.1数据集描述本研究使用BCI竞赛的2a公开数据集进行MI识别模型的效果验证和结果讨论,该数据集包含了 9名被试者的 22通道 EEG信号和 3通道眼电信号。实验过程中,被试者被需要执行4种不同的运动想象任务,分别为想象左手、右手、舌头和脚的运动,每个类别的任务各执行144个trial,每个被试共计576个trial的运动想象任务,运动想象范式如图1所示。伴随着滴声,一个trail开始,屏幕上出现一个固定十字;2 s后指示运动想象任务类型的箭头(分别为上、下、左、右)出现并持续1.
25、25 s,提示被试者开始进行相应的运动想象任务。被试者被要求持续执行运动想象任务3 s直到屏幕上的固定十字消失,随后开始静息态的休息。EEG信号的采样频率为250 Hz,经过0.5 Hz100 Hz的带通滤波,并使用50 Hz陷波滤波器消除原始EEG信号中的50 Hz电力线路噪声干扰。2.2数据预处理本研究的数据预处理过程主要包括三部分:通道选择、数据截取和带通滤波。首先,为了减少输0固定十字滴声提示运动想象12345静息678t/s图1运动想象范式计时方案Fig.1Timing scheme of the motor imagery paradigm1445信号处理第 39 卷入特征的维度,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- QTFD DenseNet 相结合 运动 想象 分类 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。