基于耳周围EMG信号的舌-机接口编解码技术研究.pdf
《基于耳周围EMG信号的舌-机接口编解码技术研究.pdf》由会员分享,可在线阅读,更多相关《基于耳周围EMG信号的舌-机接口编解码技术研究.pdf(10页珍藏版)》请在咨信网上搜索。
1、文章编号:1003-0530(2023)08-1478-10第 39 卷 第 8 期2023 年8 月信号处理Journal of Signal ProcessingVol.39 No.8Aug.2023基于耳周围EMG信号的舌-机接口编解码技术研究王仲朋1,2 王瑜1 魏斯文1 孟强帆1 许敏鹏1,2 明东1,2(1.天津大学医学工程与转化医学研究院,天津 300072;2.天津大学精密仪器与光电子工程学院,天津 300072)摘 要:人-机交互(Human-Computer Interface,HCI)是将人的意图或运动转为机器指令的技术。其中,利用生物电信号来实现人与外部设备之间实时通信
2、的HCI系统可反映人体内部状态和预期行动,已广泛应用于健康监测、医疗诊断、航空航天、假肢和辅助设备的开发等多个领域。研究表明,基于肌电(Electromyography,EMG)的HCI系统稳定性强、实用化程度高,具有广阔的应用场景。其中,舌头运动具有高度的灵活性和可控性,诱发信号强且易于检测,因此通过舌动来控制外部设备的舌-机接口(Tongue-Computer Interface,TCI)具有重要的研究价值。然而现有研究的舌动信号采集方式仍然无法同时满足自然场景下高用户舒适度、精识别准确率和多控制指令集等方面的需求。为此,本研究设计了7种不同的舌头运动方式,分别为舌头“从左到右”、“从右到
3、左”、“向上”、“向下”、“吐舌”、“卷舌”和“说 talk”运动,并采用更为便捷、舒适的电极放置方法获取了22名受试者的耳周围舌动EMG信号。本研究通过时、频域特征和共空间模式(Common Spatial Pattern,CSP)算法提取了舌动信号的多维信息,使用支持向量机(Support Vector Machines,SVM)进行了7种舌动模式的有效识别,22名受试者的7类舌动模式平均分类正确率最高可达94.25%5.23%。本研究验证了舌头运动的耳周围EMG信号的稳定性和可分性,为后续开发高性能TCI系统、拓展HCI的应用场景奠定了基础。关键词:舌-机接口;肌电信号;共空间模式;支持
4、向量机中图分类号:R318 文献标识码:A DOI:10.16798/j.issn.1003-0530.2023.08.013引用格式:王仲朋,王瑜,魏斯文,等.基于耳周围EMG信号的舌-机接口编解码技术研究 J.信号处理,2023,39(8):1478-1487.DOI:10.16798/j.issn.1003-0530.2023.08.013.Reference format:WANG Zhongpeng,WANG Yu,WEI Siwen,et al.Research on coding and decoding technology of tongue-computer interfa
5、ce based on EMG signal around the ear J.Journal of Signal Processing,2023,39(8):1478-1487.DOI:10.16798/j.issn.1003-0530.2023.08.013.Research on Coding and Decoding Technology of Tongue-computer Interface Based on EMG Signal Around the EarWANG Zhongpeng1,2 WANG Yu1 WEI Siwen1 MENG Qiangfan1 XU Minpen
6、g1,2 MING Dong1,2(1.Academy of Medical Engineering and Translational Medicine,Tianjin University,Tianjin 300072,China;2.School of Precision Instrument and Opto-electronics Engineering,Tianjin University,Tianjin 300072,China)Abstract:Human-computer interface(HCI)is a technology that converts human in
7、tentions or movements into instructions that the machine can understand.Among them,the HCI system,which uses bio-electric signals to realize real-time communication between human and external devices,can reflect the current internal state and expected action of a human,and has been widely used in ma
8、ny fields such as health monitoring,medical diagnosis,aerospace,prosthetics and auxiliary equipment development as well as many other fields.Some studies have shown that HCI system based on electromyog收稿日期:2023-03-03;修回日期:2023-05-29基金项目:国家重点研发计划项目(2022YFF1202304);国家自然科学基金(62006171)第 8 期王仲朋 等:基于耳周围EM
9、G信号的舌-机接口编解码技术研究raphy(EMG)signals has strong stability and high practicability,so it has broad application scenarios.Among these control modes,tongue movement is highly flexible and controllable,and the evoked signal has strong characteristics and can be detected easily,so tongue-computer interface(
10、TCI),which controls external devices through tongue movement,has extremely important research value.However,the existing research methods of tongue movement signal acquisition still cannot meet the requirements of high user comfort,precision correct classification accuracy and multiple control comma
11、nd set in natural scenes at the same time.To this end,seven different tongue movements were designed in this study,which were“left to right”,“right to left”,“up”,“down”,“stick”,“roll”and“speak talk”.The EMG signals of tongue movements in the non-hair area around the ear of 22 subjects were obtained
12、by a more convenient and comfortable electrode placement method compared with previous research.In this research,the multi-dimensional information of tongue movement signals was extracted by time and frequency domain features and space domain features which was extracted by Common Spatial Pattern(CS
13、P)algorithm,and seven tongue movement patterns were effectively classified by Support Vector Machines(SVM)algorithm.Finally,our research showed that the average classification accuracy of the seven types of tongue movement patterns of 22 subjects was up to 94.25%5.23%.At the end of this research,we
14、verifies the stability and separability of the EMG signals around the ear of tongue movements,which lays the foundation for the subsequent development of a high performance TCI system and the expansion of HCI application scenarios for the foreseeable future.Key words:tongue-computer interface;electr
15、omyography;common spatial pattern;support vector machines1引言人-机交互(Human-Computer Interface,HCI)是实现人与外部设备之间实时通信,将人的意图或运动转化为机器指令的技术1。肌电(Electromyography,EMG)、脑电(Electroencephalography,EEG)及其他生物电信号可以反映人体内部状态和预期行动2,对用户身体状况进行评估,提高残障人士的生活自理能力,因此已被应用于各种类型的人-机交互系统中。其中,基于EEG的BCI系统不依赖于外周神经和肌肉组织便可实现与外界通信,但受限于当
16、前的脑电采集技术和系统交互方式,BCI系统在自然场景下的应用仍有挑战3-4。基于眼动的HCI系统依靠眼球运动来控制外部设备,对严重脊髓损伤患者来说较为友好,但其识别准确率容易受自发眼动的影响5。而基于EMG的HCI系统稳定性强,实用化程度高,已广泛应用于假肢控制、神经康复、生物反馈、生活娱乐等领域,应用价值极高1。已有研究表明,舌头运动具有较高的灵活性和可控性,其诱发信号强、稳定性高6,并且在严重脊髓损伤患者的康复治疗中发挥着重要作用7-8。因此,通过舌头运动产生的 EMG 信号来控制外部设备,即舌-机接口(Tongue-Computer Interface,TCI)系统,既能够达到传统EMG
17、-HCI系统的控制效果,又能够拓展 HCI 的应用场景,具有重要的研究价值。早期的TCI研究聚焦于舌控键盘、舌控鼠标、舌控杆等设备,需向口腔内放置大量器件,给用户的沟通、进食造成困扰9。为解决这一问题,2008年Huo等人设计了基于磁感应传感器的无线舌驱动系统(Tongue Drive system,TDS),在减小器件尺寸的基础上实现了 87%的六分类正确率6。2015 年,Nakatani等使用带有电极的牙套研究了舌动引起的口腔内EMG信号变化,区分了静止和四类舌头运动状态,实现了87.7%的五分类正确率10。为进一步增加用户舒适感,研究者开始尝试在口腔外获取舌动信号。2016年Sasak
18、i等在下颌处放置了22个有源电极来检测舌骨上肌EMG,并实现了95.1%的六分类正确率11。2019年,Gorur等首次在头皮处检测舌头接触口腔左右颊壁时产生的舌动电位(Glossokinetic Potential,GKP),不仅实现了最高99%的二分类正确率,还为BCI的控制提供了新的思路12。2020年,有研究者采集了舌头运动时的EEG信号,虽然四类舌头运动的分类正确率并不高13,但其运动前皮层表征可进一步提高分类精度,因此有望扩充常规运动想象BCI的控制自由度14。此外,考虑到在耳内采集舌动信号更加简单便捷、舒适度更高,已有研究者尝试通过耳机式传感器采集舌头运动耳压(Tongue-mo
19、vement ear pressure,TMEP)信号来解码舌动意图,虽然对受控信号和干扰信号的分类正确率较高,但其指令集还有待增加15-17。综上,现有TCI系统仍然无法同时满足自然场景下高用户舒适度、精识别准确率和多控制指令集1479信号处理第 39 卷等方面的需求。而相较于口腔、下颌、头皮、耳内等舌动信号采集方式,在耳周围放置电极获取舌动EMG信号不仅舒适度更高,还可以联合脑电特征提高分类正确率和控制指令集。因此,本文设计了舌头“从左到右”、“从右到左”、“向上”、“向下”、“吐舌”、“卷舌”及“说 talk”运动7种不同的运动方式,通过放置在左右耳周围的10个电极采集了舌头运动的EMG
20、信号,提取了舌动信号的时、频、空域特征用于模式识别,最终实现了94.25%5.23%的7分类正确率。本研究验证了舌头运动的耳周围EMG信号的可分性,为进一步构建高用户舒适度、高信息传输率的TCI系统提供了新思路,为拓展HCI系统的应用场景奠定了基础。2方法与实验2.1实验条件及实验被试本课题依托于天津大学神经工程团队脑电采集实验室完善的实验条件,实验在环境舒适的屏蔽室内进行。实验共采集了 22名被试(年龄范围在2126岁,其中包括9名女生,均为右利手)舌头运动的EMG信号,受试者均来自天津大学,实验前阅读并签署了由天津大学研究伦理委员会批准的知情同意书。2.2实验范式本文共设计了7类舌头运动模
21、式,分别是:Left to Right(从左到右)、Right to Left(从右到左)、UP(向上)、DOWN(向下)、Speak“talk”(说“talk”)、ROLL(卷舌)及 STICK(吐舌)。刺激呈现使用 LCD液晶显示器,刺激范式使用 Matlab 工具包 Psychtoolbox编写。耳周围电极放置位置如图1所示,左右耳各放置五个电极。实验设计流程如图2所示,首先是2 s的提示阶段,提示被试需要进行的舌头运动类别,0.8 s的静息准备时间之后开始1.5 s的舌头运动,这代表一个完整的试次(trial),每一轮(run)即每类舌头运动共计 50 试次。每轮的间隔时间为2 min
22、,实验共计7轮。2.3数据采集及预处理同脑电采集设备一致,本实验使用 Neuroscan公司的 Synamps2 放大器采集信号,并使用配套的SCAN 4.5软件保存数据,便于今后肌电与脑电集成式应用。系统的采样率设置为 1000 Hz,并对信号进行0.1200 Hz带通滤波及50 Hz的陷波处理。参照国际10-20系统电极放置位置(图3(a),接地电极位于前额,参考电极位于头顶,耳周围的外接电极分别插入 F7,F5,F3,F1,FZ,F2,F4,F6,F8,FT7 导联(图3(a)中蓝色圆圈所示导联)对应头盒插孔上,电极插入位置如图3(b)所示。对采集到的信号进行共平均处理。观察信号时域波形
23、时,滤波器选择3 阶切比雪夫型带通滤波器,滤波频带范围为0.5100 Hz,后续特征提取及分类识别时,滤波频带调整为20200 Hz。2.4时、频、空域特征提取EMG信号是一种不平稳非线性的信号,将其直接送入分类器无法获得理想的分类效果。因此,大多数研究都会对EMG信号进行时、频域处理来提取图1耳周围电极示意图(图示为左耳周围5个电极位置图)Fig.1Schematic diagram of electrodes around the ear(The picture shows the location of the 5 electrodes around the left ear)图2实验流
24、程图Fig.2Experimental process schematic diagram1480第 8 期王仲朋 等:基于耳周围EMG信号的舌-机接口编解码技术研究其有效特征,从而提高分类精度18。本文在提取EMG信号的时、频域特征的基础上增加空域特征,以实现7种指令的有效区分。2.4.1时域特征提取表面肌电信号(surface Electromyography,sEMG)的时域特征主要是基于时间变化的信号幅度特征,信号的幅度取决于肌肉的类型和状态。本文提取了均方根值及绝对值积分这两个时域特征。(1)均方根值(root mean square,RMS)。RMS可以反映sEMG的幅值特征,对信
25、号具有一定的平滑作用19,是一种在时域上观察sEMG信号能量的特征。RMS=1Ni=1Nx2i(1)(2)积 分 肌 电 值(integrated electromyography,IEMG)。IEMG 反映了肌电信号的强弱特征20,sEMG信号越强,IEMG越大。IEMG=i=1N|xi(2)式(1)和(2)中,xi(i=1,2,N)表示肌电信号,N为采样点。2.4.2频域特征提取由于sEMG存在随机性、易受干扰性等特点,只依靠时域特征往往不能有效识别当前的运动状态,故需增加频域特征分析。频域分析是将时域信号幅值转为频域的功率,直观观察sEMG信号频率分布情况及能量情况的手段21。常用的频域
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 周围 EMG 信号 接口 解码 技术研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。