MMRGait-1.0:多视角多穿着条件下的雷达时频谱图步态识别数据集.pdf
《MMRGait-1.0:多视角多穿着条件下的雷达时频谱图步态识别数据集.pdf》由会员分享,可在线阅读,更多相关《MMRGait-1.0:多视角多穿着条件下的雷达时频谱图步态识别数据集.pdf(14页珍藏版)》请在咨信网上搜索。
1、MMRGait-1.0:多视角多穿着条件下的雷达时频谱图步态识别数据集杜兰*陈晓阳石钰薛世鲲解蒙(西安电子科技大学雷达信号处理国家重点实验室西安710071)摘要:步态识别作为一种生物识别技术,在实际生活中通常被认为是一项检索任务。然而,受限于现有雷达步态识别数据集的规模,目前的研究主要针对分类任务且局限于单一行走视角和相同穿着条件,这限制了基于雷达的步态识别在实际场景中的应用。该文公开了一个多视角多穿着条件下的雷达步态识别数据集,该数据集使用毫米波雷达采集了121位受试者在多种穿着条件下沿不同视角行走的时频谱图数据,每位受试者共采集8个视角,每个视角采集10组,其中6组为正常穿着,2组为穿大
2、衣,2组为挎包。同时,该文提出一种基于检索任务的雷达步态识别方法,并在公布数据集上进行了实验,实验结果可以作为基准性能指标,方便更多学者在此数据集上开展进一步研究。关键词:毫米波雷达;步态识别;检索任务;多视角多穿着条件;公开数据集中图分类号:TN957文献标识码:A文章编号:2095-283X(2023)04-0892-14DOI:10.12000/JR22227引用格式:杜兰,陈晓阳,石钰,等.MMRGait-1.0:多视角多穿着条件下的雷达时频谱图步态识别数据集J.雷达学报,2023,12(4):892905.doi:10.12000/JR22227.Reference format:D
3、ULan,CHENXiaoyang,SHIYu,et al.MMRGait-1.0:Aradartime-frequencyspectrogramdatasetforgaitrecognitionundermulti-viewandmulti-wearingconditionsJ.Journal of Radars,2023,12(4):892905.doi:10.12000/JR22227.MMRGait-1.0:A Radar Time-frequency Spectrogram Dataset for GaitRecognition under Multi-view and Multi-
4、wearing ConditionsDULan*CHENXiaoyangSHIYuXUEShikunXIEMeng(National Laboratory of Radar Signal Processing,Xidian University,Xian 710071,China)Abstract:Asabiometrictechnology,gaitrecognitionisusuallyconsideredaretrievaltaskinreallife.However,becauseofthesmallscaleoftheexistingradargaitrecognitiondatas
5、et,thecurrentstudiesmainlyfocusonclassificationtasksandonlyconsiderthesituationofasinglewalkingviewandthesamewearingcondition,limitingthepracticalapplicationofradar-basedgaitrecognition.Thispaperprovidesaradargaitrecognitiondatasetundermulti-viewandmulti-wearingconditions;thedatasetusesmillimeter-wa
6、veradarasasensortocollectthetime-frequencyspectrogramdataof121subjectswalkingalongviewsundermultiplewearingconditions.Eightviewswerecollectedforeachsubject,andtensetswerecollectedforeachview.Sixofthetensetsaredressednormally,twoaredressedincoats,andthelasttwoarecarryingbags.Meanwhile,thispaperpropos
7、esamethodforradargaitrecognitionbasedonretrievaltasks.Experimentsareconductedonthisdataset,andtheexperimentalresultscanbeusedasabenchmarktofacilitatefurtherresearchbyrelatedscholarsonthisdataset.Key words:Millimeter-waveradar;Gaitrecognition;Retrievaltask;Multi-viewandmulti-wearingconditions;Publicd
8、ataset收稿日期:2022-11-24;改回日期:2023-02-10;网络出版:2023-03-06*通信作者:杜兰*CorrespondingAuthor:DULan,基金项目:国家自然科学基金(U21B2039)FoundationItem:TheNationalNaturalScienceFoundationofChina(U21B2039)责任主编:金添CorrespondingEditor:JINTian第12卷第4期雷达学报Vol.12No.42023年8月JournalofRadarsAug.2023 1 引言步态识别是一种新兴的生物识别技术,旨在通过人体行走特点的不同对人
9、体的身份进行识别1。相比于指纹识别、虹膜识别等传统的生物识别技术,步态识别具有非合作、远距离、不易伪装等优点,可用于智能门禁、安防监控、刑侦监测等领域,具有十分广阔的应用前景2。近年来,由于深度学习的成熟发展和大量光学步态识别数据集的支撑,基于光学传感器的步态识别方法相关研究取得了有效的进展。然而,光学传感器易受天气和光线条件影响,且采集的图像或视频存在隐私泄露的风险。与光学传感器相比,雷达通过发射电磁波的方式来探测和感知目标,可以有效防止隐私泄露,同时雷达可以在不同的天气和光线条件下工作,具有较强的环境鲁棒性3。因此,基于雷达的步态识别方法具有非常高的实际应用价值,目前已受到广泛关注48。人
10、在行走时,人体各个部位的微运动会在雷达回波信号上引起频率调制产生微多普勒信号9。由于每个人行走的姿态、方式不同,微多普勒信号中包含的步态信息也会有所差异。对微多普勒信号进行时频分析得到的时频谱图能够反映人体丰富的步态微多普勒信息,因此利用时频谱图进行步态识别是一种十分有前景的处理方法。传统的基于雷达的步态识别方法通常使用手动提取特征的方式进行识别,识别过程一般分为两步:(1)从时频谱图中提取躯干和四肢运动周期、多普勒展宽等特征;(2)将提取到的特征输入到支持向量机、决策树等传统分类器完成识别。然而,此类方法非常依赖先验知识,计算复杂度较高且泛化性较差,通常难以获得满意的识别效果10。近年来,深
11、度学习技术在基于雷达的步态识别领域逐渐兴起,与传统的基于手动提取特征的方法相比,基于深度学习的方法可以自动地从时频谱图中提取具有鉴别力的步态特征,识别性能得到了极大的提升11,12。目前已有许多学者对基于时频谱图的步态识别问题展开了相关研究,南京航空航天大学的Cao等人4首次提出了一种基于AlexNet卷积神经网络的步态识别方法,在采集的20人数据集上达到了较好的识别效果。意大利贝内文托大学的Addabbo等人11利用时序卷积神经网络对步态时序信息进行建模,并在采集的5人数据集上验证了所提方法的有效性。Doherty等人12使用空间注意力和通道注意力机制增强特征表示以获取更具判别力的步态特征,
12、所提方法在39人数据集上达到了较高的识别性能。天津大学的Lang等人5设计了一种动作分类与步态识别的多任务模型,并在采集的15人数据集上验证了模型的有效性。Yang等人13使用多尺度特征融合策略融合了网络不同层提取到的步态信息,在15人的数据集上达到了较高的识别准确率。复旦大学的Xia等人14使用Inception模块以及残差模块搭建了识别网络,并取得了较好的识别效果。上述工作证明了深度学习技术应用于雷达步态识别领域的可行性,推动了雷达在步态识别领域的发展。然而,上述研究仅局限于分类任务,即训练集和测试集中人的身份必须一致,无法对训练集中未出现的身份进行有效识别,这限制了基于雷达的步态识别在真
13、实世界中的应用。在真实世界中,步态识别通常被认为是一项检索任务15,即给定一个查询样本,步态识别模型需要从步态样本库中检索出与查询样本匹配度最高的样本并赋予身份标签。与基于分类任务的步态识别方法相比,基于检索任务的步态识别方法具有以下特点:(1)检索任务不要求训练集和测试集中人员的身份相同,因此离线训练的步态识别系统可以直接部署到新场景中;(2)当新身份的人出现时,只需要更新样本库而无需重新训练模型。基于检索任务的步态识别模型通过对比不同样本在特征空间中距离的远近来衡量样本之间的匹配度,距离越近则样本之间的匹配度越高。检索任务模型的训练需要足够多身份数目的样本支撑,以保证模型能够学习到将相同身
14、份样本之间的距离拉近、不同身份样本之间的距离拉远的能力,使相同身份样本之间的匹配度最高。同时,在基于检索任务的步态识别中,训练集和测试集中人的身份通常是不相同的,这对数据集中人的身份数目提出了更高的要求。然而,现有基于雷达的步态识别研究大多使用私有时频谱图数据集进行实验,这些数据集中人员的数目通常较少,无法满足检索任务对数据量的需求。由于数据采集的时间成本和人力成本较大,目前暂时没有人员数目充足的雷达时频谱图步态识别数据集公开,因此基于检索任务的雷达步态识别仍然是一个亟待研究的领域。为了填补基于检索任务的雷达时频谱图步态识别数据集的空缺,并为相关研究提供数据支撑,本文公开了一个121人的大型雷
15、达步态识别时频谱图数据集。考虑到毫米波雷达具有较高的分辨率以及较低的功耗,且容易在实际应用中部署,本文选择毫米波雷达作为传感器来获取步态数据。同时考虑到在真实世界中,不同的行走视角16以及不同的穿着条件17会导致人体微多普勒特征的变化继而影响到步态识别模型的性能,因此,我们采集的数据包第4期杜兰等:MMRGait-1.0:多视角多穿着条件下的雷达时频谱图步态识别数据集893含了受试者在多种穿着条件下沿雷达不同视角行走的情况。此外,本文提出一种基于检索任务的雷达步态识别方法,并在公布数据集上评估了在多视角、跨视角以及相同穿着条件、跨穿着条件下的识别性能,实验结果可以作为基准性能指标,该数据集已可
16、通过雷达学报官网的相关链接(https:/ MMRGait-1.0数据集信息 2.1 毫米波雷达简介本文使用德州仪器(TexasInstruments,TI)开发的77GHz调频连续波(Frequency-ModulatedContinuous-Wave,FMCW)雷达AWR184318采集原始的人体雷达回波数据。该雷达采用低功耗的COMS工艺,以较小的尺寸实现了极高的集成度,同时该雷达拥有3个发射天线和4个接收天线,在方位维和俯仰维上具有一定的角度分辨率,雷达天线阵列分布如图1所示。毫米波雷达的天线配置为1发4收,雷达发射波形为线性调频连续波,其中单个线性调频信号又被称为Chirp信号。发射
17、波形的具体参数配置如表1所示。在此配置下,该雷达可以达到0.097m/s的速度分辨率,较高的速度分辨率容易获取丰富的人体步态信息。2.2 数据采集设置步态数据的采集平台和室内采集场景如图2所示,图2(a)所示毫米波雷达用于采集步态数据,光学相机用于记录采集场景。本数据集中共包含121位受试者的步态数据,其中,男性72人,年龄2126岁,身高163187cm,体重55100kg;女性49人,年龄2127岁,身高在155176cm,体重在4067kg。本文采集了受试者在3种穿着条件下沿8个不同视角行走的数据,行走视角示意图如图3所示。我们规定行走轨迹与雷达法线方向的夹角为行走视角,8个视角分别为0
18、,30,45,60,90,300,315,330。图4展示了3种穿着条件的示例,3种穿着条件分别为正常穿着、穿大衣和挎包。正常穿着行走时,人体的各个部位正常运动且表 1 雷达发射波形参数配置Tab.1 Parameter configurations of the radartransmitting waveform参数数值起始频率(GHz)77Chirp重复周期(s)78.125调频斜率(MHz/s)9.753调频时长(s)60ADC采样时间(s)40.96ADC采样点数512帧内Chirp数255帧周期(ms)19.922连续发射帧数60连续发射时长(s)1.195空闲时长(s)0.005
19、图1毫米波雷达天线阵列分布图Fig.1Antennaarraydistributionofmillimeter-waveradar毫米波雷达光学相机(a)数据采集平台(a)Data collection platform(b)室内采集场景(b)Indoor collection scene图2数据采集平台和室内采集场景Fig.2Datacollectionplatformandindoorcollectionscene030456090330315300夹角法线方向起始点雷达位置行走轨迹图3行走视角示意图Fig.3Theviewofwalking894雷达学报第12卷没有被物体遮挡;挎包行走时
20、,一只手需要扶包,有一条胳膊无法正常摆动;穿大衣行走时,大腿上半部分被遮挡,且大衣的下摆有无规则摆动。本数据集中每位受试者共采集80组数据,每组数据时长为2.4s。具体来说,8个行走视角每个视角各采集10组,其中,6组为正常穿着,2组为穿大衣,2组为挎包。121位受试者共采集9680组数据。2.3 信号处理流程本文使用1发4收的天线配置采集数据,因此每组数据包含4个通道的原始雷达回波信号,对雷达回波信号进行信号处理可以得到时频谱图,具体的信号处理流程如图5所示。首先我们将4个通道的雷达回波信号进行非相干积累,其次对积累后的信号进行距离维快速傅里叶变换(FastFourierTransform,
21、FFT)得到时间-距离图,然后使用高通滤波器滤除静止杂波,最后选取时间-距离图中人体行走时所在的距离单元(09.375m),对每个距离单元的信号进行短时傅里叶变换(Short-TimeFourierTransform,STFT)并求和得到最终的时频谱图,时频谱图可以反映人体目标各个散射点能量强度和频率随时间变化的过程19。s(t)短时傅里叶变换是一种常用的时频分析方法,其通过滑动窗口的方式对时间窗内的信号做FFT得到时频谱图,对信号做短时傅里叶变换的表达式如下:STFT(t,)=s()h(t)expjd(1)h()其中,表示信号的汉明窗(Hamming)窗函数,t表示时间维,表示频率维。根据经
22、验,本文将短时傅里叶变换的采样点数设置为512,汉明窗窗长设置为0.047s,滑窗的重叠率设置为80%。图6展示了同一人在3种穿着条件下沿8个视角行走的2.4s时频谱图,横坐标表示时间,为直观展示人体的行走速度,将纵坐标的频率转换为速度,速度范围为6.233.12m/s。当穿着条件相同时,不同行走视角的时频谱图反映的微多普勒信息有所差异,视角从0变换到90的过程中,时频谱图中速度维的延展逐渐变小,微多普勒信息逐渐变少。当行走视角相同时,不相同穿着条件下的时频谱图也有所不同:挎包行走时,由于一条胳膊无法正常摆动,其时频谱图相较于正常穿着的时频谱图缺失了部分微多普勒信息。穿大衣时,由于大腿上半部分
23、被遮挡,且大衣下摆的不规则摆动会对回波信号产生额外的频率调制,因此穿大衣行走的时频谱图相较于正常穿着行走的时频谱图也会有所差异。2.4 数据集格式192 246本数据集包含时频谱图的矩阵和图片两种格式的数据,为方便数据集的使用,我们对数据进行了统一的命名,格式为AAA-BB-CC-DDD,其中,AAA表示受试者的ID,取值范围为001121;BB表示3种穿着条件,分别为NM(正常)、BG(挎包)、CT(穿大衣);CC表示在BB穿着条件下采集的第CC组数据。在NM条件下采集6组数据,因此CC取值范围为0106,在BG条件下采集2组数据,CC取值为01,02,在CT条件下采集2组数据,CC取值为0
24、1,02;DDD表示行走的视角,分别为000,030,045,060,090,300,315,330。矩阵数据的后缀为“.mat”,每个矩阵的大小为,总样本数为9680。图片数据的后缀为“.jpg”,每张图片的尺寸为477像素429像素,总样本数为9680。以矩阵格式的数据为例,具体的数据集结构如图7所示。(a)正常穿着(a)Wearing normally(b)挎包(b)Carrying a bag(c)穿大衣(c)Wearing a coat图43种穿着条件示例Fig.4Examplesofthreewearingconditions时频谱图非相干积累4通道回波信号积累后的回波信号时间-距
25、离图距离维FFT滤除静止杂波STFT图5信号处理流程Fig.5Signalprocessingflow第4期杜兰等:MMRGait-1.0:多视角多穿着条件下的雷达时频谱图步态识别数据集895 3 基于检索任务的雷达步态识别方法现有的大多数雷达步态识别方法仅局限于分类任务,只能对训练集中出现过的身份进行识别,新身份的样本会被错误判断为训练集中的某一个身份,因此这种基于分类任务的雷达步态识别方法在实际应用场景中十分受限。相较于基于分类任务的雷达步态识别方法,基于检索任务的雷达步态识别方法更适用于实际应用场景,其流程如图8所示,检索任务遵循“受试者独立”准则,即测试集中人员身份未在训练集中出现,测
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- MMRGait 1.0 视角 穿着 条件下 雷达 频谱 步态 识别 数据
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。