结合重识别特征和运动预测的多目标跟踪方法.pdf
《结合重识别特征和运动预测的多目标跟踪方法.pdf》由会员分享,可在线阅读,更多相关《结合重识别特征和运动预测的多目标跟踪方法.pdf(6页珍藏版)》请在咨信网上搜索。
1、740 Radio Communications TechnologyVol.49 No.4 2023doi:10.3969/j.issn.1003-3114.2023.04.020引用格式:毛焕,陈宇麟,严舒婷,等.结合重识别特征和运动预测的多目标跟踪方法J.无线电通信技术,2023,49(4):740-745.MAO Huan,CHEN Yulin,YAN Shuting,et al.A Multi Object Tracking Method Combining Re-identification Features and Motion Pre-diction J.Radio Commu
2、nications Technology,2023,49(4):740-745.结合重识别特征和运动预测的多目标跟踪方法毛 焕,陈宇麟,严舒婷,陈 锋(福州大学 物理与信息工程学院,福建 福州 350108)摘 要:多目标跟踪是智慧城市交通安防的重要技术之一。为了提高多目标跟踪的准确性并改善真实场景下的遮挡问题,提出了一种结合重识别特征和运动预测的多目标跟踪方法。在多目标检测网络中扩展一个基于卷积神经网络(Convolutional Neural Networks,CNN)的重识别特征分支,提取目标的重识别特征;采用基于置信度的卡尔曼滤波预测模型来预测轨迹的空间分布以改善目标的遮挡问题,结合检
3、测目标和轨迹在重识别特征和位置两方面的相似度来完成目标关联。实验结果表明,所提出的方法在真实行人场景下的跟踪精度优于大多数算法,具备一定的应用潜力。关键词:深度学习;多目标跟踪;卷积神经网络;运动预测中图分类号:TN911 文献标志码:A 开放科学(资源服务)标识码(OSID):文章编号:1003-3114(2023)04-0740-06A Multi Object Tracking Method Combining Re-identification Features and Motion PredictionMAO Huan,CHEN Yulin,YAN Shuting,CHEN Feng
4、(College of Physics and Information Engineering,Fuzhou University,Fuzhou 350108,China)Abstract:In order to improve the accuracy of multi-object tracking and to improve the real-world occlusion problem,a multi-object tracking method based on combining re-identification features and motion prediction
5、is proposed.Re-identification features of targets are extracted from a convolutional neural network-based re-identification feature branch extended in multi-target detector.A confidence-based Kalman filter prediction model is used to predict the spatial distribution of trajectories to improve the ta
6、rget occlusion problem.And target association is accomplished by combining the detection of similarity between targets and trajectories in terms of both re-iden-tification features and location.Experimental results show that the tracking accuracy of the proposed method in real pedestrian scenarios i
7、s better than most algorithms and has some application potential.Keywords:deep learning;multi object tracking;CNN;motion prediction收稿日期:2023-03-19基金项目:国家自然科学基金(面上项目)(61871132)Foundation Item:National Natural Science Foundation of China(Gene-ral Program)(61871132)0 引言多目标跟踪是计算机视觉领域研究的一个热点问题。它的目标是在视频序列
8、数据中关联感兴趣的目标形成轨迹达到跟踪的效果,在视频分析、安防监控、自动驾驶等领域有重要的应用1。在智慧城市的交通场景中,对行人、车辆等多个目标进行检测跟踪是建设智慧交通的重要环节之一。随着近几年基于深度学习的目标检测算法的发展,多目标跟踪作为目标检测的下游任务,它的跟踪效果也得到了巨大提升,但在真实场景的视频中,目标遮挡、身份切换、复杂背景等问题仍难以解决。大多数的多目标跟踪研究主要分为基于先检测后跟踪的两阶段方法2和端到端跟踪的单阶段方法3。基于先检测后跟踪的方法先使用一个目标检测器得到当前帧的检测结果,将检测结果与轨迹根据特定的关联策略更新轨迹的状态,这类方法的性能非常依赖于检测器的性能
9、。端到端的多目标跟踪方法在近几年受到关注,这类方法需要在一个网络结构中实现检测和跟踪,其性能和基于先检测后2023年第49卷第4期无线电通信技术741 跟踪的方法仍存在差距。本文基于先检测后跟踪的范式,在目标关联阶段使用重识别特征和基于置信度的卡尔曼滤波的运动预测计算检测目标和轨迹之间的相似度,以改善多目标跟踪的遮挡问题,并将重识别特征提取集成到基于卷积神经网络(Convolutional Neural Net-works,CNN)的目标检测器中,减少了网络训练和推理的计算开销。1 相关工作1.1 基于检测的多目标跟踪多目标跟踪算法的研究根据轨迹初始化方式的不同,分为无检测跟踪(Detecti
10、on-Free Tracking,DFT)和基于检测的跟踪(Detection-Based Tracking,DBT)1,DFT 算法需要在首帧中手工标定需要跟踪的目标,再在后续帧中跟踪兴趣目标,难以处理新目标的产生和目标丢失问题。基于检测的多目标跟踪以目标检测为基础实现目标的关联跟踪,因此跟踪的精度受到目标检测器的性能影响。随着近几年深度学习的发展,目标检测性能的提高使 DBT 算法成为目前主流的研究方向。基于检测的多目标跟踪算法在目标检测的基础上,通过特征提取、运动预测等方法描述检测目标和轨迹的状态,再关联目标和轨迹,即为目标分配对应的身份编号。IoU Tracker2直接使用相邻帧间的I
11、oU 距离进行关联,可以达到极高的运行速度,但跟踪性能容易受到遮挡场景的影响。SORT4使用卡尔曼滤波5进行运动预测,有效克服了轨迹在短时遮挡场景下的丢失问题。Deep SORT6在此基础上加入了外观特征和级联匹配的策略,以改善长时遮挡下的跟踪丢失问题。这些基于检测的多目标跟踪算法都以级联的形式处理目标检测和目标关联两部分,在目标关联模块中有基于 CNN 的特征提取网络需要训练,难以实现端到端的多目标跟踪,且训练和计算的成本较为昂贵。1.2 联合检测与跟踪为了降低基于检测的多目标跟踪算法的训练成本,JDE7将重识别特征和目标检测联合训练的网络,在目标检测模型 YOLOv38的检测头中加入一个特
12、征提取分支以表达对应检测目标的特征,实现了单阶段的训练。由于基于锚框的检测器容易存在相邻目标的歧义问题,会使集成在检测头的特征提取分支学习到的特征不够明确,从而影响目标和轨迹的关联,FairMOT9使用基于目标中心点的检测器 CenterNet10,提取目标中心点对应的特征表达,并且平衡了检测任务和特征提取任务的学习,在保持算法的计算速度下获得了更好的跟踪性能。CenterTrack3结合相邻两帧的信息,以 CenterNet 为基础回归当前帧的目标位置和相对偏移量,达到了端到端的多目标跟踪,然而只使用相邻两帧的信息难以处理帧序列中目标长时间丢失的问题。2 多目标跟踪方法本文所提多目标跟踪方法
13、的整体网络结构如图 1 所示,主要由目标检测器和目标关联两个模块组成,其中目标检测器包含了重识别特征分支和检测分支。将视频序列逐帧输入目标检测器,得到每一帧的检测框以及对应的重识别特征。目标关联部分管理了轨迹的生成、更新和销毁等操作,根据当前帧中检测框的位置和对应的重识别特征计算检测框和轨迹的代价矩阵 C,通过匈牙利算法匹配检测框和轨迹,更新当前帧中的轨迹。本文设计的目标关联部分只考虑了过去帧和当前帧的信息,属于在线跟踪方法。图 1 整体网络结构Fig.1 Overall network architecture742 Radio Communications TechnologyVol.49
14、 No.4 20232.1 重识别特征分支为了避免遮挡场景下位置信息不可靠的问题,引入重识别特征度量检测框与轨迹的相似度,重识别特征通常是经过基于 CNN 的网络提取判别式特征,这需要额外训练一个重识别特征提取网络。为了减少额外的计算开销,本方法在检测器的预测头中扩展一个重识别特征分支,以多任务学习的方式训练检测任务和重识别特征提取能力,其中检测器采用基于无锚框的检测器 CenterNet,以避免重识别特征提取分支对相邻目标的锚框产生歧义。在检测器中的多任务头输出尺寸为 howoco的特征图,其中 ho、wo、co分别表示输出特征图的长、宽和通道数,检测任务包括类别分支和检测框分支,通道数分别
15、为类别数量 nc和框的顶点数量 4。类似地,本文提出的重识别特征分支输出尺寸为 howocid的特征图,对于检测输出的每一个目标框,都对应一个通道数为 cid维的重识别特征。重识别特征提取分支的网络结构如图 2 所示,由卷积层、ReLU 非线性激活函数、批归一化(Batch Normalization)层11组成。通过卷积的过程,根据卷积核的大小和步长整合特征图在空间上的相关性,并利用卷积核的数量整合通道之间的相关性,其中最后一层的卷积层将特征通道数调整到重识别特征的目标维数。在两层卷积层中间除了 ReLU 非线性激活函数,还加入了批归一化层将特征分布归一化到超球面,以加快网络收敛速度。图 2
16、 重识别特征提取分支的网络结构Fig.2 Architecture of re-identification branch在训练过程中,重识别特征分支输出的特征集合 Fid=fiid,i1,Np,Np表示模型预测的检测框的数量,fiid 1cid表示第 i 个检测框对应的重识别特征,添加一个线性层生成 Nt个标签分类的分布Pi=pi(j),j1,Nt,pi(j)表示 Pi对应第 j 类的预测概率,以分类任务的形式训练重识别特征分支,使用交叉熵函数作为损失函数。具体的过程表示如下:Lid=-Npi=1Ntj=1Li(j)lbpi(j),Pi=Linear(fiid)。在目标关联过程中,计算检测框
17、与轨迹的代价矩阵 C 中结合了重识别特征的代价矩阵 Cid,由于重识别特征不依赖目标的位置信息,可以作用于目标在遮挡后的身份匹配的场景,改善由于遮挡导致的身份切换(ID Switch,IDS)的问题。以 Ftrack=f jtrack,j1,Ntrack表示轨迹的特征集合,Ntrack表示当前轨迹的数量,使用余弦距离计算检测框特征与轨迹特征之间的代价,得到重识别特征的代价矩阵 Cid=d(fiid,fjtrack),i1,Np,j1,Ntrack,其中 d(fiid,fjtrack)表示如下:d(fiid,fjtrack)=1-fiid,fjtrack|fiid|2|fjtrack|2。由于光
18、照、遮挡等因素的影响,目标的特征在不同的帧中存在变化,因此以平滑的方式更新轨迹的重识别特征,对于匹配到的轨迹特征 fjtrack和检测框的特征 fiid,具体的更新过程表示如下:fjtrack=fjtrack+(1-)fiid,式中:f jtrack为更新后的轨迹特征,是一个平滑系数,设为 0.9。2.2 基于目标置信度的运动预测在检测框目标与轨迹的关联中,位置信息是重要的参考维度。直接使用 IoU 距离计算当前帧下的检测框与轨迹在前一帧的位置。虽然有极高的计算速度,但是忽略了目标的运动信息,面对遮挡、运动等复杂情况存在 IDS 的问题。为了提高关联过程的抗遮挡性能,使用卡尔曼滤波器建立运动模
19、型,预测目标的运动状态,将目标的状态量定义为一个八维的状态空间向量(x,y,a,h,vx,vy,va,vh),包含了检测框的中心点位置(x,y)、框的宽高比 a、框的高度h 以及各自的速度(vx,vy,va,vh)。在标准的卡尔曼滤波中生成的测量噪声协方差 R 是一个常量矩阵,来源于观测器件的精度误差,在多目标跟踪任务中为目标轨迹在每一帧中的检测框的不确定程度,对于高置信度的检测框不确定程度应当低,低置信度的检测框不确定程度高,对于不同检测框的误差应当不同,然而使用常量矩阵作为测量噪声协方差 R忽略了检测框的置信度变化。因此,本文使用一种2023年第49卷第4期无线电通信技术743 基于置信度
20、自适应的噪声误差:R=(1-c2track)R,式中:ctrack是轨迹的置信度分数,噪声协方差 R 与轨迹置信度 ctrack呈负相关。轨迹置信度分数 ctrack在目标完成关联后根据匹配到的检测框的置信度cdet进行更新,提出一种基于轨迹跟踪时长的轨迹置信度的计算方法:ctrack=1-e-lL1+e-lLcdet,式中:cdet表示当前帧检测框的置信度,L 为一个缩放尺度因子,设为 30,l 表示轨迹的跟踪时长,即轨迹在视频序列中存在的帧数。由于遮挡等场景导致的身份切换问题,跟踪时长短的轨迹存在可能是旧轨迹身份切换而创建的新轨迹;反之,对于跟踪时长长的轨迹一般不存在这个情况,因此以一个与
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 结合 识别 特征 运动 预测 多目标 跟踪 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。