基于运动一致性的视觉多目标跟踪算法.pdf
《基于运动一致性的视觉多目标跟踪算法.pdf》由会员分享,可在线阅读,更多相关《基于运动一致性的视觉多目标跟踪算法.pdf(6页珍藏版)》请在咨信网上搜索。
1、总第 484 期2023 年第 4 期基于运动一致性的视觉多目标跟踪算法阳海浪,吕宇,蒋国涛,皮志超,罗朔,陈美林(中车株洲电力机车研究所有限公司,湖南 株洲 412001)摘要:视觉多目标跟踪模块在主动式车载障碍物检测系统中占据关键地位。然而,现有的视觉多目标跟踪算法多依赖离线计算得到的目标检测结果,并未充分考虑这个阶段耗时对实际应用中跟踪效果的影响。因此,本研究首先针对实际应用环境,设计了一个多线程异步的视觉障碍物检测系统框架;随后,提出了一种多特征融合的视觉多目标跟踪算法,该算法以本研究所提出的基于目标运动向量的运动一致性特征指标为基础,结合目标跟踪研究中常用的外观特征和马氏距离等特征,
2、优化级联匹配策略,旨在提升对具有相似外观特征和运动规律的多个目标的跟踪稳定性,同时保证常规场景下目标的稳定跟踪;最后,将所提出的多目标跟踪算法集成于所设计的障碍物检测系统框架中,通过实验分析来验证该算法的有效性。实验结果表明,该算法能较稳定地跟踪实际应用环境下的各类目标,相比参照算法可达到更长时间稳定跟踪的效果。关键词:多目标跟踪;障碍物检测系统;运动一致性;级联匹配;目标检测中图分类号:TP391 文献标识码:A 文章编号:20965427(2023)04006106doi:10.13889/j.issn.20965427.2023.04.009Visual Multiple-object
3、Tracking Algorithm Based on Motion ConsistencyYANG Hailang,LYU Yu,JIANG Guotao,PI Zhichao,LUO Shuo,CHEN Meilin(CRRC Zhuzhou Institute Co.,Ltd.,Zhuzhou,Hunan 412001,China)Abstract:The visual multiple-object tracking module is a key component of an active onboard obstacle detection system.However,the
4、most of currently used visual multiple-object tracking algorithms rely on offline calculation for object detection,without adequately considering the adverse effect on tracking attributed to the time consuming nature of offline calculation in actual applications.This study presents a visual multiple
5、-object tracking algorithm that leverages multi-characteristic fusion within a multi-thread asynchronous system framework for visual obstacle detection,designed in consideration of actual application environments.The proposed algorithm reflects an optimized cascade matching strategy,primarily depend
6、ing on the motion consistency characteristic index developed in this study based on the target motion vector,and incorporating some common cues in object tracking research,such as the appearance model and Mahalanobis distance.The algorithm aims to improve the stability in tracking multiple objects w
7、ith similar appearance features and motion patterns,while maintaining stability in normal cases.The proposed multiple-object tracking algorithm integrated into the above-mentioned framework was verified in experimental analysis.According to the experimental results,the proposed method demonstrates t
8、he capability to stably track various targets in actual application environments,outperforming the baseline method in terms of longer-lasting stable tracking performance.Keywords:multiple target tracking;obstacle detection system;motion consistency;cascade matching;object detection0引言 为满足日趋增加的客货运铁路运
9、输需求,近年来,国内外相关研究机构均开始研究并应用列车自动驾驶技术,以提升列车运输效率;并制定了一系列列车自动驾驶标准和规范,如 机车自动驾驶系统总体暂行技术条件 和 IEC 62267 Railway applications-automated urban guided transport(AUGT)-safety requirements1人工智能技术与应用收稿日期:20230328作者简介:阳海浪(1997),男,硕士,现从事图像处理研究工作。612023 年第 4 期等,同时针对干线铁路和城市轨道交通设立了多个列车自动驾驶等级。对于有司机值守的GOA1/GOA2级线路,需要司机在隧道
10、、多弯、大坡度以及视野受限等复杂的行车条件下高度关注列车行进方向,以避免各种非预期情况的发生,这对值守司机的精力和经验等有较高要求。而对于无司机值守的GOA3/GOA4级运行线路,对列车行进方向上障碍物的有效检测则是保障线路安全运行的关键。因此,在GOA3/GOA4级列车上装载主动式车载障碍物检测系统,以检测威胁列车行车安全的障碍物并进行预警,这显得十分重要。在主动式车载障碍物检测系统中,视觉感知子系统通过相机传感器获取图像,并基于图像中丰富的语义信息,通过视觉目标检测与跟踪模块,感知场景内机车、行人及其他各类目标,为自动驾驶列车的安全运行提供有效保障。因此,视觉多目标跟踪(multi-obj
11、ect tracking,MOT)模块是主动式车载障碍物检测系统中不可缺少的关键组成部分之一。鉴于YOLO系列模型技术2在目标检测领域的发展,当 前 MOT 算 法 多 为 基 于 检 测 的 跟 踪 方 案(tracking-by-detection,TBD),此类算法通常涉及相互独立的检测和跟踪处理阶段。当前也有部分学者提出检测与跟踪相融合的跟踪算法,以探索解决两阶段功能独立执行所带来的算法效率问题。TBD类算法检测阶段使用目标检测网络获取当前场景内目标;跟踪阶段则常基于运动模型通过贝叶斯估计3预测目标的后续状态,如卡尔曼滤波器(Kalman filtering,KF4),并使用匈牙利匹配
12、算法5完成新旧目标间的数据关联。常见TBD类目标跟踪算法,如SORT6,使用交并比(intersection-over-union,IOU)指标完成当前帧目标与跟踪器内既有目标间的关联。IOU Tracker7未使用运动模型估计目标位置,其目标匹配策略仅基于相邻帧间目标包围盒(bounding box,BBox)的IOU指标。鉴于 深 度 学 习 在 视 觉 特 征 提 取 方 面 的 优 势8,DeepSORT9增加了基于特征提取网络的目标外观特征用于目标匹配,并提出级联匹配策略,在SORT基础上显著提升了目标跟踪的稳定性。相较IOU Tracker,Visual-IOU Tracker10
13、使用外观特征和IOU进行目标匹配,以改善目标跟踪的稳定性。ByteTrack11充分利用具有不同置信度水平的目标检测结果,有效提升了跟踪效果,相较其他目标跟踪算法,其在目标匹配阶段可使用低置信度目标。OC-SORT12是以观测值为中心的目标跟踪算法,其一方面采用基于历史观测值的角度一致性和IOU进行目标匹配,另一方面根据历史观测值平滑目标轨迹。StrongSORT+13则是轨迹的全局关联算法。检测跟踪融合的方案有JDE Tracker14和FairMOT15,此类算法的目标检测和跟踪阶段特征可从统一的网络模型中进行提取,在算法处理速度上相比两阶段TBD类算法具有一定优势。上述TBD类视觉多目标
14、跟踪算法存在以下3个方面的不足:1)在算法性能测试阶段均采用已离线计算的目标检测结果,即其并未考虑目标检测所需耗时在实际应用中对跟踪效果的影响。2)在实际应用的多线程异步障碍物检测系统框架中,数据采集与目标检测等模块并行处理。鉴于实时性要求,目标检测模块与跟踪模块无法处理采集到的全部视频帧。而在上述使用运动模型估计目标位置的视觉多目标跟踪算法中,跟踪阶段均基于KF进行目标状态估计,且基于目标线性运动的假设。然而,目标检测耗时以及实际处理帧数的不足,难以满足理论研究中的目标线性运动假设条件。3)SORT、IOU Tracker等仅采用IOU作为目标匹配阶段的衡量指标进行最近邻匹配;而 DeepS
15、ORT、ByteTrack、OC-SORT等虽结合了外观特征、马氏距离特征或运动角度一致性等特征,但对于新入目标或待重新匹配的目标,仍采用IOU指标进行最近邻匹配以完成目标状态转换。在实际应用中,因实时性要求高,算法无法及时处理所有视频帧,而相邻帧中目标位移可能较大,使得同一目标在相邻帧间BBox重叠区域较小。因此,对于具有相似外观特征与运动规律的目标,当采用外观特征无法有效区分时,TBD类算法再采用马氏距离或IOU进行最近邻匹配,可能无法形成有效匹配,而且可能在相似目标间形成误匹配。鉴于上述多目标跟踪理论研究在实际应用中的不足,本文首先设计了一套多线程异步视觉障碍物检测系统框架及同步跟踪算法
16、,并提出了一种基于运动一致性的视觉多目标跟踪算法集成于上述框架中。本文所提出的视觉多目标跟踪算法在目标匹配阶段,使用本文所设计的基于目标历史观测值的运动一致性特征,改善KF在状态估计可信度有限情况下的鲁棒性,同时结合外观、马氏距离及IOU等特征,实现常规场景目标的稳定跟踪,并提升外观特征与运动规律相似的多个目标的跟踪稳定性。1基于运动一致性的视觉多目标跟踪算法及其实现本文首先基于嵌入式应用环境设计了多线程异步622023 年第 4 期阳海浪 等:基于运动一致性的视觉多目标跟踪算法视觉障碍物检测系统框架,并提出同步跟踪算法,实现检测结果和跟踪结果的同步;然后,根据现有场景中的目标特点,设计运动一
17、致性特征,优化视觉多目标跟踪算法级联匹配策略,提升目标跟踪算法的准确性和稳定性。1.1多线程异步视觉障碍物检测系统框架实际应用中,视觉障碍物检测系统常采用多线程异步处理框架,以最大程度利用嵌入式应用环境下的计算资源,提升系统实时处理能力。本文所设计的多线程异步视觉障碍物检测系统框架如图1所示,其包括视频采集解码模块、数据同步模块、视觉检测模块、视觉跟踪模块以及障碍物输出控制模块5个功能模块。这些功能模块中,视频采集解码模块、视觉检测模块及视觉跟踪模块通过线程进行解耦,视频采集解码模块从相机传感器处进行实时取流解码,并输出解码帧队列;解码帧队列通过数据同步模块完成视觉检测模块和视觉跟踪模块所需的
18、视频帧数据同步;视觉检测模块采用机器学习或深度学习方法完成视频帧内目标识别,并将视觉检测结果输出至视觉跟踪模块;视觉跟踪模块根据数据同步模块输出的视频帧数据和视觉检测模块输出的视觉检测结果,通过视觉多目标跟踪算法完成对当前场景内各目标的稳定跟踪。异步视觉障碍物检测系统需完成取流解码模块、视觉检测模块及视觉跟踪模块间的数据同步。因此,本文提出一种同步跟踪算法,即通过控制解码帧队列的出入队来完成检测结果和跟踪结果的同步,具体流程如表1所示。1.2基于运动一致性的跟踪算法框架本文跟踪算法是在DeepSORT框架基础上,设计运动一致性特征,并结合目标跟踪算法中常用的外观和马氏距离等特征优化级联匹配策略
19、,以提升目标跟踪的准确性和稳定性。图2为本文跟踪算法框架示意图。首先,其通过目标检测网络和特征提取网络获取当前场景内各类目标位置信息和外观特征;然后,在级联匹配阶段,根据新旧目标间特征向量、位置及运动向量间的差异进行目标关联,对于在级联匹配阶段未形成匹配关系的新目标和跟踪器内既有目标,基于IOU指标进行再次匹配;最后,根据生命周期管理策略完成已匹配目标、未匹配既有目标及未匹配新目标的状态管理。图 2 跟踪算法框架示意图Fig.2Framework of tracking algorithm表 1同步跟踪算法Tab.1Synchronous tracking algorithm输入:输出:1:2
20、:3:4:5:6:7:8:9:10:11:12:13:14:15:16:17:18:19:20:21:22:当 前 检 测 周 期 帧 数 cur_frames;前 一 检 测 周 期 帧 数pre_frames;检测标志is_infering;检测结果数目num_results;解码帧队列decode_frame_deque;检测结果detections同步跟踪结果img1=read_back(decode_frame_deque)/读取最新视频帧cur_frames=cur_frames+1if(pre_frames 0)thenimg2=read_and_pop_front(decode
21、_frame_deque)predict(img2)/跟踪预测pre_frames=pre_frames-1end ifif(num_results=0)thengo to line 21end ifwhile(pre_frames 0)doimg3=read_and_pop_front(decode_frame_deque)predict(img3)/跟踪预测pre_frames=pre_frames-1end whileupdate(detections)/根据同步检测与跟踪数据获取同步跟踪结果num_results=num_results-1,pre_frames=cur_frames,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 运动 一致性 视觉 多目标 跟踪 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。