基于运动一致性的视觉多目标跟踪算法.pdf

总第 484 期2023 年第 4 期基于运动一致性的视觉多目标跟踪算法阳海浪，吕宇，蒋国涛，皮志超，罗朔，陈美林（中车株洲电力机车研究所有限公司，湖南 株洲 412001）摘要：视觉多目标跟踪模块在主动式车载障碍物检测系统中占据关键地位。然而，现有的视觉多目标跟踪算法多依赖离线计算得到的目标检测结果，并未充分考虑这个阶段耗时对实际应用中跟踪效果的影响。因此，本研究首先针对实际应用环境，设计了一个多线程异步的视觉障碍物检测系统框架；随后，提出了一种多特征融合的视觉多目标跟踪算法，该算法以本研究所提出的基于目标运动向量的运动一致性特征指标为基础，结合目标跟踪研究中常用的外观特征和马氏距离等特征，优化级联匹配策略，旨在提升对具有相似外观特征和运动规律的多个目标的跟踪稳定性，同时保证常规场景下目标的稳定跟踪；最后，将所提出的多目标跟踪算法集成于所设计的障碍物检测系统框架中，通过实验分析来验证该算法的有效性。实验结果表明，该算法能较稳定地跟踪实际应用环境下的各类目标，相比参照算法可达到更长时间稳定跟踪的效果。关键词：多目标跟踪；障碍物检测系统；运动一致性；级联匹配；目标检测中图分类号：TP391 文献标识码：A 文章编号：20965427(2023)04006106doi:10.13889/j.issn.20965427.2023.04.009Visual Multiple-object Tracking Algorithm Based on Motion ConsistencyYANG Hailang,LYU Yu,JIANG Guotao,PI Zhichao,LUO Shuo,CHEN Meilin(CRRC Zhuzhou Institute Co.,Ltd.,Zhuzhou,Hunan 412001,China)Abstract:The visual multiple-object tracking module is a key component of an active onboard obstacle detection system.However,the most of currently used visual multiple-object tracking algorithms rely on offline calculation for object detection,without adequately considering the adverse effect on tracking attributed to the time consuming nature of offline calculation in actual applications.This study presents a visual multiple-object tracking algorithm that leverages multi-characteristic fusion within a multi-thread asynchronous system framework for visual obstacle detection,designed in consideration of actual application environments.The proposed algorithm reflects an optimized cascade matching strategy,primarily depending on the motion consistency characteristic index developed in this study based on the target motion vector,and incorporating some common cues in object tracking research,such as the appearance model and Mahalanobis distance.The algorithm aims to improve the stability in tracking multiple objects with similar appearance features and motion patterns,while maintaining stability in normal cases.The proposed multiple-object tracking algorithm integrated into the above-mentioned framework was verified in experimental analysis.According to the experimental results,the proposed method demonstrates the capability to stably track various targets in actual application environments,outperforming the baseline method in terms of longer-lasting stable tracking performance.Keywords:multiple target tracking;obstacle detection system;motion consistency;cascade matching;object detection0引言 为满足日趋增加的客货运铁路运输需求，近年来，国内外相关研究机构均开始研究并应用列车自动驾驶技术，以提升列车运输效率；并制定了一系列列车自动驾驶标准和规范，如 机车自动驾驶系统总体暂行技术条件 和 IEC 62267 Railway applications-automated urban guided transport（AUGT）-safety requirements1人工智能技术与应用收稿日期：20230328作者简介：阳海浪（1997），男，硕士，现从事图像处理研究工作。612023 年第 4 期等，同时针对干线铁路和城市轨道交通设立了多个列车自动驾驶等级。对于有司机值守的GOA1/GOA2级线路，需要司机在隧道、多弯、大坡度以及视野受限等复杂的行车条件下高度关注列车行进方向，以避免各种非预期情况的发生，这对值守司机的精力和经验等有较高要求。而对于无司机值守的GOA3/GOA4级运行线路，对列车行进方向上障碍物的有效检测则是保障线路安全运行的关键。因此，在GOA3/GOA4级列车上装载主动式车载障碍物检测系统，以检测威胁列车行车安全的障碍物并进行预警，这显得十分重要。在主动式车载障碍物检测系统中，视觉感知子系统通过相机传感器获取图像，并基于图像中丰富的语义信息，通过视觉目标检测与跟踪模块，感知场景内机车、行人及其他各类目标，为自动驾驶列车的安全运行提供有效保障。因此，视觉多目标跟踪（multi-object tracking，MOT）模块是主动式车载障碍物检测系统中不可缺少的关键组成部分之一。鉴于YOLO系列模型技术2在目标检测领域的发展，当 前 MOT 算 法 多 为 基 于 检 测 的 跟 踪 方 案（tracking-by-detection，TBD），此类算法通常涉及相互独立的检测和跟踪处理阶段。当前也有部分学者提出检测与跟踪相融合的跟踪算法，以探索解决两阶段功能独立执行所带来的算法效率问题。TBD类算法检测阶段使用目标检测网络获取当前场景内目标；跟踪阶段则常基于运动模型通过贝叶斯估计3预测目标的后续状态，如卡尔曼滤波器（Kalman filtering，KF4），并使用匈牙利匹配算法5完成新旧目标间的数据关联。常见TBD类目标跟踪算法，如SORT6，使用交并比（intersection-over-union，IOU）指标完成当前帧目标与跟踪器内既有目标间的关联。IOU Tracker7未使用运动模型估计目标位置，其目标匹配策略仅基于相邻帧间目标包围盒（bounding box，BBox）的IOU指标。鉴于 深 度 学 习 在 视 觉 特 征 提 取 方 面 的 优 势8，DeepSORT9增加了基于特征提取网络的目标外观特征用于目标匹配，并提出级联匹配策略，在SORT基础上显著提升了目标跟踪的稳定性。相较IOU Tracker，Visual-IOU Tracker10使用外观特征和IOU进行目标匹配，以改善目标跟踪的稳定性。ByteTrack11充分利用具有不同置信度水平的目标检测结果，有效提升了跟踪效果，相较其他目标跟踪算法，其在目标匹配阶段可使用低置信度目标。OC-SORT12是以观测值为中心的目标跟踪算法，其一方面采用基于历史观测值的角度一致性和IOU进行目标匹配，另一方面根据历史观测值平滑目标轨迹。StrongSORT+13则是轨迹的全局关联算法。检测跟踪融合的方案有JDE Tracker14和FairMOT15，此类算法的目标检测和跟踪阶段特征可从统一的网络模型中进行提取，在算法处理速度上相比两阶段TBD类算法具有一定优势。上述TBD类视觉多目标跟踪算法存在以下3个方面的不足：1）在算法性能测试阶段均采用已离线计算的目标检测结果，即其并未考虑目标检测所需耗时在实际应用中对跟踪效果的影响。2）在实际应用的多线程异步障碍物检测系统框架中，数据采集与目标检测等模块并行处理。鉴于实时性要求，目标检测模块与跟踪模块无法处理采集到的全部视频帧。而在上述使用运动模型估计目标位置的视觉多目标跟踪算法中，跟踪阶段均基于KF进行目标状态估计，且基于目标线性运动的假设。然而，目标检测耗时以及实际处理帧数的不足，难以满足理论研究中的目标线性运动假设条件。3）SORT、IOU Tracker等仅采用IOU作为目标匹配阶段的衡量指标进行最近邻匹配；而 DeepSORT、ByteTrack、OC-SORT等虽结合了外观特征、马氏距离特征或运动角度一致性等特征，但对于新入目标或待重新匹配的目标，仍采用IOU指标进行最近邻匹配以完成目标状态转换。在实际应用中，因实时性要求高，算法无法及时处理所有视频帧，而相邻帧中目标位移可能较大，使得同一目标在相邻帧间BBox重叠区域较小。因此，对于具有相似外观特征与运动规律的目标，当采用外观特征无法有效区分时，TBD类算法再采用马氏距离或IOU进行最近邻匹配，可能无法形成有效匹配，而且可能在相似目标间形成误匹配。鉴于上述多目标跟踪理论研究在实际应用中的不足，本文首先设计了一套多线程异步视觉障碍物检测系统框架及同步跟踪算法，并提出了一种基于运动一致性的视觉多目标跟踪算法集成于上述框架中。本文所提出的视觉多目标跟踪算法在目标匹配阶段，使用本文所设计的基于目标历史观测值的运动一致性特征，改善KF在状态估计可信度有限情况下的鲁棒性，同时结合外观、马氏距离及IOU等特征，实现常规场景目标的稳定跟踪，并提升外观特征与运动规律相似的多个目标的跟踪稳定性。1基于运动一致性的视觉多目标跟踪算法及其实现本文首先基于嵌入式应用环境设计了多线程异步622023 年第 4 期阳海浪 等：基于运动一致性的视觉多目标跟踪算法视觉障碍物检测系统框架，并提出同步跟踪算法，实现检测结果和跟踪结果的同步；然后，根据现有场景中的目标特点，设计运动一致性特征，优化视觉多目标跟踪算法级联匹配策略，提升目标跟踪算法的准确性和稳定性。1.1多线程异步视觉障碍物检测系统框架实际应用中，视觉障碍物检测系统常采用多线程异步处理框架，以最大程度利用嵌入式应用环境下的计算资源，提升系统实时处理能力。本文所设计的多线程异步视觉障碍物检测系统框架如图1所示，其包括视频采集解码模块、数据同步模块、视觉检测模块、视觉跟踪模块以及障碍物输出控制模块5个功能模块。这些功能模块中，视频采集解码模块、视觉检测模块及视觉跟踪模块通过线程进行解耦，视频采集解码模块从相机传感器处进行实时取流解码，并输出解码帧队列；解码帧队列通过数据同步模块完成视觉检测模块和视觉跟踪模块所需的视频帧数据同步；视觉检测模块采用机器学习或深度学习方法完成视频帧内目标识别，并将视觉检测结果输出至视觉跟踪模块；视觉跟踪模块根据数据同步模块输出的视频帧数据和视觉检测模块输出的视觉检测结果，通过视觉多目标跟踪算法完成对当前场景内各目标的稳定跟踪。异步视觉障碍物检测系统需完成取流解码模块、视觉检测模块及视觉跟踪模块间的数据同步。因此，本文提出一种同步跟踪算法，即通过控制解码帧队列的出入队来完成检测结果和跟踪结果的同步，具体流程如表1所示。1.2基于运动一致性的跟踪算法框架本文跟踪算法是在DeepSORT框架基础上，设计运动一致性特征，并结合目标跟踪算法中常用的外观和马氏距离等特征优化级联匹配策略，以提升目标跟踪的准确性和稳定性。图2为本文跟踪算法框架示意图。首先，其通过目标检测网络和特征提取网络获取当前场景内各类目标位置信息和外观特征；然后，在级联匹配阶段，根据新旧目标间特征向量、位置及运动向量间的差异进行目标关联，对于在级联匹配阶段未形成匹配关系的新目标和跟踪器内既有目标，基于IOU指标进行再次匹配；最后，根据生命周期管理策略完成已匹配目标、未匹配既有目标及未匹配新目标的状态管理。图 2 跟踪算法框架示意图Fig.2Framework of tracking algorithm表 1同步跟踪算法Tab.1Synchronous tracking algorithm输入：输出：1：2：3：4：5：6：7：8：9：10：11：12：13：14：15：16：17：18：19：20：21：22：当 前 检 测 周 期 帧 数 cur_frames；前 一 检 测 周 期 帧 数pre_frames；检测标志is_infering；检测结果数目num_results；解码帧队列decode_frame_deque；检测结果detections同步跟踪结果img1=read_back（decode_frame_deque）/读取最新视频帧cur_frames=cur_frames+1if（pre_frames 0）thenimg2=read_and_pop_front（decode_frame_deque）predict（img2）/跟踪预测pre_frames=pre_frames-1end ifif（num_results=0）thengo to line 21end ifwhile（pre_frames 0）doimg3=read_and_pop_front（decode_frame_deque）predict（img3）/跟踪预测pre_frames=pre_frames-1end whileupdate（detections）/根据同步检测与跟踪数据获取同步跟踪结果num_results=num_results-1，pre_frames=cur_frames，cur_frames=0if（is_infering）thengo to line 2end ifcreate_new_detection_thread（img1）/创建检测线程处理最新视频帧go to line 1图 1 多线程异步视觉障碍物检测系统框架Fig.1Multi-thread asynchronous system framework for visual obstacle detection632023 年第 4 期1.3多特征融合级联匹配策略在匹配策略层面，DeepSORT跟踪算法中级联匹配策略仅用于确认状态（Confirmed）目标，而对于新入或需重新匹配的目标（Tentative）仅使用IOU匹配。从目标特征角度考虑，当多个目标具有相似外观特征时，目标间的正确匹配依赖马氏距离或IOU等与空间位置相关的特征指标。这两种情况下，匹配正确率均依赖目标空间位置信息，但实际应用场景中，相机运动、目标快速移动以及设备算力等因素均可能造成目标在相邻帧间存在较大空间位移，从而导致跟踪效果准确性和稳定性的下降。鉴于上述原因，本文在DeepSORT外观特征、马氏距离及IOU的基础上，进一步提出将运动一致性指标应用于级联匹配阶段，同时对级联匹配流程进行优化，以提升实际应用过程中跟踪算法的准确性和稳定性。鉴于深度学习在目标特征提取领域的优势，本文基于深度学习网络提取目标外观特征，并使用集合的方式为每个目标保存B（本文B=100）个特征向量。在匹配阶段，当前帧的第j个目标与跟踪器内已有的第i个目标的外观特征距离采用余弦距离进行表征，计算方式见式（1）。d(1)(ij)=min1-rTjrki(1)式中：rj当前帧第j个目标的特征向量；rki第i个目标的特征向量集合Ri中第k个特征向量，rkiRi。在空间域上，级联匹配阶段使用马氏距离计算卡尔曼滤波得到的目标预测位置与当前帧各目标观测值的偏差，以衡量相邻帧间目标状态估计的不确定性，具体计算见式（2）。d(2)(ij)=(dj-yi)TS-1i(dj-yi)(2)式中：dj当前帧第j个目标的位置；yi第i个既有目标的预测位置；Si第i个目标的协方差矩阵。在实际应用场景中，存在外观特征与运动规律均相似的多个目标，在仅基于深度域外观特征和空间域马氏距离进行匹配时，此类目标间易存在误匹配现象。因此，本文进一步提出运动一致性特征，用以提升上述场景下的目标匹配成功率。其中，运动一致性指标基于目标历史观测值进行计算，因此需维持各目标历史观测值队列。由当前帧观测值与既有目标历史观测值计算得到当前运动向量mj，其再与既有目标历史运动向量mi进行距离计算。运动一致性距离指标的具体计算见式（3）。d(3)(ij)=f(mDir)+(1-)f(mDists)(3)mDir(ij)=1-mjmi|mj|mi|(4)mDist(ij)=|mj-mi|(5)式中：mDir当前运动向量和目标既有运动向量间的角度差异；mDist当前运动向量和目标既有运动向量间的模长差异；权重因子；fsigmoid函数；s距离项缩放因子。在多特征融合级联匹配过程中，基于d()1(ij)、d()2(ij)和d()3(ij)这3种特征距离指标，使用匈牙利匹配算法完成当前帧目标与既有目标间的匹配。联合代价函数计算如式（6），其中13分别为对应特征距离指标的权重。c(ij)=1d()1(ij)+2d()2(ij)+3d()3(ij)(6)2实验结果与分析本文所提出的视觉多目标跟踪算法是基于轨道交通实际应用场景研发的，故将此算法集成于本文所设计的多线程异步视觉障碍物检测系统框架中。鉴于嵌入式设备算力以及多线程异步处理框架，本文跟踪算法测试阶段无法采用ByteTrack理论研究中所采用的逐帧测试方案，而采用目标稳定跟踪时长作为算法评价指标，并以行人目标为例阐述跟踪效果。算法测试平台为NVIDIA Jetson Xavier。为便于描述算法效果，实验效果图中分别给出检测结果以及跟踪结果，其中检测结果ID位于包围盒上方，跟踪结果ID位于相应包围盒下方。2.1原生DeepSORT算法测试效果为比较本文跟踪算法与原生DeepSORT跟踪算法的差异，首先集成原生DeepSORT算法于本文所设计的多线程异步视觉障碍物检测系统框架，图3为实验结果。图3（a）和图3（b）为行人在目标运动前后所处的两个位置，时间间隔约为8 s。从图3（a）和图3（b）对应的局部放大图可见，前后两个位置间多个行人目标只显示检测结果ID，未形成确认状态下的有效跟踪目标，因此没有显示跟踪结果ID。同时，多个行人目标检测结果ID在前后位置存在较大变化，这说明原生DeepSORT视觉多目标跟踪算法无法稳定跟踪场景中的行人目标。(a)目标跟踪前行人位置(b)目标跟踪后行人位置图 3原生 DeepSORT 算法跟踪效果Fig.3Tracking results of initial DeepSORT642023 年第 4 期阳海浪 等：基于运动一致性的视觉多目标跟踪算法2.2基于运动一致性的视觉多目标跟踪算法测试效果多线程异步视觉障碍物检测系统中仅使用原生DeepSORT 算 法 时，目 标 从 Tentative 状 态 转 变 为Confirmed状态过程中，需要连续N帧的成功关联（文中N=3）。在目标状态转化过程中，原生DeepSORT算法仅使用IOU进行相邻帧间的目标匹配，而在实际应用场景中，相邻帧间目标位移可能较大，当目标处于新入状态或需重新关联时，无法完成 Tentative 状态至Confirmed状态的转化，如图3跟踪结果。因此，本文一方面提出运动一致性特征，以提升对具有相似外观特征及运动规律的目标间的匹配正确率；另一方面，优化DeepSORT级联匹配策略，将运动一致性特征、外观特征和马氏距离特征用于新入或需重新关联目标的匹配，以优化跟踪算法的稳定性。图4为未使用运动一致性特征优化DeepSORT级联匹配策略时的跟踪结果。图4（a）和图4（b）为前后相邻两帧位置。从图4（a）和图4（b）的局部放大图可以看出，优化级联匹配策略后，针对具有Confirmed状态的行人目标，其跟踪效果相比原生DeepSORT的得到改善。对比图4与图3可以看出，优化后级联匹配策略虽然一定程度上提升了跟踪的稳定性，但基于外观特征和马氏距离的级联匹配策略不足以区分多个外观和运动规律相似的目标，易形成误匹配。图5为在级联匹配阶段增加运动一致性特征后的实验效果。图5的局部放大图显示，多个相似行人目标以相似速度运动一段时间后（时长约6 s），其ID仍可稳定维持，这说明本文所提出的运动一致性特征可以一定程度上改善此类场景的跟踪效果。图6图8为采用本文所提出的视觉多目标跟踪算法在挂车以及段内场景下行人目标跟踪结果，其ID分别可维持约5 s、18 s和20 s。图6中，当挂车场景下部分行人检测丢失后，仍可相对准确地预测其后续位置。在图7中，挂车场景下，该算法可稳定跟踪行人目标直至目标消失。图8中除被遮挡的行人目标外，对其余行人目标均可稳定跟踪约20 s。这些实验结果均表明，本文所提出的多目标跟踪算法是有效的。(a)目标跟踪前行人位置(b)目标跟踪后行人位置图 4级联匹配策略优化后跟踪效果Fig.4Tracking results of optimized cascade matching strategy(b)目标跟踪后行人位置图 5增加运动一致性特征后跟踪效果Fig.5Tracking results with motion consistency(a)目标跟踪前行人位置(b)目标跟踪后行人位置图 6挂车场景下部分行人检测丢失时的跟踪效果（行人目标稳定跟踪约 5 s）Fig.6Tracking results in train marshaling scene with loss of detection on some pedestrians(Stable tracking of pedestrians for about 5 seconds)(a)目标跟踪前行人位置(b)目标跟踪后行人位置图 7挂车场景下跟踪效果（行人目标稳定跟踪约 18 s）Fig.7Tracking results in train marshaling scene(Stable tracking of pedestrians for about 18 seconds)(a)目标跟踪前行人位置(a)目标跟踪前行人位置652023 年第 4 期3结束语通过对视觉多目标跟踪算法的研究，本文针对实际应用环境设计了一种多线程异步视觉障碍物检测系统框架，并基于运动一致性特征提出了一种多特征融合的视觉多目标跟踪算法；同时，结合外观特征和马氏距离等常用特征指标优化了级联匹配策略。实验结果表明，将本文目标跟踪算法集成于所设计的异步处理框架中，可实现常规场景下对目标的稳定跟踪，并可进一步提升对具有相似外观特征与运动规律的多目标跟踪的稳定性。但现有测试结果中，当目标被遮挡或部分遮挡后，其ID易发生变化，后续需对遮挡等场景的跟踪效果进一步分析与优化。参考文献：1IEC.Railway applications-automated urban guided transport(AUGT)-safety requirements:IEC 62267:2009S.Geneva:International Electrotechnical Commission,2009.2REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once:unified,real-time object detectionC/2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),Las Vegas,NV,USA:IEEE,2016:779-788.3LEHMANN E L,CASELLA G.Theory of point estimationM.2nd ed.New York:Springer,1998.4KALMAN R E.A new approach to linear filtering and prediction problemsJ.Journal of Basic Engineering,1960,82(1):35-45.5KUHN H W.The Hungarian method for the assignment problemJ.Naval Research Logistics Quarterly,1955,2(1/2):83-97.6BEWLEY A,GE Z Y,OTT L,et al.Simple online and realtime trackingC/2016 IEEE International Conference on Image Processing(ICIP),Phoenix,AZ,USA:IEEE,2016:3464-3468.7BOCHINSKI E,EISELEIN V,SIKORA T.High-speed tracking-by-detection without using image informationC/2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance(AVSS),Lecce,Italy:IEEE,2017:1-6.8HE K M,ZHANG X Y,REN S Q,et al.Deep residual learning for image recognitionC/2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),Las Vegas,NV,USA:IEEE,2016:770-778.9WOJKE N,BEWLEY A,PAULUS D.Simple online and realtime tracking with a deep association metricC/2017 IEEE International Conference on Image Processing(ICIP),Beijing,China:IEEE,2017:3645-3649.10 BOCHINSKI E,SENST T,SIKORA T.Extending IOU based multi-object tracking by visual informationC/2018 15th IEEE International Conference on Advanced Video and Signal Based Surveillance(AVSS),Auckland,New Zealand:IEEE,2018:1-6.11 ZHANG Y F,SUN P Z,JIANG Y,et al.ByteTrack:multi-object tracking by associating every detection boxC/Computer Vision-ECCV 2022,Cham:Springer,2022:1-21.12 CAO J K,PANG J M,WENG X S,et al.Observation-centric SORT:rethinking SORT for robust multi-object trackingDB/OL.(2022-03-27)2023-02-27.https:/arxiv.org/abs/2203.14360.13 DU Y H,ZHAO Z C,SONG Y,et al.StrongSORT:make DeepSORT great againJ/OL.IEEE Transactions on Multimedia,2023:1-14.(2023-01-31)2023-02-27.https:/ieeexplore.ieee.org/document/10032656.DOI:10.1109/TMM.2023.3240881.14 WANG Z D,ZHENG L,LIU Y X,et al.Towards real-time multi-object trackingC/Computer Vision-ECCV 2020,Cham:Springer,2020:107-122.15 ZHANG Y F,WANG C Y,WANG X G,et al.FairMOT:on the fairness of detection and re-identification in multiple object trackingJ.International Journal of Computer Vision,2021,129(11):3069-3087.(b)目标跟踪后行人位置图 8段内行人目标被遮挡时跟踪效果（行人目标稳定跟踪约 20 s，被遮挡目标存在新 ID）Fig.8Tracking results at depot with pedestrian object occluded(Stable tracking of pedestrians for about 20 seconds,new ID allocated to occluded object)66