毫米波雷达与视觉融合在现代智慧交通目标检测中的研究综述.pdf
《毫米波雷达与视觉融合在现代智慧交通目标检测中的研究综述.pdf》由会员分享,可在线阅读,更多相关《毫米波雷达与视觉融合在现代智慧交通目标检测中的研究综述.pdf(13页珍藏版)》请在咨信网上搜索。
1、2023.7,3(4)|专题:数智低碳交通技术毫米波雷达与视觉融合在现代智慧交通目标检测中的研究综述王文博,朱世豪,陈泽宇,张伟斌(南京理工大学电子工程与光电技术学院,江苏 南京 210014)摘要:目标检测是现代智慧交通感知的基础研究内容之一,近年来随着传感器技术与机器学习算法的发展,基于多传感器融合的目标检测方法得到了广泛的关注。针对毫米波雷达与视觉融合的目标检测方法展开了较为全面的综述。介绍了目标检测的评估指标与常见公开数据集;简述了毫米波雷达与视觉传感器的标定方法,然后从前融合、后融合、特征融合三个角度对相关数据融合方法进行了对比;结合目前研究现状与难点问题对未来的研究方向进行了展望。
2、研究表明,毫米波雷达和视觉传感器的融合检测方案可以突破单一传感器检测的固有缺陷,在复杂场景下表现出更优秀的检测性能和鲁棒性,是未来实现高等级智能交通的一条可行之路。现有的方法受限于算力、数据集质量、传感器数量等因素,多停留在理论与试验阶段,后续研究应注重实际的复杂场景、融合更多传感器,使其在检测精度、检测速度、鲁棒性等方面更接近于使用,使之更好地服务于工程实际。关键词:交通工程;车辆目标检测;雷视融合;毫米波雷达;深度学习Research advances on millimeter wave radar and vision fusion in traffic object detectio
3、nWANG Wenbo,ZHU Shihao,CHEN Zeyu,ZHANG Weibin(School of Electronic and Optical Engineering,Nanjing University of Science and Technology,Nangjing 210014,China)Abstract:Object detection is one of the basic research contents of traffic perception.In recent years,with the development of sensor technolog
4、y and machine learning,object detection based on multi-sensor fusion has received extensive attention.This paper gives a comprehensive overview of object detection methods based on the fusion of millimeter wave radar and vision.The evaluation indicators and common public datasets of object detection
5、 are introduced.The calibration of millimeter wave radar and visual sensor are briefly described,and then the relevant data fusion methods are compared from the perspective of front fusion,post fusion and feature fusion.Combined with the current research and difficult problems,the future research di
6、rections are prospected.The research shows that the fusion detection scheme of millimeter wave radar and visual sensor can break through the inherent defects of single sensor detection,exhibit better detection performance and robustness in complex scenes,and is 中图分类号:U491.5+4 文献标志码:A 文章编号:2097-017X(
7、2023)04-0002-13收稿日期:2023-05-29基金项目:国家自然科学基金资助项目(71971116)。第一作者简介:王文博(1995),男,博士研究生。研究方向:毫米波雷达、计算机视觉。通讯作者简介:张伟斌(1975),男,博士,教授。研究方向:面向通信、智能交通、人工智能和大数据的交叉融合。2毫米波雷达与视觉融合在现代智慧交通目标检测中的研究综述 王文博 等a feasible way to realize high-level intelligent transportation in the future.The existing methods are limited b
8、y factors such as computational power,dataset quality,number of sensors and so on,and most methods remain in the theoretical and experimental stage.Subsequent research should focus on the real complex scenes and integrate more sensors to make them closer to reality in terms of detection accuracy,det
9、ection speed,robustness and so on,so as to better serve the engineering practice.Key words:traffic engineering;vehicle object detection;radar and vision fusion;millimeter wave radar;deep learning引言交通感知是智能交通中的一个重要的环节,一直伴随并推动着智能交通技术的发展。近年来随着人工智能、物联网、传感器技术等领域的进步,交通感知技术也得到了翻天覆地的发展。感知的视角得到拓展,遍布于车端、路端、空端等
10、各个维度;感知的方式得到革新,包含视觉、雷达、声纳等各种方式。这些新兴的技术将服务于智能交通的各个领域,包括但不局限于智能运维系统1、信号灯控制2、无人驾驶等领域3,将极大程度地提高交通资源的利用率、车辆行驶的安全性、车辆乘坐的舒适性等。目标检测是交通感知中最基础的研究内容之一,也是计算机视觉领域一直以来的研究热点4。现代智慧交通在目标检测方面提出了一些新的要求:(1)实时性,目标检测需要能够快速响应,以适应动态变化的环境和交通状况。(2)精确性,要能够准确地定位和识别目标,以提高安全性和效率。(3)鲁棒性,需要能够适应复杂多变的天气、光照、遮挡等因素,以保证检测性能的稳定性。与此同时也带了更
11、多的挑战:(1)小目标检测,智慧交通场景中经常会出现小目标,如远处的车辆、行人、自行车等,这些目标在图像中占据的像素很少,难以提取有效的特征进行检测。(2)多尺度检测,目标尺度差异很大,这些目标在图像中占据的像素范围不同,需要不同的感受野进行检测。此外,多尺度检测也需要考虑目标在不同距离下的形变和视角变化。(3)多类别检测,涉及检测的目标类型众多,如车辆、行人、自行车、摩托车、交通信号灯、交通标志等,这些目标在外观、形状、运动方式等方面有很大差异,需要设计有效的分类器进行区分。此外,多类别检测也需要考虑目标之间的相互关系和语义信息。早期基于传统机器学习的目标检测方法较为朴素,例 如 Viola
12、-Jones 检 测 器5-6、方 向 梯 度 直 方 图(Histograms of Oriented Gradients,HOG)7、可 变形组件模型(Deformable Part Model,DPM)8等,这些方法通过人工设计特征并结合滑动窗口的思想对图像矩阵进行遍历,最后通过如:最近邻分类器(Nearest Neighbor Classifier,NNC)9、支持向量机(Support Vector Machines,SVM)10等分类方法确定目标标签。此类方法中的特征多由人工选取或设计,鲁棒性不佳;另一方面,滑动窗口使用的过程中相邻窗口的数据具有很大的相似度,造成计算资源的极大浪费
13、。在今天看来,虽然这些方法的检测精度已经远远落后,但是其中的算法思想仍然对如今的方法产生了深远影响。过去的 10 多年中计算机算力的提高使得深度学习技术得到了井喷式的发展,这种数据驱动下的机器学习方法由于其极强的特征提取能力,在目标检测任务中展现出强大的潜力。经典的基于深度学习的目标检测方法包含 SSD(Single Shot Multibox Detector)11,YOLO(You Only Live Once)12和 CenterNet13等 一 阶 段 方法14-16;R-CNN17,Fast R-CNN18和 Faster R-CNN19等二阶段方法。不同于一阶段方法直接对图像进行计
14、算并生成结果,二阶段方法先对图像进行候选框提取,再对提取出的候选框进行检测,因此精度较高,但检测速度慢于一阶段方法。虽然现如今的基于视觉的目标检测方法在精度和速度上已经取得了重大突破,但是这些方法并不能很好地应用于现实的交通场景。这是因为交通场景是一个十分复杂的场景,包含不同距离、不同尺度、不同类型的多种目标,这些目标互相交叉重叠,又分布在复杂的前景、背景之上,有时还包含暴雨、暴雪、浓雾等恶劣天气的严重干扰,在这种条件下即使经验丰富的人类也很难分辨,这对基于视觉的目标检测更是一项不可逾越的困难。此外,基于深度的方法很难识别未经过训练的且差异较大的样本,这就需要海量的已标注数据以尽可能囊括所有可
15、能的目标,这对于样本收集、标注和训练都是一项极大的挑战。不同于视觉传感器,毫米波雷达可以在极端天气条件下几乎不受影响的工作,并且由于多普勒效应的存在,毫米波雷达还能直接获取目标距离与速度。然而毫米波雷达数据噪声较多、分辨率低、目标特征点少,很难分辨前景和背景、提取目标轮廓、分辨静止目标。综上 3所述,视觉传感器和毫米波雷达在不同方面具有优势,因此基于毫米波雷达与视觉融合的目标检测方法将在复杂的交通场景下提供优秀目标检测能力。构建毫米波雷达与视觉融合的目标检测包含两个关键步骤:传感器标定和数据融合。各个环节的处理方法将对最终的目标检测性能产生重大影响。因此本文首先介绍目标检测的评估指标与常见数据
16、集,然后对传感器标定与数据融合的过程进行介绍,并重点介绍和对比各种不同类型的融合方法,最后将对现有研究成果进行总结,并展望未来的研究方向。1评估指标与数据集目标检测分为二维目标检测和三维目标检测,由于三维目标检测不仅需要确定待检测物体的类型,还要确定目标在世界坐标中的位置和姿态信息,因此难度更高。1.1评估指标对于一个机器学习方法,通常希望提出的方法内存小、速度快、精度高。对于目标检测而言,常见的性能指标包含精度指标和速度指标。平均准确度(Average Precision,AP)、平 均 召 回 率(Average Recall,AR)、平 均 准 确 度 均 值(mean Average
17、Precision,mAP)是最为常见的精度指标。mAP表示各类别AP的平均值,对于不同数据集 mAP 的计算略有不同。其他常见的精度相关指标与其含义如表1所示。1.2数据集数据是人工智能发展的基础,任何算法研究都离不开数据。目前同时包含毫米波雷达和视觉的交通目标检测数据集较少,下面介绍常见的几个数据集:Astyx20数据集是一个以毫米波雷达为中心的,辅助以激光雷达和视觉的数据集。此数据集主要用于 三 维 目 标 检 测,但 数 据 集 较 小,仅 包 含 546 帧数据。nuScenes21数据集是 2019 年自动驾驶公司 nuTonomy 建立的自动驾驶数据集。数据采集于波士顿和新加坡的
18、 1000个场景,包含 1个激光雷达,5个毫米波雷达,6 个摄像头共计 140 万张图片、39 万帧雷达点云,23 类已标注物体(截止到文章发表前此数据集新增到 32 类),除此之外还包含车辆轨迹等信息。Zendar22数据集是 2020 年发布的一个无人驾驶数据集。此数据集由毫米波雷达,激光雷达相机等传感器数据构成,共有 27 个场景,包含数万辆已标注的汽车。此数据集包含了环境的语义信息,为雷达和视觉的融合提供了可靠的冗余信息。RaDICaL23数据集是 2021 年针对毫米波雷达和视觉融合发布的开源数据集。此数据集包含 7个场景下数十万帧已对齐的毫米波雷达、视觉、深度视觉、姿态等传感器的原
19、始数据。RadarScenes24数 据 集 是 2021 年 发 表 在 arXiv上的开源数据集,旨在为基于雷达的感知系统提供训练或验证数据。该数据集采集于 4 个 77 GHz 的毫米波雷达和 1 个相机,共包含 158 个序列,5 大类11小类共计 7500个样本。CARRADA25数据集首次发布于 2020年,2021年又发布了新的版本,新版数据集提供了毫米波雷达与摄像头精确的数据标注,可用于各种有监督学习任务。包含 30个序列,共计 12666帧数据,涉及行人、自行车和汽车三个类别。但此数据集数据采集表 1其他常见的精度相关指标与其含义Tab.1Other common preci
20、sion related indexes and meanings指标准确率精确率召回率交并比平均准确率平均精度均值对应英文缩写AccuracyPrecisionRecallIoU(Intersection over Union)Average Precisionmean Average Precision说明是所有预测中预测正确的比例,即真正例(True Positive)和真负例(True Negative)占总数的比例。是所有检测出的目标中检测正确的比例,即真正例占所有正例(True Positive+False Positive)的比例。精确率反映了检测器的查准能力。是所有的正样本中正
21、确检测出的比例,即真正例占所有真实目标(True Positive+False Negative)的比例。召回率反映了检测器的查全能力是预测边界框和真实边界框的交集与并集的比值,用来衡量边界框的定位精度。是在不同召回率下精确率的平均值,对应于 PR 曲线(PrecisionRecall Curve)下的面积。AP反映了检测器在单个类别上的性能,越高越好。是在多个类别上计算 AP的平均值,用来评估多类别目标检测器的整体性能。4毫米波雷达与视觉融合在现代智慧交通目标检测中的研究综述 王文博 等的场景非真实交通场景,实用性受限。上述数据集均采集于车端,截至本文撰写之时,尚没有使用毫米波雷达的公开数据
22、集。这为路侧感知相关研究带来了巨大的挑战。各数据集的主要信息如表 2所示。2传感器标定由于毫米波雷达和视觉属于两种不同类型的传感器,毫米波雷达返回的是雷达点数据,视觉返回的是图像矩阵,且二者通常具有不同的采样频率,这就导致两种数据在时间和空间上均不匹配,虽然最新的一些研究使用了更为原始的叫做 Radar-cube的数据,但此种数据与图像的差异更大。因此在对毫米波雷达数据和视觉数据融合之前,要进行三个步骤:时间同步、空间校准、滤波与校准。2.1时间同步传感器的时间同步分为两种,硬件同步和软件同步。硬件同步需要定制化的毫米波雷达和摄像机通过硬件来实现,成本较高,同步效果好,一半很少采用。软件同步是
23、应用最为广泛的一种多传感器时间同步方法,同样适用于毫米波雷达和摄像头。软件同步是将雷达和摄像头数据统一到相同的频率,以采样间隔长的传感器为基准,采用向下近似的方式进行帧的时间同步。例如某毫米波雷达的采样频率为 20 Hz,即两帧之间的时间间隔为 50 ms,某摄像头的采样频率为 25 Hz,即两帧之间的时间间隔为 40 ms,以毫米波雷达数据的时间戳为基准,将与之时间最为接近的摄像头帧数据进行同步,如图1 所示。红色表示摄像头数据帧,蓝色表示毫米波雷达数据帧,tn表示第n帧数据,帧间隔为 50 ms,摄像头的第 4帧数据被舍弃。2.2空间校准空间校准的主要目的是使得雷达点与图像中的点相对应,例
24、如文献 26 中假设毫米波雷达坐标系下 的 点 坐 标 为(xr,yr,zr),相 机 坐 标 下 的 点 为(xc,yc,zc),毫米波雷达下相机坐标为(xo,yo,zo),则有如下关系:xc=Rx(-yr)+xoyc=Ry(-zr)+yozc=Rz(-xr)+zo式中Rx,Ry,Rz表示相机坐标下X,Y,Z轴的变换矩阵。文献 27 基于广义逆矩阵,采用最小二乘法生成变换矩阵。然而上述两种方法都极其依赖校准过程,校准过程中专业工具的使用较为不便且成本较高。因此文献 28 设计出了一种校准实验用于从实际传感器获取的数据进行标定,与之类似的,文献29 中提出一种无需雷达反射强度和专用工具的校准方
25、法;文献 30-31 提出了一种借助标记的标定方法,通过对标记的测量实现对点配对,完成毫米波雷达和相机坐标系之间的转换;文献 32 提出了一种易于执行的校准方法,该方法在最小的监督条件下具有很高的可重复性,并能产生高精度的校准结果;文献 30 考虑了相机图像的非线性畸变,将毫米波雷达与相机坐标的相对关系作为约束条件,使用最小二乘法确定标定参数,具有较高的精度。上述方法大大削弱了融合系统对校准误差的依赖性,提高了校准的便捷性;还有一些方法中采用基于验证的校准方式,即通过毫米波雷达和觉传感器对同一物体进行检测,使用检测到的信息进行相互校准。例如文献 27 中首先使用雷达进行目标检测并生成目标列表,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 毫米波 雷达 视觉 融合 现代 智慧 交通 目标 检测 中的 研究 综述
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。