计算机视觉在道路成像和坑洞检测中的应用研究综述.pdf
《计算机视觉在道路成像和坑洞检测中的应用研究综述.pdf》由会员分享,可在线阅读,更多相关《计算机视觉在道路成像和坑洞检测中的应用研究综述.pdf(8页珍藏版)》请在咨信网上搜索。
1、2023 年第 9 期汽车工程师 Automotive Engineer【摘要】针对道路坑洞的自动检测和道路状况的客观评估问题,对计算机视觉技术在道路坑洞检测中的应用研究成果进行了全面综述。通常采用摄像机和各类深度传感器获取二维、三维道路数据实现道路成像,并基于计算机视觉技术开展坑洞检测,主要检测算法包括经典二维图像处理、三维点云建模与分割、深度学习及其混合方法,其中混合方法利用各类算法的优势,可大幅提高检测的准确性。然而,现有算法在坑洞检测领域取得良好效果的同时依然面临道路几何重建鲁棒性有待提升、算法复杂度高、模型效果高度依赖大规模良好标注数据集等诸多挑战,故未来应更多关注无监督的立体匹配算
2、法及少样本的深度学习算法。关键词:计算机视觉道路成像坑洞检测深度学习3D道路点云中图分类号:TP183文献标志码:ADOI:10.20104/ki.1674-6546.20230308Survey of the Application Research of Computer Vision in Road Imagingand Pothole DetectionLi Rui,Wang Xin,Yang Weipeng,Qu Tao,He Shuai(Chongqing Jiaotong University,Chongqing 400074)【Abstract】This paper provi
3、des a comprehensive review of the application of computer vision technology in the automaticdetection of road potholes and objective assessment of road conditions.Typically,cameras and various types of depth sensorsare used to acquire two-dimensional and three-dimensional road data for road imaging.
4、Pothole detection is carried out basedon computer vision technology,with the main detection algorithms including classic two-dimensional image processing,three-dimensional point cloud modeling and segmentation,deep learning,and their hybrid methods.The hybrid methods,whichexploit the advantages of v
5、arious algorithms,can greatly improve the accuracy of detection.However,while existing algorithmshave achieved good results in pothole detection,they still face many challenges,such as the need to improve the robustness ofroad geometry reconstruction,high algorithm complexity,and the model s strong
6、dependence on large-scale well-annotateddatasets.Therefore,future research should focus more on unsupervised stereo matching algorithms and deep learningalgorithms with few samples.Key words:Computer vision,Road imaging,Pothole detection,Deep learning,3D road pointcloud【引用格式】李锐,王鑫,杨威朋,等.计算机视觉在道路成像和坑
7、洞检测中的应用研究综述J.汽车工程师,2023(9):1-8.LI R,WANG X,YANG W P,et al.Survey of the Application Research of Computer Vision in Road Imaging andPothole DetectionJ.Automotive Engineer,2023(9):1-8.计算机视觉在道路成像和坑洞检测中的应用研究综述李锐王鑫杨威朋屈焘贺帅(重庆交通大学,重庆 400074)1前言道路坑洞是一种路面出现结构性崩坏的现象,一般由车辆长期通过有关区域造成1。道路坑洞一旦出现,且未得到及时修复,在雨水和行驶车辆
8、的综合作用下会逐渐恶化。重庆交通大学自动驾驶技术专题1汽 车 工 程 师李锐,等:计算机视觉在道路成像和坑洞检测中的应用研究综述道路坑洞对车辆状况和交通安全也构成巨大威胁。现阶段,道路坑洞的检测以人工检测为主。然而,这种方式耗费大量的人力和时间成本,评估的结果高度依赖检查员的经验和主观判断。这促使相关研究人员致力于开发一套能够自动完成道路坑洞检测并客观评估道路状况的系统2。与此同时,自动驾驶技术的发展为道路坑洞的自动检测提供了便利条件。很多车辆的先进驾驶辅助系统(Advanced Driving Assistance System,ADAS)中集成了道路坑洞检测功能。例如,捷豹路虎2015年宣
9、布启动驾驶辅助技术研究项目,以检测、预测和共享道路坑洞数据。揽胜极光试验车可以识别坑洞和破损井盖的位置和严重程度,并在几毫秒内调整汽车悬架,带来更舒适的乘坐体验3。综上,自计算机视觉技术诞生以来,大量视觉技术应用于各种道路数据实现坑洞检测。本文对该领域国内外相关前沿研究进行综述,以期为后续研究提供参考。2道路成像道路成像是利用计算机视觉进行道路坑洞检测的前提,通常采用摄像头和各类深度传感器获取道路数据,各类成像技术的特点如表1所示。表1道路成像技术成像技术2D成像-摄像头3D成像-激光扫描仪3D成像-微软Kinect3D成像-多视图几何3D成像-立体相机优点成本低可以精确测量距离和点云数据成本
10、较低,使用方便可以使用常规摄像机成本低,精度较高缺点无法反映道路几何结构,对环境光照敏感价格高昂,需要结合特定的设备和车辆在阳光直射下精度不高对多个2D图像进行匹配,计算复杂需要对摄像单元进行严格校正和配准2.12D成像最 初,研 究 人 员 使 用 摄 像 头 的 二 维(Two-Dimensional,2D)成像技术完成道路数据的采集,常见的车载摄像传感器如图1所示。利用摄像头进行道路数据采集具有明显的成本优势,然而,平面图像无法反映路面的几何结构4。此外,图像处理、图像分割及目标检测算法等对灰度或彩色道路图像执行相应任务时对各种环境因素高度敏感,尤其是光照条件5。图1车载摄像传感器2.2
11、3D成像研究人员采用三维(Three-Dimensional,3D)成像技术解决2D成像无法获取道路几何结构且成像质量易受环境因素影响的问题。常使用激光扫描仪、微软Kinect传感器和立体相机等3D道路数据采集设备,如图2所示。(a)激光扫描仪(b)微软Kinect(c)立体相机图2三维道路数据采集传感器激光扫描仪利用三角测量原理获得距离信息,其光源发射装置与接收装置的距离已知,通过计算激光束入射光与反射光的角度即可完成精确的点测量6。但是,这类高昂的激光扫描设备需要安装在特定车辆上才能完成3D道路数据的采集。这种数据采集方式由于设备及其维护成本高而未广泛使用。微软 Kinect 传感器配备了
12、 RGB 相机、红外相机、加速计、倾斜马达等装置7。使用微软Kinect传感器可以获得道路可见光图像、红外图像以及重建的3D道路数据。这种传感器使用方便且成本不高,但在阳光直射条件下受红外饱和的影响,重建的3D路面精度不高8。获取3D道路数据还可以通过多视图几何的方法9,如图3a所示,单个可移动摄像机可捕获不同视角的多个2D道路图像,然后通过对多个2D图像进行稀疏或密集的对应匹配重建三维几何。文献10提出了基于单目稀疏图像匹配的三维重建方法,使22023 年第 9 期李锐,等:计算机视觉在道路成像和坑洞检测中的应用研究综述用运动结构算法获得相机姿态和稀疏3D道路点云,并使用束调整算法进行细化。
13、3D点视图i视图i+1位置i对应特征点位置i+1视图i+2视图i+3位置i+2位置i+3(a)多视图几何X/mmZ/mmY/mm-300-200-1000100200-400-300-200-1000100200300400600800-140-80-20-50050560640300200600-150-100-500(b)重建密集的三维道路点云图3可移动摄像头三维道路成像与人的双目视觉原理相同,立体相机的2个摄像单元同时对道路图像进行拍摄,然后通过查找捕获的道路图像的视觉特征之间的视差获取深度信息11,进而获取密集的3D道路点云数据,称为视差估计或立体匹配。文献12采用透视变换将目标图像转
14、换为对应的参考视图,实现了立体匹配速度和视差精度的权衡,重建的三维几何模型的精度在3 mm以内,如图3b所示。利用立体相机进行3D道路成像比激光扫描和微软 Kinect成本更低且更可靠。随着深度学习算法的不断发展,结合深度卷积神经网络的视差估计已经显示出比利用传统方法更好的视差估计效果。3道路坑洞检测算法基于计算机视觉的道路坑洞检测算法主要分为4类:基于经典2D图像处理的算法直接处理(增强、压缩、变换、分割)道路图像;基于3D道路点云建模和分割的算法将平面或二次曲面等特定的几何模型匹配到观测到的点云,通过比较拟合获得的特定几何曲面与观测到的点云的差异分割道路点云;基于深度学习的方法可以采用图像
15、分类、目标检测或语义分割3类经典深度算法实现道路坑洞检测;混合方法则结合上述的2类或2类以上算法,以提高检测性能。3.1经典2D图像处理基于经典2D图像处理的坑洞检测方法通常包含图像预处理、图像分割、损伤区域提取、检测结果后处理24个流程。图像预处理采用中值滤波、高斯滤波、双边滤波和形态学滤波等过滤噪声信息突出道路损伤区域。文献13采用自适应直方图均衡算法在二值化图像前调整了图像明亮度。文献14使用了多种滤波算子增强RGB道路图像中的纹理特征。文献15借助2D空间视觉信息检测坑洞,通过视差投影变换视差图,具体引入黄金分割搜索和动态规划算法最小化全局能量函数来估计道路视差图像。视差变换使得坑洞区
16、域高度可区分。对预处理后的道路图像进行坑洞区域和完整路面分割的主流方法采用如大津法(OTSU)的阈值、三角形阈值和自适应阈值等基于直方图的阈值方法分割彩色/灰度/视差变换的道路图像。文献8利用OTSU的阈值方法分割变换后的视差图像进行道路坑洞检测,且文献12,使用简单的线性迭代聚类算法将变换后的差异分组为超像素集合,然后通过找到超像素来检测道路坑洞,实现了更高效、准确的坑洞检测。根据几何和纹理假设的损伤区域提取与检测结果后处理过程联合进行。文献14建立了潜在道路坑洞的椭圆轮廓模型,并对比椭圆内及周围区域的纹理特征,一旦椭圆内的纹理粗糙度高于周围区域纹理粗糙度,则判定该椭圆为道路坑洞。文献16通
17、过分析道路坑洞的多种几何特征,如大小、紧凑性、椭圆度和凸包等,提取潜在道路坑洞的轮廓,然后使用有序直方图相交方法判定被提取区域是否含有坑洞,且为进一步改善道路坑洞检测效果,对提取到的潜在坑洞受损区域进行了后处理。在道路坑洞检测方面,基于经典2D图像处理的方法已有近20年的研究历史。然而,这些方法建立在早期技术基础上,易受到环境因素如光照、天气等的严重影响,3D技术和深度学习算法极大地克服了这些不足。3汽 车 工 程 师李锐,等:计算机视觉在道路成像和坑洞检测中的应用研究综述3.23D点云建模与分割基于3D点云建模与分割的坑洞检测整体流程可以分为2个阶段:首先,将观测到的3D道路点云数据进行插值
18、,以得到一种显式的几何模型,该模型可以是平面或二次曲面;然后,将观测到的点云与建立的模型进行对比,再从观察到的3D道路点云中分离出坑洞区域。文献17使用最小二乘拟合方法将观察到的3D点云内插到特定平面上。通过在拟合曲面下搜索3D点,大致检测出潜在的道路坑洞,接着采用K均值聚类算法和区域生长算法对检测结果进行进一步细化。文献18使用高速3D横向扫描技术检测路面的凸包和坑洞,首先通过滤波算子、边缘检测算子以及样条插值等处理方法采集激光条纹数据得到亚像素线,接着,利用激光条纹曲线生成路面的横切面,并用线段来近似拟合,通过分析分段端点(即可区分路面凸包、坑洞的特征点)的二阶导数。文献19设计了一种基于
19、激光雷达的道路坑洞检测系统,通过对3D道路点与最佳拟合的3D路面之间的距离进行比较,将这些道路点分为损坏和未损坏2类。然而,实际上,路面往往不是完全平坦的,这导致基于3D点云建模和分割的方法有时无法使用。此外,如果仅需对坑洞进行简单识别和定位,而不需要获取其大小、深度等几何细节,则不必使用激光设备提取3D点云。3.3深度学习随着深度学习的发展,深度卷积神经网络(DeepConvolution Neural Network,DCNN)已成为道路坑洞检测的主流技术。DCNN通常通过反向传播进行训练,不需要人为设置参数分割道路图像或点云来进行坑洞检测。这类基于数据驱动的坑洞检测方法通常使用3种技术6
20、,即图像分类网络、目标检测网络和语义分割网络:图像分类网络常用于将道路图像分类为坑洞或非坑洞;目标检测网络可在实例级识别道路坑洞;语义分割网络则用于对道路图像进行像素级别的分割,以实现道路坑洞的检测。3.3.1基于图像分类的方法随着计算机算力的提升,DCNN已广泛应用于道路坑洞检测,DCNN能够学习更抽象的视觉特征,并显著改善了道路坑洞检测性能。文献20提出了包含预池化层的全连接DCNN,预池化层的设计过滤了大量干扰坑洞信息的背景噪声,以显著增强分类网络的性能,且所提出的DCNN能够应对光照变化,在不同照明条件下有效检测道路坑洞。图像分类方法仅能简单区分道路图像中是否存在坑洞,并不能给出坑洞所
21、处的位置信息和几何信息。然而,在很多道路检测场景下,坑洞的位置和几何信息更为重要。3.3.2基于目标检测的方法利用深度学习的道路坑洞检测算法主要为 2类,即 区 域 卷 积 神 经 网 络(Region-basedConvolutional Neural Networks,R-CNN)系列的两阶段算法21和YOLO(You Only Look Once)系列的单阶段算法22,如表2所示。表2两阶段与单阶段算法对比特点算法原理检测速度检测精度对小目标的检测效果对遮挡目标的检测效果需要的训练数据量使用的深度学习模型两阶段先进行候选框生成,再进行分类和回归相对较慢相对较高相对较好相对较好较多Fast
22、er-RCNN单阶段直接进行分类和回归相对较快相对较低相对较差相对较差较少YOLO2014 年,R-CNN 用于目标检测。随着深度学习的不断发展,基于 DCNN 的道路图像目标检测技 术 迭 出 不 穷。更 快 速 区 域 卷 积 神 经 网 络(Faster Regions with Convolutional Neural Network,Faster-RCNN)是 R-CNN 的改进算法,主要使用区域生成网络(Region Proposal Networks,RPN)替代R-CNN 的选择性搜索(Selective Search)算法,成为了第一个真正意义上的端到端网络,具有比R-CNN
23、 更高的检测速度与精度,其检测流程如图4所示。特征映射感兴趣区域池化Softmax归一化分类边框回归RPNDCNN分类定位维度调整Softmax归一化维度调整侯选区域33卷积核激活11卷积核激活激活全连接77卷积核11卷积核图4Faster-RCNN算法流程42023 年第 9 期李锐,等:计算机视觉在道路成像和坑洞检测中的应用研究综述文献23在包含印度、日本、捷克共和国公路图像的数据集上训练了一个专门的图像分类器,以区分图像属于哪个国家,接着利用Faster-RCNN检测图像中的坑洞和裂缝,最后,将模型部署到移动设备,完成了对特定道路状况的自动勘测。文献24训练改进的分类Inception-
24、v1网络实现了强光和弱光道路场景坑洞的高准确率分类,在此基础上与Faster-RCNN融合,能够准确、快速地检测道路坑洞。YOLO25等主流单阶段检测方法将检测任务处理成回归任务,使用端到端的特征提取网络来提取目标特征,并直接用于边界框分类和回归,其处理流程如图5所示。单阶段算法端到端同时完成分类和定位任务,因而比两阶段方法效率更高,近年来,其精度不低于两阶段方法,在实时性要求高的检测场景中成为首选。输入图像CNN特征提取 中间特征中间特征全连接层分类与回归图5YOLO算法流程文献26基于YOLOv2设计了2个变种模型:模型1在道路坑洞检测上实现了大小和形状上的更强鲁棒性;模型2适当增加复杂度
25、,使模型具有了更好的路面坑洞检测性能。文献27提出采用YOLOv3Tiny进行路面坑洞检测,实现了较高的检测准确度,同时网络相对轻量化。文献28针对YOLOv3检测模型在有积水、阴影等复杂环境下路面坑洼的检测能力有限的问题,改进特征提取网络,优化激活函数,并引入了多种数据增强训练策略,得到的YOLOv3-pt模型获得了13.99%的精度提高,使模型在复杂环境下的检测能力显著提升。文献29将有效通道注意力网络(Efficient Channel Attention fordeep convolutional neural Networks,ECANet)的注意力模块添加到YOLOv5网络结构的加
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 计算机 视觉 道路 成像 坑洞 检测 中的 应用 研究 综述
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。