基于深度学习的桥梁病害检测研究与应用.pdf

第 15 卷 第 5 期2023 年 10 月Vol.15 No.5Oct.2023引言桥梁建成投入使用后存在大量如混凝土剥落、露筋、蜂窝麻面和锈蚀等病害，因此需对桥梁进行定期巡检。无人机等非接触式仪器因安全、便捷等优势已经被广泛应用至结构健康监测中1，且无人机搭载高清摄像头对桥梁表观进行检测，可有效地获取桥梁表观病害特征图像，并为后续桥梁病害分析起到了至关重要的作用。随着计算机视觉领域的不断发展，基于深度学习的智能识别技术也相应成熟。近年来，国内外学者开展了大量基于深度学习的目标检测的研究2-5，其中以 Fast-RCNN（Fast region-based eonvolutiona neural networks）、Faster-RCNN（Faster region-based eonvolutiona neural networks）与 Mask-RCNN（Mask region convolution neural network）的双阶段目标检测算法和 YOLO（You Only Look Once）系列的单阶段目标检测算法为主。深度学习在桥梁病害检测中已成为近年来桥梁智慧检测的研究热点。为实现结构病害智能识别检测，研究者们把卷积神经网络（CNN）6-8引入到实际混凝土表观病害识别中，实现了混凝土表观病害分类的目的并取得了较高的精确度。但在混凝土表观病害检测中，研究组更关心病害所处位置及其类别，因此简单的卷积神经网络不能满足当前的需求。随着目标检测的不断发展，以 YOLOv39等目标检测算法不仅能够输出目标病害类别，同时还可以预测目标病害所处位置，进一步推动了混凝土表观病害检测智能化的发展。Cha 等10使用快速卷积神经网络（Faster-RCNN）对结构损伤进行目标检测,其中包括混凝土裂缝和两级钢腐蚀等 5 种损伤类型,取得了 87.8%的平均分类准确度。Shen 等11基于YOLOv4-FPM 算法，利用焦点损失函数（focal loss）及剪枝算法（Pruning Algorithm）对原有算法进行随机剪枝，从而减小网络模型的复杂程度，分析了改进后的 YOLOv4-FPM 对裂缝的识别效果。Zhang 等12基于YOLOv3 算法结合迁移学习算法以改善训练样本不足的问题，成功实现了裂缝、露筋、剥落、保护层脱落 4种病害的识别以及定位，其平均分类准确率达 80%。在实用性方面，研究者们探讨了通过无人机进行桥梁病号检测，包括混凝土结构裂缝检测13,14，裸露【基金项目】2021 年度中国中铁股份有限公司科技研究开发计划课题“轨道交通基础设施智能检测与评定-A”（编号：2021-专项-08）【第一作者】陶世峰（1979-），男，高级工程师，主要研究方向：BIM 信息化管理、智慧工地、智能建造。【通信作者】周强（1992-），男，工程师，主要研究方向：深度学习，智慧工地。基于深度学习的桥梁病害检测研究与应用陶世峰陶世峰1,21,2 吴巨峰 吴巨峰1,21,2 周强 周强1,21,2 赵训刚 赵训刚1,21,2 王熊珏 王熊珏1,21,2 谈遂 谈遂3 3（1.桥梁智能与绿色建造全国重点实验室，武汉 430034；2.中铁大桥科学研究院有限公司，武汉 430034；3.高速铁路建造技术国家工程研究中心，长沙 410075）【摘 要】【摘 要】本文研发基于 YOLOv5 算法的桥梁病害检测系统，用于无人机桥梁病害检测。首先，通过无人机巡航系统进行病害采集；其次，通过 K-means 聚类算法对 YOLOv5 算法中的先验框比例进行改进，获取桥梁病害的尺寸；再次，利用图像切割算法将无人机输入图像切割为 640*640 尺寸大小，减小模型训练与推理难度，同时利用APAP 算法对切割图像识别结果进行拼接，达到完整无人机图像识别结果；最后，采用 Python Flask 搭建开放式桥梁病害检测 Web 前端，可根据实际需求调用不同桥梁部位病害权重，实现 13 种桥梁病害实时检测。结果表明，该模型可有效地降低硬件需求，可直接对无人机图像进行识别处理，实现快速病害检测，有望为桥梁病害检测提供一个高效、安全且具有前景的检测方法。【关键词】【关键词】桥梁工程；桥梁检测；无人机；YOLOv5；Python Flask【中图分类号】【中图分类号】TU17；U446.2 【文献标识码】【文献标识码】A 【文章编号】【文章编号】1674-7461（2023）05-0052-06【DOI】【DOI】10.16670/11-5823/tu.2023.05.0953基于深度学习的桥梁病害检测研究与应用钢筋的检测15,16，基础设施的健康评估17，桥梁病害的 3D 重建18等。虽然深度学习被广泛应用至桥梁病害检测当中，但一方面需要大量算力，对设备要求较高，处理结果传输至前端花费时间较长，无法做到快速实时检测；另一方面，其识别病害种类较少，未能整合病害检测模型，应用性有待提高。针对上述问题，本研究基于 YOLOv5 算法进行改进。首先，通过 K-means 聚类算法选取合适的桥梁病害比例，以便有效地获取建议区域；其次，利用图像切割与拼接算法对输入和输出图像分别进行切割与拼接，从而减小模型训练难度。通过上述方法对桥梁分别按照桥面系（伸缩缝堵塞、排水孔堵塞、龟裂）、混凝土结构（剥落、蜂窝麻面、裂缝）、下部结构（渗水、白皙、防尘罩脱落）以及钢结构（螺栓锈蚀、松动、缺失，油漆脱落）进行病害识别，共计 13 种桥梁病害；最后，基于 Python Flask 框架设计桥梁病害检测系统管理平台公开接口 API，提供了一体化的桥梁结构病害的智能检测方法，并将其应用至 Web 端。图 1 桥梁病害检测系统流程图图 1 桥梁病害检测系统流程图1 桥梁病害识别检测系统与实现桥梁病害识别检测系统主要有无人机巡航系统、病害识别定位系统、实时目标检示。1.1 无人机巡航系统无人机巡航系统是由无人机机身、相机和测前端三部分组成，技术路线图如图 1 所示。模块和机载计算机控制软件组成，如图 2 所示。首先，作业人员对桥梁病害通过无人机进行采集，并上传至桥梁病害检测系统；其次，通过目标检测算法对图像是否包含病害进行识别定位，获取相关病害信息；最后，输出结果展示至桥梁病害检测系统前端。在本研究中，无人机采用大疆经纬 M300RPK 无人机，具有六向定位避障系统和 40m 探测距离，为飞行提供了安全、稳定的飞行能力，可有效地避免在桥梁检测过程中发生无人机碰撞，减少对行车的安全风险。相机模块选用大疆禅思 H20，该相机模块集成了 1 200 万像素广角、2 000 万像素、23 倍混合光学变焦、640512热成像和1 200米激光测距于一身，可满足不同桥梁位置的拍摄需求。相机模块具有将世界坐标下的物体转换到图像像素下坐标的功能，以便对病害进行精确定位。为保证图像病害具有较高辨识度，相机模块尽量采用平行于桥面进行拍摄，拍摄距离偏差不超过 3m，角度偏差不超过 15，搭配大疆经纬 M300RTK 无人机，可实现精准定位、精准复拍等功能，避免了在作业中产生漏拍，减少了作业的人员的重复性工作。图 2 无人机巡航系统图 2 无人机巡航系统机载计算机控制软件满足无人机飞行策略设定，自动巡航、自动拍摄等功能，可有效地减少作业人员的工作量。为得到有效的拍摄图像与高效作业，无人机的拍摄距离与焦距具有至关重要的作用。因此，针对桥梁不同位置需进行合适的拍摄距离与焦距选择。1.2 基于 YOLOv5 算法的桥梁病害识别YOLOv5 是 YOLO（You only look once）系列网络模型的最新版本，是基于 YOLOv4 的网络模型进行改进。该结构采用 GIou_Loss 作为 Bounding box 的损失函数进行改进，同时引入 YOLOv4 的马赛克数据增强方法（Mosaic），随机挑选 4 张图像进行随机缩放、裁剪等方式进行拼接，丰富了数据集样本形式，尤其是增加了许多小目标，增强了卷积神经网络的学习能力，降低了模型的计算量，极大地提高了模型的运算速度，具有高效、易部署到移动端等优点，已被广泛应用至各个领域中的目标检测、跟踪与分割。输入图像输入图像640*640*3Focus结构结构640*640*3320*320*12CSPDarket53Conv2D_BN_SiLu无处理无处理5913Conv2DConcat+CSPLayerConcat+CSPLayer上采样上采样上采样上采样Concat+CSPLayerConcat+CSPLayerFPN结构结构PANET结构结构YOLO HeadYOLO HeadYOLO Head下采样下采样下采样下采样Conv2D_BN_SiLu骨干网络颈部网络预测端输出图像骨干网络颈部网络预测端输出图像SPP结构结构图 3 YOLOv5 桥梁病害识别定位网络结构图图 3 YOLOv5 桥梁病害识别定位网络结构图基于以上优点，本研究针对桥梁病害搭建了YOLOv5 病害识别与定位模型，YOLOv5 桥梁病害识54别与定位模型由骨干网络（Backbone）、颈部网络（Neck）和预测端（YOLO Head）组成，图 3 描绘了 YOLOv5模型的整体结构。2 改进 YOLOv5 目标检测算法2.1 模型改进由于无人机拍摄图像像素值较大，但部分病害目标较小，若直接输入无人机拍摄图像进行病害检测，将存在大量漏检行为，且对模型训练与推理存在较大难度。基于对病害检测任务的分析，提出改进的YOLOv5 网络模型对输入图像切割成若干个小图进行训练，减小计算成本。这有助于检测大面积图像中的病害，减少漏检与误检的情况，提高桥梁病害检测效率，符合实际工程中获取桥梁病害图像的特点。禅思 H20 相机模块所拍摄的单张图像分辨率为5 8883 888，若直接将该图像输入至 YOLOv5 模型中，将严重导致模型训练慢，推理困难。因此，对无人机图像进行切割，切片尺寸像素为 640640，切片步长为 512 像素，最后一张切割图像像素大小不足640640，则进行填充，以满足输入图像要求。坐标在滑动窗口内的切割图像作为有效训练图像，并重新计算当前目标坐标信息。在研究中发现，由于切片尺寸像素为 640640，切片步长为 512 像素，若将切割图像结果直接进行拼接，则完整图像将产生重叠部分。为更好的获取无差别图像，本文采用 AP 算法利用多个局部单应性进行精准对齐匹配，并对图像重叠区域进行切割，得到拼接缝；采用 Multi-band Bleing算法对拼接图像进行加权平均，得到重叠图像融合结果，最终反向进行重建图像，得到完整的拼接图像结果。切割图像分别进行训练与预测，最终将所有切割图像识别结果进行拼接，得到完整病害图像识别结果，实际病害图像切割与拼接效果如图 4（a）（c）所示。图 4 切割与拼接效果图图 4 切割与拼接效果图为了更好地使模型学习病害特征，具有优秀性能，研究组分析了模型中所需训练的数据集的真实框，研究中发现预选框框比例为固定参数（0.512），不满足实际病害尺寸要求。因此，本研究采用 K-means 聚类算法对实际病害进行先验框比例调整，对象边界框和聚类中心框之间的距离参数如公式（1）所示。其中jc代表第j个聚类中心框，ijO代表第j个聚类中心的第i个对象边界框。通过不断地调整相关参数，研究中发现随着聚类中心数量地不断增加，模型的精确度也相应提高，直至聚类数量达到 9 簇。如图 5 所示，模型准确度达到最优值，此时聚类先验框比例为（0.361.142.8），该预选框比例均匀地分布在各个病害尺寸上，满足实际病害尺寸特点，可有效地提升模型性能，提高病害识别精确度。图 5 聚类中心数-精确度曲线图图 5 聚类中心数-精确度曲线图2.2 桥梁病害检测模型训练首先，基于无人机巡航系统收集桥梁相关病害，该系统提供了 3 294 张桥梁病害图像。数据集图像使用LabelImg 标注工具进行分类标注，采用 VOC 数据集格式，将图像目标信息转化为.xml 格式的坐标文档，可随时进行修改。采用旋转、翻转、加噪声等图像处理技术进行数据集扩充，将 3 294 张图像扩充为 9 882 张；然后将桥梁病害进行分类，分为桥面系（伸缩缝堵塞、排水孔堵塞、龟裂）、混凝土结构（剥落、蜂窝麻面、裂缝）、下部结构（渗水、白皙、防尘罩脱落）、钢结构（螺栓锈蚀、松动、缺失，油漆脱落）分别构建成不同数据集进行模型训练。扩充后的数据集取 882 张作为测试集，其余图像按照 82 的比例随机划分，分别得到训练集图像 7 200 张，验证集图像1 800 张。在训练过程中，采用迁移学习方法，通过在COCO 数据集上的预训练权重，优化网络模型。初始学习率设置为 110-5，训练批次大小为 8 张，世代数55基于深度学习的桥梁病害检测研究与应用（Epoch）根据实际数据集进行相关设定，每个训练周期步长为 1 000 步，输入图像大小为 640640 像素。与此同时，为防止训练模型产生过拟合，将根据上节所划分的桥梁病害位置，分别将各部位病害数据集分别放入模型进行训练。模型采用随机梯度下降算法，使得网络模型不断收敛至最优解，以此保证模型具有较优性能。图 6（a）（d）分别显示了各个部位数据集在训练过程中的损失函数收敛状况，随着世代数地不断增加，模型在验证集上的性能表现也不断提升，最终趋于收敛状态，具有一定的稳定性和有效性。图 6 各部位病害损失函数变化曲线图 6 各部位病害损失函数变化曲线为评估桥梁病害识别模型的检测性能，将测试集作 为 输 入 图 像 测 试 模 型 性 能。本 文 引 入 准 确 率（Precision）、回 召 率（Recall）和1F分 数（1Fscore）作为该模型的评价指标。准确率为正确识别病害数量占所有识别出该类病害数量的比例，回召率为正确识别出该病害数量占实际病害数量的比例，1F分数为评价该模型综合性能的评价指标。TP表示为图像中所对应病害被正确识别成相应病害；FP表示图像中非病害种类被识别成正确病害；FN表示将非病害种类被错误识别；P、R分别表示为精确率与回召率。评价指标计算公式（1）（3）所示：TPpTPFP=+（1）TPRTPFN=+（2）12PRFPR=+（3）表 1 网络结构表表 1 网络结构表评估参数桥梁部位总体桥面系混凝土结构下部结构钢结构TP298113107420FP6127732FN191091452准确率/%94.4%89.1%94.2%93.9%92.9%回召率/%84.3%90.7%92.6%87.0%89.0%F1分数/%89.1%89.9%93.4%90.3%90.9%由表 1 可知：模型对于下部结构的病害识别的准确率、回召率和 F1 分数均在 90%以上，桥面系病害的准确率、回召率 F1 分数分别为 94.4%、84.3%和89.1%；混凝土结构的病害的准确率、回召率 F1 分数分别为89.1%、90.7%和89.9%；钢结构的病害的准确率、回召率 F1 分数分别为 93.9%、87.0%和 90.3%。研究中发现，该三个桥梁部位的病害由于其中的某类病害的训练样本不足，导致该模型的准确率或回召率较低。YOLOv5 桥梁病害识别模型总体的准确率、回召率和F1 分数分别为 92.9%、89.0%和 90.9%，因此该模型对于各个桥梁部位结构的病害识别具有较高的准确率与回召率，可实现对于 13 种桥梁病害的高精度的病害识别与定位。3 实时检测前端 桥梁病害识别系统主要便于作业人员能够进行实时病害识别，为此，本研究设计并实现了一套完善的Web 端桥梁病害检测系统。Web 端基于 Python Flask 框架并采用前后端分离的架构进行开发，Flask 是一种轻量级 Web 端构成框架，可同时实现多个 Python 环境并行，为多部位桥梁病害检测提供了有力帮助。首先对 YOLOv5 网络模型进行封装，其次利用 Flask 框架搭建桥梁病害识别系统平台的公开接口 API，对 YOLOv5 相关病害权重进行调用，实现在 Web 端上传病害图像并进行相关病害识别，系统整体框架如图 7 所示。浏览器HttpServerFlaskYOLOv5公开API图片上传请求命令识别结果JSON数据结果输出图 7 前端实时检测框架流程图图 7 前端实时检测框架流程图4 试验测试与评估为测试桥梁病害检测系统的检测性能，本文随机采用未训练样本作为测试集对各个部位病害进行测试。由图 9（a）（l）可知，该桥梁病害识别与定56位系统对桥梁病害具有较高精确度，满足实际工程应用。图 8 病害展示图 8 病害展示图 9 病害识别结果汇总图 9 病害识别结果汇总5 结语本文研发了桥梁桥梁病害检测系统，可实现 13 种桥梁病害识别，集后台识别与前端展示一体化，有效地提高了桥梁巡检效率。具体来讲，首先结合 K-means聚类算法对桥梁病害尺寸进行调整，引入图像切割与拼接算法对 YOLOv5 网络模型进行改进，训练并重建桥梁病害识别模型；其次集桥面系、混凝土结构、下部结构、钢结构相关病害检测模型，利用 Python Flask搭建桥梁病害检测系统，可分别调用相关权重文件对各个部位进行精确病害检测与定位；最后通过无人机拍摄的图像对桥面系、混凝土结构、下部结构、钢结构相关病害进行实验，总体的准确率、回召率和 F1 分数分别为 92.9%、89.0%和 90.9%，具有较高的准确率和回召率，对于桥梁病害检测，尤其对特大桥梁检测具有较高的借鉴价值与实践意义。参考文献参考文献1 Yongding Tian,Chao Chen,Kwesi Sagoe-Crentsil,et al.Intelligent robotic systems for structural health monitoring:Applications and future trendsJ.Automation in Construction,2022,139(7):104273.2 Tangbo Bai,Jianwei Yang,Guiyang Xu,et al.An optimized railway fastener detection method based on modified Faster R-CNNJ.Measurement,2021,182(9):109742.3 Yongqing Jiang,Dandan Pang,Chengdong Li.A deep learning approach for fast detection and classification of concrete damageJ.Automation in Construction,2021,128(8):103785.4 Chong Wei,Shurong Li,Kai Wu,et al.Damage inspection for road markings based on images with hierarchical semantic segmentation strategy and dynamic homography estimationJ.Automation in Construction,2021,131(11):103876.5 Srinath S.Kumar,Dulcy M.Abraham,Mohammad R.Jahanshahi,et al.Automated defect classification in sewer closed circuit television inspections using deep convolutional neural networksJ.Automation in Construction,2018,91(7):273-283.6 杨扬,王连发,张宇峰,等.基于多特征融合的混凝土结构表面病害图像分类算法 J.长安大学学报:自然科学版,2021,41(3):64-74.7 Xiaojian Han,Zhicheng Zhao,Lingkun Chen,et al.Structural damage-causing concrete cracking detection based on a deep-learning methodJ.Construction and Building Materials,2022,337(24):1275628 陈飞飞,张宇峰,韩晓健.基于图像特征值的混凝土桥梁表面病害图像分类 J.结构工程师,2018,34(1):59-63.9 杨魁,王丹妮,唐双,等.基于改进 YOLO 算法的混凝土表观病害识别方法 J.公路工程,2021,46(5):81-86.10 Cha Y J,Choi W,Suh G,et al.Autonomous Structural Visual Inspection Using Region-Based Deep Learning for Detecting Multiple Damage TypesJ.Computer-Aided Civil and Infrastructure Engineering,2018,33(9):731-747.11 Yu Z,Shen Y,Shen C.A real-time detection approach for bridge cracks based on YOLOv4-FPMJ.Automation in Construction,2021,122(2):103514.57基于深度学习的桥梁病害检测研究与应用12 Zhang,C,Chang,C-C,Jamshidi,M.Concrete bridge surface damage detection using a single stage detectorJ.Computer-Aided Civil and Infrastructure Engineering,2020,122(2):103514.13 丁威,俞珂,舒江鹏.基于深度学习和无人机的混凝土结构裂缝检测方法 J.土木工程学报,2021,54(S01):1-12.14 阮小丽,王波,荆国强,等.桥梁混凝土结构表面裂缝自动识别技术研究 J.世界桥梁,2017,45(6):55-59.15 R.Santos,D.Ribeiro,P.Lopes et al.Detection of exposed steel rebars based on deep-learning techniques and unmanned aerial vehiclesJ.Automation in Construction,2022,139(7):104324.16 阮小丽,王波,吴巨峰,等.基于深度学习的钢筋混凝土桥梁掉块露筋病害识别 J.世界桥梁,2020,48(6):88-92.17 Isaac Osei Agyemang,Xiaoling Zhang,Daniel Acheampong,et al.Agbley,Autonomous health assessment of civil infrastructure using deep learning and smart devicesJ.Automation in Construction,2022,141(9):104396.18 Yan Xu,Jian Zhang.UAV-based bridge geometric shape measurement using automatic bridge component detection and distributed multi-view reconstructionJ.Automation in Construction,2022,140(8):104376.Research and Application of Bridge Disease Detection Based on Deep Research and Application of Bridge Disease Detection Based on Deep LearningLearningTao Shifeng1,2，Wu Jufeng1,2，Zhou Qiang1,2，Zhao Xungang1,2，Wang Xiongjue1,2，Tan Sui3（1.National Key Laboratory of Bridge Intelligent and Green Construction,Wuhan 430034,China;2.China Railway Bridge Research Institute Co.,Ltd.,Wuhan 430034,China3.National Engineering Research Center of High-Speed Railway Construction Technology,Changsha 410075,China)Abstract:In this paper,a bridge disease detection system based on YOLOv5 algorithm is proposed for UAV bridge disease detection.Firstly,diseases are collected through UAV cruise system.Secondly,K-means clustering algorithm is applied to improve the prior box proportion in YOLOv5 algorithm to obtain the size of bridge disease.Thirdly,the UAV input image is cut to 640*640 size by using the image cutting algorithm to reduce the difficulty of model training and reasoning.Whats more,this paper uses APAP algorithm to splice the recognition results of cutting images to achieve a complete UAV image recognition result.Finally,the paper employs Python Flask to build an open bridge disease detection Web front-end,which can call the disease weights of different bridge parts according to actual needs,and further realize real-time detection of 13 bridge diseases.The results show that the model can effectively reduce the hardware requirements,directly identify and process UAV images,and achieve rapid disease detection,which is expected to provide an efficient,safe and promising detection method for bridge disease detection.Key Words:Bridge Engineering;Bridge Detection;UAV;YOLOv5;Python Flask