基于目标检测与语义分割智慧...地施工人员安全状况判断研究_王金平.pdf

公路 年月第期 基金项目：公路建设项目“智慧工地”全要素管理系统研究及示范应用，项目编号 收稿日期：文章编号：（）中图分类号：文献标识码：基于目标检测与语义分割智慧工地施工人员安全状况判断研究王金平，刘春芽，郑凤飞，黄涛，（甘肃公交建集团康略项目分公司兰州市 ；兰州朗青交通科技有限公司兰州市 ；甘肃省智慧交通重点实验室兰州市 ）摘要：在公路工程施工过程中，由于施工人员素质良莠不齐等因素，给行业监管部门带来极大困难。为实现施工人员实时检测及周边环境实时查看，由于人员检测与环境分割方法易受到施工环境干扰，若分开进行，会造成资源浪费。针对该问题，提出一种基于目标检测与语义分割融合的智慧工地施工人员安全状况判断方法，利用施工场地实时视频数据，对施工人员进行端对端实时检测与周围环境语义分割，结合分割结果，可判定施工人员是否处于安全区域。同时，为验证方法的有效性，基于甘肃省某公路视频监控数据实现数据集制作，并与现有方法进行性能对比实验。关键词：智慧工地；深度学习；施工人员；目标检测；语义分割概述目前目标检测研究领域，对人员轨迹预测主要包含基于模型和数据分析两种，由于施工人员行动随机性、分散性、交互性等特点，预测人员目标运动是一个极具挑战性的问题。基于此，等研究表明静态环境语义信息有助于通过模型实现人员轨迹较为准确的预测；等基于场景上下文关联，预测人员运动轨迹；等采用优化函数和参数模型的方法，实现人员轨迹预测。但不可避免存在以下问题：（）缺乏数据驱动，导致模型只具备人员简单交互模式；（）此类研究着重于对彼此接近人之间交互建模（以避免直接碰撞），缺乏预料未来人员的相互作用。因此，基于数据驱动研究应运而生，其中循环神经网络和长短时记忆网络方法已被证明有效性，但此类方法无法对人员之间空间联系进行有效建模。在后续研究中，基于 网络构建人员时空图，结合空间与时间特性，针对人员交互性特点，通过采用双变量高斯分布，实现数空融 合轨迹预 测，但该方 法 计算 复 杂度高；随后 等提出长短时记忆网络模型，该模型基于数据驱动进行人员网格化建模，利用隐藏特征计算预测轨迹。据此开展对于人员轨迹研究，但当前基于数据驱动方法构建神经网络模型存在精度低、鲁棒性差、实时性不高等问题。针对上述问题，构建可支撑现场安全管理、互联协同、智能决策智慧工地管理模式是目前的首要问题。因此，提出一种基于目标检测与语义分割融合的智慧工地施工人员安全状况判断方法，利用施工场地实时视频数据，对施工人员进行端对端实时检测与语义分割，并快速识别图片特征，进而辅助行业监管部门判断施工人员位置轮廓与施工安全区域是否重合。该方法不但解决了施工人员监管困难的问题，更提高检测网络与语义分割网络参数运算效率，缓解计算显存压力，保证多种算法时间、空间同步性。为验证研究方法的有效性，基于开源数据集与现有方法进行实验对比，证明该方法提高了预测精度和计算效率。施工人员安全状况判断概述 施工人员不安全行为在施工过程中存在多主体不安全行为，包括有组织决策者、现场管理人员和操作人员不安全行为 年第期王金平等：基于目标检测与语义分割智慧工地施工人员安全状况判断研究等，然而施工人员往往是事故直接引发者和直接受害者，施工人员不安全行为主要源于以下几方面：（）施工人员对重大危险源缺乏足够认识；（）施工人员为追求省时省力，常存在侥幸心理；（）施工现场监控手段落后；（）施工现场管理人员素质参差不齐。施工人员目标检测与分割研究的意义针对工程项目现场人员管理，开展现场人员检测和分割方法研究，可在一定程度上减少施工人员不安全行为，有针对性展开施工人员行为预警和安全教育，同时减少潜在安全事故伤亡，提高施工人员管理质量，控制用工成本。研究内容如下：（）满足监控预警实时性及预见性；（）基于历史数据预测预警，减少人为判断误差；（）全方位监控，断绝侥幸心理。融合语义分割和目标检测施工人员安全状况判断网络现有方法通常将目标检测与语义分割单独判定，为实现高效率、高鲁棒的人员检测与环境分割，构建基于目标检测与语义分割融合的智慧工地施工人员安全状况判断网络，实现无需人工干预施工现场人员智能化管控，施工人员安全状况判断流程见图。图基于目标检测与语义分割施工人员安全状况判断流程 施工人员安全状况判定流程基于 网络的目标检测算法获取施工人员具体位置、基于 网络的语义分割算法 划分施工场地环境区域，结合两种算法判断施工人员是否处于危险区域，若施工人员像素点在施工环境危险区域内，则判定人员所处环境为危险区域；反之，施工人员处于安全区域，融合语义分割与目标检测的施工人员安全状况判定流程见图。图施工人员安全状况判定流程 融合语义分割与目标检测施工人员安全判定网络 多任务融合网络多任务融合网络架构见图，该网络由输入网络、骨干网络、特征提取网络、语义分割解码器网络和目标检测解码器网络组成，同时处理施工人员目标检测和施工场景语义分割。基于分割与检测结果，判断施工人员所处位置是危险区域还是非危险区域。由于多任务融合网络之间没有冗余共享网络，实现了资源、时间、算法同步，有效降低计算资源占用。编码器多任务融合网络中，编码器由骨干网络和特征提取网络构成。骨干网络主要用于图像特征提取，可支持特征逐层传播与重用，有利于提高图像感受野，减少信息丢失，保证图像处理的实时性；结合特征提取网络，对骨干网络提取的图像特征进行融合，在不增加计算量的情况下，提高图像中远处施工人员检测性能，获取维度更丰富的图像特征，用于后续目标检测和语义分割任务当中。该方法解决了其他卷积神经网络中优化梯度信息重复、计算复杂度高的问题，将梯度变化全部集成到特征图中，减少了模图多任务融合网络架构型参数量，既保证了演化速度和准确率，又减小了模型尺寸。为防止图片变形，在骨干网络和特征提取网络之间加入金字塔池化网络，网络结构见图。由图可知，输入图片可为任意大小，将图像特征分为、份网格，假设有 个通道数，则中间所有特征网格最后被映射为（）个通道，结合全连接网络层，转换为 个通道，实现对任意图像尺寸特征图转换为固定尺寸，得到固定数量特征。图金字塔池化网络结构为提高网络学习能力、提升梯度传递效率，在编码器阶段采用 函数作为激活函数，见式（）。相比于其他激活函数，函数处处光滑，且允许在绝对值较小负值区域存在负值。（）（）解码器解码器由目标检测网络和语义分割网络组成，在编码器后同时开始工作。（）基于 网络的施工人员目标检测研究。在目标检测网络发展中，系列作为一种快速紧凑开源对象检测模型，无疑是最具有代表性一类网络，具有性能强、运行速度快、算法精度高等优势，是现有研究中第一个可预测对象类别和边界框端对 端 神 经 网 络。针 对 智 慧 工 地 复 杂 场 景，网络在速度、鲁棒性、稳定性等方面有显著优势。因此，利用 网络对施工场地人员进行实时检测。施工现场图片数据输入到 网络中，为获得多尺度、多维度特性信息，在图像特征提取骨干网络中，加入了特征金字塔网络和特征融合网络，见图。图施工人员目标检测框架由图可知，特征金字塔网络可实现每一层特征单独预测，该网络与骨干网络之间同时具备从上往下和从下往上的横向链接，将两种链接方式所获特征进行融合，得到更抽象、更丰富的语义信息，保证每一层特征会影响下一层特征表达，实现所得特征用于后续任务中；特征融合网络采用从下而上数据处理方式，将特征金字塔网络所获图像特征进行处理，从而构建多尺度特征融合网络，并结合全连接网络，获得目标检测类别及每个类别预测概率和置信度。相比其余方法，该方法有效提高检测性能，更有利于复杂环境下图像特征融合。（）基于 网络的施工场地语义分割。图像语义分割是图像处理和机器视觉技术中 公路 年第期 年第期王金平等：基于目标检测与语义分割智慧工地施工人员安全状况判断研究关于图像理解的重要一环，是对图像中每个像素点进行分类及区域划分。在智慧工地人员跟踪研究中，现有研究仅仅针对施工人员进行检测，未将施工人员所在环境进行分割，导致行业监管部门很难判定施工人员安全状况。因此，针对公路工程施工项目特点，在开展施工人员目标检测基础上，研究施工环境语义分割。通常语义分割架构可被认为是一个编码器解码器网络。编码器通常是一个预训练分类网络，解码器是将编码器学习到可判别特征（较低分辨率）从语义上投影到像素空间（较高分辨率），以获得分类值。在多任务融合网络中，语义分割任务作为第二类解码器。选用 作为语义分割网络，语义分割整体架构见图。该网络以 网络 为基础，添加一个并行预测目标掩码分支，训练简单，虽然在运算空间上增加少量开销，但运行速度却有质的飞跃。很容易泛化至其他任务，例如，可用于人员姿态估计，尤其在实例分割、边界框目标检测和人员关键点检测中都有较好应用，有利于开展施工场地语义分割研究。该网络由输入层、空间对称聚合层及池化层组成，输入层为输入任意图片信息；池化层是将特征信息进行抽象，减少参数、降低优化难度，以防止模型过拟合。图 语义分割整体架构空间对称聚合层是一种新区域特征聚集方式，解决 网络池化操作时两次量化造成区域不匹配的问题，其方向传播式在池化层反向传播进行改进，见式（）：（，（，）（）（）（）式中：其中为图像中任意两像素点间距；和 为图像坐标系中横坐标差值，作为双线性内插系数乘在原始梯度上。在训练过程中，每个采样所用损失函数见式（）：（）式中：其中 为分类损失；为回归损失；为分割损失。损失函数损失函数是衡量真实值与预测值之间的误差。融合算法中人员目标检测任务和环境分割任务共享特征提取网络，各自都有单独损失函数。联合算法损失函数为两种任务损失函数之和，见式（）：（）式中：为目标检测损失函数；为语义分割损失函数。目标检测损失 由分类损失、目标损失及边界框损失加权求和得到，见式（）：（）式中：为目标检测损失函数，由分类损失、目标损失及边界框损失加权求和得到；为惩罚分类损失函数；为目标检测损失函数；为约束预测置信度；、为相应权重。实验设计 性能评价指标为衡量图像目标检测与语义分割方法融合高效性及准确性，将所提算法与现有方法进行性能对比实验，其性能评价指标主要包括模型精确率（）、交 并 比（）、平 均 交 并 比（）、召 回 率（）。（）模型精确率（）。假设场景中有目标类，则模型精确率计算见式（）：（）式中：为 本 属 于类 却 预 测 为类 图 片；为正确预测数；为错误预测数。（）交并比（）。为施工场景中模型对施工人员预测准确度，见式（）：（）（）式中：为施工人员正确预测数；为人员预测成其他类物体的数量；为其他类物体预测成人员的数量。（）平均交并比（）。为场景中物体 平均值，见式（）：（）（）召回率（）。召回率为正确样本数量占总样本数比例，见式（）：（）（）式中：为分类正确样本数；为分类错误样本数。实验数据集利用甘肃省某公路施工场地视频监控数据进行数据集制作，任意采集一段施工期间视频数据进行预处理，提取出每一帧图片，共得万张图片。按:比例将图片数据集划分为训练集、测试集和验证集，并基于开源图像处理软件对训练集进行数据标注。模型训练（）实验过程见图，主要包含环境安装、创建、激活、网络模型训练与测试等关键环节。图实验过程（）网络模型训练阶段，设训练次数为 次，将训练集在深度学习网络中进行训练，并在文件中存 储 每 一 次 训 练 所 得 到 的 模 型 参 数，结 合 软件对训练过程进行仿真，结果见图。由图可以看出，随着训练次数不断增加，模型逐渐趋于稳定。（）网络模型测试阶段利用最优模型在测试集图训练过程中 、曲线上进行性能测试，输出模型 值、值及施工人员 值见表。表 值、值及 值模型精确率（）最优模型平均交并比（）施工人员交并比（）（）最优模型在测试集的预测结果见图。图模型预测结果 公路 年第期 年第期王金平等：基于目标检测与语义分割智慧工地施工人员安全状况判断研究 模型验证根据最优模型，对验证集数据进行目标检测与语义分割，施工场景任意帧原始数据见图，通过多任务融合方法得到语义分割结果见图、目标检测结果见图。图 施工场景任意帧原始数据图 施工人员任意帧语义分割结果图 施工人员任意帧目标检测结果 性能对比实验为 验 证 所 提 方 法 有 效 性，在 公 开 数 据 集 进行性能对比实验，该数据集由于大规模性、多样性，已成为计算机视觉中有监督学习任务最新进展驱动力，其任意帧数据分割和目标检测结果见 图 。基 于 此 数 据 集，将 该 方 法 与 语义分割网络和 目标检测网络进行性能对比，最终结果见表，可知方法在召回率、精确度等方面都有所提升。图 数据集示例表不同方法在 数据集上性能对比结果算法召回率（）平均交并比（）交并比（）本文方法 结语本文针对高速公路施工人员监管困难问题，研究了基于目标检测与语义分割融合的施工人员安全状况判断方法，总结如下。（）完成对施工人员目标检测和环境语义分割研究现状概述，针对目前研究难点，结合归纳方法与演绎方法，明确研究思路。（）基于 网络和 网络，设计面向施工人员安全状况判定的多任务融合网络架构。结合甘肃省某公路施工场地视频监控数据进行数据集制作，通过多任务融合网络训练与模型测试，实现施工人员目标检测与施工场景语义分割，达到时间与算法的同步，有效降低计算资源。（）基于公开数据集 ，与现有方法进行性能对比实验，表明所提方法的有效性和鲁棒性。目前，多任务融合网络算法在甘肃省复杂施工场景中使用良好，可以辅助监管部门判断施工人员是否处于安全区域，保证施工人员职业安全，且能达到实 时 性，也 为 公 路 施 工 行 业 监 管 部 门 提 供 理论参考。参考文献：，：，：，：，：，：，（）：，：，：，：，：陈雨田智慧工地施工人员不安全行为影响因素及对策研究 青岛理工大学，周兆银，田书函，谢艳，蔡硕累计算机视觉技术在施工人员不安全行为管理中的应用 重庆大学学 报，（）：，：，：，：何永胜，梁雨林，康朋，周茂，陈进 基于 技术的施工人员目标检测与跟踪定位系统的研究电子设计工程，（）：，：，：马宾，付永康，王春鹏，李健，王玉立基于 损失函数的 绝缘子高效定位算法计算机科学，（）：刘春芽基于 点云的语义分割与地图生成方法北京交通大学，：，：，：公路 年第期