基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别.pdf
《基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别.pdf》由会员分享,可在线阅读,更多相关《基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别.pdf(22页珍藏版)》请在咨信网上搜索。
1、经济管理学刊 基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别 韩苗,中国矿业大学数学学院,;许可(通信作者),对外经济贸易大学统计学院,;伍书缘,北京大学光华管理学院,;王汉生,北京大学光华管理学院,。作者感谢国家自然科学基金项目(,)、统计与数据科学高等理论与应用重点实验室开放研究基金(),以及对外经济贸易大学中央高校基本科研业务费专项资金()对本文研究的支持。作者感谢匿名审稿人和编辑部的宝贵意见,当然文责自负。韩 苗 许 可 伍书缘 王汉生摘 要:煤炭开采行业是公认的高危行业,其中人的行为因素是造成绝大多数事故的直接原因。及时提醒、纠正矿工的不安全行为是避免煤矿事故最重要且最有
2、效的方法。本文基于自适应背景差分模型,提出了一个三阶段优化算法,通过异常值发现、异常值区域像素点平面平滑以及连通域分析算法,实现了矿工子图数据集的有效提取。特别是在异常值发现中,本文采用中位数估计方法,通过分布式中位数计算,求得标准差更稳健的中位数估计量,替代传统矩估计量构造阈值,获得更加稳健的异常值区域,进而提取高质量的矿工子图数据集。实验结果表明,与传统估计方法相比,基于中位数估计得到的标准差所构造的阈值,提取的矿工子图准确率更高,提取的结果更稳健。同时,本文直接对矿工子图标注类别,避免进行边界框的标注,操作简单,快捷高效。最后,本文使用 模型进行迁移学习,结果进一步表明,中位数估计方法得
3、到的矿工子图数据集的质量优于传统估计方法,子图分类准确度更理想,能够有效地识别矿工的不安全行为。关键词:不安全行为;背景差分;分布式中位数计算;迁移学习中图分类号:分类号:;一、引言目前,中国的能源生产消费结构仍以煤炭为主。近年来,中国煤炭占一次能源消费的比例持续降低。年,中国煤炭消费占一次能源消费的比重由 下降至左右(国民经济和社会发展统计公报,),但煤炭的主体地位没有改变。以煤炭为主的能源资源禀赋和经济社会发展所处阶段,决定了未来相当长一段时间内,中国经济社会发展仍将离不开煤炭。即使在“双碳”目标下,煤炭仍需要发挥基础能源作用,做好经济社会发展的能源兜底保障(谢和平等,经济管理学刊 第 卷
4、)。煤炭为很多重要行业提供了强大的能源保障,例如电力供应、运输行业等。根据国家统计局国民经济和社会发展统计公报,年中国能源消费总量为 亿吨标准煤,比上年增长,其中煤炭消费量增长;全国煤炭产量为 亿吨,同比增长 ,创历史新高。中国煤炭分布范围较广,但原煤产量主要来自山西、内蒙古、陕西、新疆等地。煤矿生产地质条件先天复杂多变且较为恶劣,工作场所大多在地下受限空间且处在不断变化和移动中,生产系统复杂、环节多,加之生产技术管理和安全管理还存在漏洞,煤矿从业人员素质不高,难以满足工作环境对人员素质的要求等种种因素,其安全生产形势仍十分严峻(林柏泉等,)。煤炭行业是公认的高危行业,该行业有一个专门衡量安全
5、生产效率的指标 煤矿百万吨死亡率,即每生产 万吨煤炭死亡的人数比例。根据国家统计局国民经济和社会发展统计公报,中国煤炭百万吨死亡率从 年的 一直下降到 年的 。根据国家矿山安全监察局公布的数据,本文统计了中国 年全国煤矿发生死亡事故数和死亡人数,见图。这些数字整体趋势都在下降,说明在国家的大力整治下,中国煤矿安全生产持续好转,但形势依然严峻。年,发生煤矿事故 起,死亡 人。这是 条鲜活的生命,背后是 个不幸的家庭,这说明进一步加强煤矿安全生产管理,进一步保护工人作业安全,仍然任重道远。值得一提的是,煤矿企业是一个复杂多变的人 机 环境系统,所有的机器、设备或工具基本上都需要由人进行操作。根据相
6、关统计分析,对于 年发生的重大煤矿事故,在直接原因中,人为因素占了所有事故原因的 (,)。中国 年间煤矿重大事故统计数据显示,人因事故占到事故总数的以上(李琰等,)。因此,及时提醒、纠正矿工的不安全行为是避免煤矿事故最重要且最有效的方法(杨小彬等,)。图 中国煤矿 年发生死亡事故数和死亡人数注:数据来源于国家矿山安全监察局。第 期韩苗,等:基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别为了能够做到及时提醒、及时纠正,各个煤矿现已装备了大量煤矿安全监控系统。一个典型的监控系统主要由井上控制系统、井下传输系统和数据采集系统构成,见图。在生产作业过程中,通过监控系统可以对井上、井下安全生
7、产全面了解,依靠及时准确的信息指挥生产和防止各种事故的发生。监控系统中心站执行 小时值班制度,发现异常信息时,中心站值班人员必须立即通知有关部门采取措施加以解决。以某煤矿运人斜井巷道为例,每天大量矿工需要乘坐猴车进出矿井,期间就会产生众多安全隐患。典型的不安全行为包括乘坐人员在上下车或乘车途中动作不规范,违反规定携带超长、超宽、超高、超重物件(见图),乘车时把脚拖在地上(见图),违规行走(见图)等。通过监控系统可以及时发现、及时干预矿工的不安全行为,有效预防事故的发生。煤矿安全监控系统的使用,确实极大地改善了中国煤矿安全生产状况。图 煤矿安全监控系统示意注:图片来源于作者收集整理,是煤矿安全监
8、控系统示意图。a)携带超长物品b)脚拖在地上c)不乘车行走图 矿工乘坐猴车时的不安全行为注:图片来源于某煤矿运人斜井巷道监控视频,展示了矿工典型的不安全行为。但是,需要指出的是,这样的监控系统仍然存在可改进环节,这个环节就是监控系统中心站的安全监控人员。主要有以下几个典型问题:一是责任心。煤矿安全生产责任重大,绝大多数监控人员都有高度的责任感,能够认真履行自己的职责。经济管理学刊 第 卷但是,对于全国大规模长时间的矿山作业而言,工作麻痹大意的情形难免也会存在。如果不能及时发现异常情况,并及时纠正,那就可能导致严重的不安全后果。二是疲劳。由于视频监控系统极大地依赖于人力的持续观察与判断,需要监控
9、人员长时间地专注于视频画面,因此非常容易产生疲劳,进而降低工作成效,并最终影响安全保障。三是工作效率。通常情况下,监控人员需要监控多个监测点、面对多个监控器显示屏,因此很难长时间保持很高的工作效率。综上,研究基于机器学习的自动化方法,利用人工智能技术取代人工监视,实现长时间安全高效的井下人员不安全行为的自动识别,对保障煤矿安全具有重要意义。具体而言,希望以监控摄像头所采集的高频率高分辨率图像数据为输入,开发相适应的统计学与深度学习模型方法,用于及时发现并纠正矿山生产作业中的不安全行为。以矿工乘坐猴车违规行为识别为例,其本质就是目标检测和目标识别问题。对于我们关注的问题,目标检测就是能从监控系统
10、提供的高分辨率视频图像中识别包含矿工的像素点区域,目标识别就是要能够对矿工的行为是否安全做出分类判断。此类型问题是近几年图像目标检测方面的前沿与热点。由于目标检测不仅要对图像进行分类,还要对不同的物体进行定位,因此既要考虑分类的准确度,还要考虑物体定位的准确度。目前,主流算法可以分为两阶段法和一阶段法。两阶段法,如基于候选区域的 (,)和 系列(,)的算法,其核心思想是基于候选区域预先找出图中目标可能出现的位置,然后对候选区域使用 进行图像分类,将目标区域检测和分类分开进行,其主要优点是准确度高,缺点是计算速度相对较慢(,);一阶段法,如现在备受关注的 (,;,)和 算法(,),其核心思想是基
11、于回归方法,对于输入图像,直接在图像的多个位置上回归出这个位置的目标边框以及目标类别,用同一个网络同时进行目标区域检测和分类,其优点是速度快,缺点是损失了一定的检测准确率(,)。虽然这些方法在目标检测中发挥了重要作用,但是难以应用于本文关心的矿山安全管理问题,主要原因有二。第一,标注成本昂贵。具体而言,如果我们面对的安全生产场景只有巷道猴车一个场景,那么标注成本不是问题,但煤矿巷道种类很多,工作面作业繁杂,例如综采工作面运动人员行为、矿车违规载人行为、危险区域人员闯入行为和矿工睡岗离岗行为等。即使都是运输巷道也不尽相同,如果每一个场景都做大量标注,那么总成本将非常巨大。因此,用尽可能少的标注达
12、到预期精度意义重大。第二,需要很大的样本量。以 模型训练为例,作者采用的 数据集,就有 张图片、个标注(,)。回到本文关注的巷道安全管理问题,虽然从监控视频中可以抽取大量图片,但是有矿工存在的图片较少,主要集中在上下班高峰时间,而且这些图片相似度极高,不能为模型训练提供太大的变异性。同时,由于安全管理的大力执行,绝大多数矿工没有不安全行为,因此相关图片就构成了大量的负例,而正例(有不安全行为的图片)比例很低。因此,迫切需要一套新的方法论,以适用于较小的样本量。第 期韩苗,等:基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别为此,我们将主要面对两个挑战:第一,如何在没有标注框支持的情况
13、下,快速识别包含矿工的重点像素区域;第二,基于发现的重点区域,如何在较小样本的支持下实现高精度深度学习模型的构建。关于第一个挑战,我们借鉴背景差分算法(,;,),将图片序列中的当前帧与背景图像进行差分运算来得到目标区域。该算法的特点是计算速度快,但缺点是计算结果不稳定。为解决稳定性问题,本文提出一个三阶段解决方案。第一阶段在异常值发现中,用中位数方法估计标准差替代传统矩估计,从而获得更加稳健的异常值区域。第二阶段对异常值区域在像素点平面上做平滑,以此获得更稳定的结果。第三阶段,对平滑后的异常值区域,以一定的阈值为界,自适应抽取重要像素点,再用经典的连通域算法(,;,)做整合,获得完整的局部区域
14、,并因此获得高度紧凑的子图。关于第二个挑战,我们需要面对两个问题,一是正负例不均衡,二是正例个数很少。不均衡问题相对容易处理,可以通过对负例降采样解决(,;,),但是正例太少是一个较大的挑战,无法通过降采样技术处理。小样本的目标检测方法主要有迁移学习方法(,;,),即将从已知类中学习到的知识迁移到未知类的检测任务中。本文采用迁移学习的方法,可以充分借力在经典大数据集合上已经预训练的结果来尽可能地降低对我们样本量的要求。具体而言,首先我们对已经获得的子图数据集进行标注。考虑以下两个类别:矿工行为安全合规;矿工行为不合规,如带有超长、超宽、超高、超重物品乘车,乘车过程中脚拖在地上,在禁止步行的位置
15、违规步行等。值得一提的是,我们这里的标注是对已经提取的包含有矿工的子图做图片级别标注,而不是在高分辨率的原图上添加标注框。因此,标注成本很低。如图 所示,第一行图片是直接在原图上添加标注框和类别,比较麻烦且费时费力;第二行图片是三图 带有标注框和类别标签的原图与带有类别标签的子图注:第一行图片是直接在原图上添加标注框和类别,第二行图片是先提取子图再标注类别。经济管理学刊 第 卷阶段算法直接提取的子图,直接标注类别,简单快捷高效。由于矿工乘车时间不固定且比较稀疏、矿工不安全行为种类较多但不安全行为发生的概率较低、视频帧图片提取的高度相似性等原因,我们能提供的正例样本量很少,因此无法对整个 模型做
16、充分训练,因此本文采用迁移学习的方法。具体而言,我们选择了 开源的 模型(,)作为迁移学习的框架,这是一个经典的深度卷积神经网络模型,该框架在 数据集上进行训练。文中模型包含 层,共 个参数,除了最后一层 个参数需要训练外,其他所有参数都继承来自 数据集合的预训练结果,这样对我们样本量的要求就降低了很多。综上所述,本文为矿山监控视频的自动化识别提供了一个完整的方案,该方案有几个优点:第一,简单,不需要进行边界框的标注,算法原理清晰且易于实现;第二,因为简单所以计算效率高,可实现实时的目标检测要求;第三,有效,三阶段优化算法抽取矿工子图准确率高,提取结果稳健,基于迁移学习的子图分类精度较理想,能
17、够有效识别不安全行为;第四,由于迁移学习的帮助,该方法对样本量的要求较低。为了展示整个方案的运行过程,图 给出了一个检测流程图。图 矿工不安全行为检测流程图注:由作者梳理绘制,展示矿山巷道不安全行为自动识别整个方案的运行过程。第 期韩苗,等:基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别 余文结构安排如下:第二部分介绍问题研究背景及数据描述,提出一个三阶段优化算法,提取矿工子图,并介绍深度学习模型;第三部分将三阶段优化算法应用于矿工子图提取,借助深度学习的迁移模型进行应用分析,自动化识别矿工是否存在不安全行为;第四部分进行总结和讨论。二、研究方法(一)数据介绍与问题的提出本文所采用
18、的数据来自某煤矿运人斜井中的一段监控视频,总长约 个小时,可以解析获得 张高分辨率帧图片。令 表示来自 时刻()的图片,这是一个 的张量。其中,决定了这张图片的分辨率,而最后一个维度 决定了这是一张彩色图片(由于印刷原因,文中为黑白显示,下同)。用()表示来自 时刻的图片,第 通道()、第 行()、第 列()的像素取值,且()。该监控视频是固定背景(运人斜井巷道)、固定摄像头、固定角度拍摄获得,因此图片的每个像素点()都能精确地对应到运人斜井巷道中的一个具体物理位置。又由于图片来源于一段连续时间的视频,所以使得不同时刻、同一像素点的取值可以进行比较,其像素点取值的变化可以反映目标物体的移动。从
19、数据集中随机选取一张图片(见图),挑选几个特殊像素点进行讨论。图 选取像素点标识图注:根据猴车运行情况,选取 个特殊像素点,分析各像素点取值的变化情况。图 中,具体选取像素点()、像素点()和像素点()。首先考查 点,该点位于图 左上角,所对应的物理位置是猴车固定设施位置,位于驱动轮和钢丝绳前面,因此,无论猴车是否通过、矿工是否存在都对它几乎没有任何影响。从该点的某通道(例如 )像素值(,):,时间序列图(见图)可以看到,像素取值围绕均值上下波动,分经济管理学刊 第 卷布比较平稳,该点反映煤矿运人斜井巷道区域存在光线变化等环境噪声的影响,但没有明显异常变化。然后考查 点,坐标为 和 ,该点位于
20、图 左上角比较高的位置,猴车吊杆可以扫到,因此猴车是否通过对其会产生影响,但是矿工达不到该高度,因此矿工是否存在对其几乎没有影响。该点的像素值时间序列图见图,在绝大多数情况下,像素值的变化很小,为随机波动。事实上,由于不同猴车等距离排列,因此,在匀速运动的情况下,它们等时间间隔扫过该像素点,从而产生规律性变化。最后考查 点,其坐标为 和 ,该点像素值的变化情况更加复杂,猴车是否通过、矿工是否存在、矿工行为的不同都会对其产生影响。从该点的像素值时间序列图(见图)来看,该点像素值变化比 点更加复杂,除了随机噪声影响、猴车通过的规律性干扰,还有反映矿工人员是否存在的信息。图 不同像素点取值的时间序列
21、图注:这里的时间序列是指监控视频逐帧截取的 张图像的时间序列,提取的是 个不同像素点取值的时间序列图。第 期韩苗,等:基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别通过对几个特殊像素点取值的分析讨论,我们对该样本数据集图片的像素取值分布特征有了初步了解,同时也给予我们很大的启发。基于以上分析我们发现,矿工在某一特定区域是否存在与该区域像素点的取值是否异常高度相关。这说明,对异常像素点的准确识别,可能有助于提取包含矿工的重点像素区域。(二)模型假设异常值发现是统计学研究中的经典问题(,;,),但是将异常值发现思想应用于矿山安全管理似乎非常鲜见。这里面临的最大挑战是计算速度,为了能够及
22、时保障矿工安全作业,要求算法必须足够简便、稳定,并能在图形处理器()的帮助下进行高速实时计算。为此,本文借鉴了基于均值的背景构建思想(,),并结合该问题的实际背景,发展了一套背景差分算法,详情如下。我们将来自第 时刻、第 通道、坐标()的像素点取值()构建模型为:()()()()()其中,()表示像素点()所对应的固定背景在第 个通道上的长期均值,因为本文所采数据集来自同一摄像头,固定位置、固定角度、固定背景,因此()与时间 无关;()表示第()个像素点,在 时刻受移动物体(如猴车或矿工)影响后,在第 个通道上的像素表达,在大多数时候应取值为,因为没有移动的物体通过;()是相应的纯粹的测量误差
23、,在不同时刻、不同通道、不同像素点位的取值都相互独立。我们假设()(),且存在有限阶矩。为了能够更好地理解模型(),我们尝试对各个重要组成做一个简要展示。首先,考虑对背景()做估计。因为我们假设()(),且存在有限阶矩,因此可以考虑:()()然后,重新构造一张新的彩色图片 (:),并在图 中展示,从中可见凡是可移动的物体(如工人、猴车)都消失不见了。随机挑选一张有矿工乘坐猴车的图片(见图),并用()表示。可以构造一张新的残差图()()()()()()()。如果暂时忽略测量误差项(),那么残差图()应该可以更好地突出移动物体。实际情况也确实如此,图 给出了残差绝对值图片,从中可以凸显移动物体。经
24、济管理学刊 第 卷图 背景差分模型展示注:以一张图片为例,通过背景差分,凸显移动物体,进而提取矿工子图。(三)异常值发现在绝大多数情况下,对于一个给定的像素点位()是没有移动物体存在的,即(),此时模型()简化为()()()。此时分离的残差为()()()()()。假设()服从一个均值为、方差为()的正态分布,此时,只要能对()做出相合估计,那么就可以获得异常值评价的能力。在传统统计学实践中,人们常用矩估计来估计(),即:()()()但是,该估计量对异常值非常敏感。而对本文的研究而言,由于目标物体移动产生的异常值大量存在,因此该矩估计量难以达到稳健的目的。为此,我们考虑用一个全新的中位数估计量,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 自适应 背景 深度 学习 矿山 巷道 不安全 行为 自动识别
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。