1、长春理工大学学报(自然科学版)Journal of Changchun University of Science and Technology(Natural Science Edition)Vol.46No.2Apr.2023第46卷第2期2023年4月收稿日期:2022-09-16基金项目:吉林省重点研发项目(20180201025GX)作者简介:王浩(1996-),男,硕士研究生,E-mail:通讯作者:王劲松(1973-),男,博士,教授,E-mail:soldier_王浩,等:基于近红外图像的自动报靶方法研究基于近红外图像的自动报靶方法研究王浩1,王劲松1,2,高奔1,2,唐卓1,
2、2,杨业涛1,2(1.长春理工大学光电工程学院,长春130022;2.长春理工大学中山研究院,中山528437)摘要:针对传统的自动报靶系统易受环境光照的影响,提出一种基于近红外图像的自动报靶方法。先对靶面图像进行模板匹配、几何校正、裁剪等预处理,再采用直方图均衡化对灰度图像进行增强,得到对比度较高的靶面图像,并提出了一种基于分水岭图像分割的弹孔识别方法,解决了传统自动报靶对字符和环线处理不干净的问题,利用Sober 算子对弹孔边缘检测并计算出弹孔圆心坐标,最后基于线性约束的环值判定算法完成环值判定。实验结果表明:在不同的环境光照下,本文方法弹孔识别准确度可达 93.7%,符合野外射击训练要求
3、。关键词:自动报靶;近红外图像;分水岭算法;图像增强中图分类号:TN911文献标志码:A文章编号:1672-9870(2023)02-0055-08Research on Automatic Target Reporting MethodBased on Near Infrared ImageWNAG Hao1,WANG Jinsong1,2,GAO Ben1,2,TANG Zhuo1,2,YAHG Yetao1,2(1.School of Opto-Electronic Engineering,Changchun University of Science and Technology,Ch
4、angchun 130022;2.Zhongshan Institute of Changchun University of Science and Technology,Zhongshan 528437)Abstract:Aiming at the problem that the current automatic target reporting system based on traditional image processing isgreatly affected by ambient light,combined with the characteristics of nea
5、r-infrared imaging that is not affected by light,thispaper proposes an automatic target reporting method based on near-infrared images.Due to the problems of poor resolution,low contrast and blurred visual effects in the near-infrared image,histogram equalization was used to enhance the grayscaleima
6、ge,and a bullet hole recognition method based on watershed image segmentation was proposed,which solved theproblem of traditional automatic reporting.Targets deal with the problem of unclean characters and ring lines,and the ringvalue judgment of the target is completed by using the ring area featur
7、e mark.Finally,a linear constraint-based ring valuedetermination algorithm is used to complete the ring value determination.The experimental results show that the accuracyof bullet hole recognition can reach 93.7%under different ambient lighting,which meets the requirements of field shootingtraining
8、.Key words:automatic target reporting;near infrared image;watershed algorithm;image enhancement军事射击是解放军战士日常训练必不可少的项目,在射击训练中,大都采用传统的人工报靶方式。每次射击结束后,都由专业报靶人员利用望远设备或者近距离观察靶面1,然后对打长春理工大学学报(自然科学版)2023年靶结果进行记录。但人工报靶这种方式存在很多缺点,例如工作量大、安全性低、报靶效率低等2。随着高新技术的突飞猛进,国内外相继研发出多种自动报靶系统,成功克服了传统人工报靶所存在的问题,极大便利了部队实弹射击训练,
9、对推动军队现代化建设具有普遍意义。国外在自动报靶系统的研究比国内早一些,尤其一些西方军事强国在自动报靶技术上发展得已相对成熟,储备了较为先进的技术。好在国内也成功研制出了首套基于声电定位技术的自动报靶系统3,后续又出现了基于电子靶、光电定位、图像处理等一些自动报靶系统。目前主流的自动报靶系统主要分为光电靶类、光纤编码类、声学类、电子靶面类和图像处理类。光电自动报靶系统可解决两颗子弹前后同时击中一个弹孔时出现漏报的情况,但是对光线要求高,功耗大,稳定性差,不方便移动。声学定位自动报靶系统不受光线影响,报靶精度高,使用寿命长,但是对噪声比较敏感,易受到靶场其他声音的影响。光纤编码自动报靶系统结构组
10、成简单,方便移动,报靶精度高,但是生产成本较高,不适合大批量生产。双层电极短路自动报靶系统不受声音和光照的影响,不限制使用场地,但是对使用次数有限制,不适用于部队训练打靶。电极埋入式自动报靶系统报靶精度还可以,结构简单,易于维护,但是使用成本较高。传统图像处理自动报靶系统报靶精度高,维护成本低,适用范围广,但是对采集的图像质量有要求,受环境光照影响大3-5。近年来,随着图像处理技术的快速发展,基于图像处理技术的自动报靶系统更具优势6。自动报靶系统基于计算机平台,结合了现代电子技术的最新成果,具有识别精度高、统计速度快、成本低等特点。但是,目前基于图像处理技术的自动报靶系统也存在一些缺点7-8,
11、比如对采集的图像质量要求较高,受环境光照影响大,有逆光或者夜间报靶效果不好。在基于传统图像处理的自动报靶系统基础上,本文主要解决环境光照影响自动报靶的问题。在硬件方面,利用近红外相机采集靶面图像,即使是在较差的光线环境中,也能采集较高质量的靶面图像;在图像处理方面,本文提出了一种基于近红外靶面图像的弹孔识别算法,主要由图像预处理、弹孔识别和环值判定三部分组成。通过实验验证了基于近红外自动报靶系统不受环境光照影响,报靶精度高。本文的研究为基于图像处理技术的自动报靶系统提供了一种新的策略。1图像预处理由于摄像机拍摄角度问题和自身的倾斜问题,摄像机所采集的图像会存在一定程度的畸变,为了得到较为完整的
12、胸环靶图,需要对所采集的图像进行预处理,图像预处理流程如图 1 所示。图 1靶面图像预处理流程图1.1模板匹配为下面几何校正做准备,并适应自动报靶的需要,需要在靶面图像中自动获取 4 个定位点。尽管靶面图像有一定的畸变,但是人形特征基本不变,根据这一特点,就可利用基于模板匹配的方法自动寻找四个定位点。模板匹配是一种比较传统的模式识别方法,主要是为了研究某一个特定对象的图案在图像中的位置,达到目标识别的目的。相关法、误差法和二次误差法是常见的模板匹配方法,本文采用相关法做模板匹配。其基本原理是:模板图像T(m,n)叠放在被搜索对象S(W,H)上进行平移,模板覆盖在被搜索图像的区域称为子图,i、j
13、为子图在被搜索图像S上的坐标,搜索范围为:1 i W-n,当子图和模板相同时,相关系数为 1。将全部搜索完成后,最大相关系数对应下的子图就是匹配目标。结合靶面图像特征,本文选用的四个定位点分别是胸环靶的左胸、右胸、左肩、右肩,这四个点特征比较明显,且能更好构成矩形。由于胸环靶的头部会对模板匹配造成干扰,首先对头部进行掩膜,规避模板匹配错误问题。经过对靶面图像进行掩膜和模板匹配后的图像如图 2所示。其中,图 2(a)为采集的原始近红外图像,图 2(b)是对头部掩膜后的图像,图 2(c)是模板匹 配 后 识 别 的 四 个 定 位 点,坐 标 分 别 是(21,310),(508,293),(31
14、.568),(519,567)。1.2几何校正摄像机采集到的图像以梯形失真为主,为提高后续处理的精度,需要对图像进行几何校正。首先是根据 4 个定位点,按照区域最大原则生成矩形,找出最大矩形的 4 个顶点与 4 个定位点的变换关系,计算得到变换矩阵,然后对图像进行空间变换,最后进行灰度插值,输出校正后的图像9。本文采用的地址映射公式为:x=a00+a01v+a10u+a11vu(1)y=b00+b01v+b10u+b11vu(2)以矩阵形式给出的线性最小二乘解为:A=XWT()WWT-1(3)B=YWT()WWT-1(4)式中,A为x方向的线性最小二乘解,B为y方向的线性最小二乘解。采用三次卷
15、积插值函数,具体公式为:Rc()x=1-()a+3|x2+()a+2|x3,0 x 1a|x3-5a|x2+8a|x-4a,a x 2(5)在算法实现中,a的值取“-1”。此外,图片校正后会存在一些无效区域,采用形态学处理的方法对有效区域进行保留,根据该矩形框的参数,对无效区域进行裁剪,保留本文关心的靶面区域即可。为了较为完整地截取出整个靶面区域,实际截取图片时在红色框选出的靶面区域的基础上沿四周扩大 5 个像素截取。再对图像进行灰度处理,最终截取并输出的图像如图 2(d)所示。(a)原图(b)头部掩膜(c)识别四个定点位(d)输出图像图 2图像预处理各阶段可视化结果2弹孔识别经过图像预处理后
16、,得到了包含全部弹孔的完整靶面图像,本节对靶面图像做进一步的处理。弹孔识别是自动报靶系统的关键一环,弹孔识别精确度决定了系统的可靠性和精准度。由于近红外图像分辨率低,视觉效果模糊,在进行弹孔识别前,先对靶面图像进行图像增强,采用基于分水岭算法的弹孔识别方法识别弹孔,采用基于环区面积特征的环区标记方法进行环值判定。然后两路再综合起来,就能计算出弹孔位于具体环区所代表的环值,即中靶成绩,自56中的位置,达到目标识别的目的。相关法、误差法和二次误差法是常见的模板匹配方法,本文采用相关法做模板匹配。其基本原理是:模板图像T(m,n)叠放在被搜索对象S(W,H)上进行平移,模板覆盖在被搜索图像的区域称为
17、子图,i、j为子图在被搜索图像S上的坐标,搜索范围为:1 i W-n,当子图和模板相同时,相关系数为 1。将全部搜索完成后,最大相关系数对应下的子图就是匹配目标。结合靶面图像特征,本文选用的四个定位点分别是胸环靶的左胸、右胸、左肩、右肩,这四个点特征比较明显,且能更好构成矩形。由于胸环靶的头部会对模板匹配造成干扰,首先对头部进行掩膜,规避模板匹配错误问题。经过对靶面图像进行掩膜和模板匹配后的图像如图 2所示。其中,图 2(a)为采集的原始近红外图像,图 2(b)是对头部掩膜后的图像,图 2(c)是模板匹 配 后 识 别 的 四 个 定 位 点,坐 标 分 别 是(21,310),(508,29
18、3),(31.568),(519,567)。1.2几何校正摄像机采集到的图像以梯形失真为主,为提高后续处理的精度,需要对图像进行几何校正。首先是根据 4 个定位点,按照区域最大原则生成矩形,找出最大矩形的 4 个顶点与 4 个定位点的变换关系,计算得到变换矩阵,然后对图像进行空间变换,最后进行灰度插值,输出校正后的图像9。本文采用的地址映射公式为:x=a00+a01v+a10u+a11vu(1)y=b00+b01v+b10u+b11vu(2)以矩阵形式给出的线性最小二乘解为:A=XWT()WWT-1(3)B=YWT()WWT-1(4)式中,A为x方向的线性最小二乘解,B为y方向的线性最小二乘解
19、。采用三次卷积插值函数,具体公式为:Rc()x=1-()a+3|x2+()a+2|x3,0 x 1a|x3-5a|x2+8a|x-4a,a 160(6)式中,k=0.4;f(x,y)为白色填充后像素值;g(x,y)为填充前的像素值。经过白色区域填充后,由图 6(c)、图 6(d)可看出,灰度值大于 150 基本已经被消除,非人形区域、10 字区域已经被消除,正如图 6(a)、图 6(b)所示。(a)白色区域填充前(b)白色区域填充后(c)填充前灰度直方图(d)填充后灰度直方图图 6填充前后灰度直方图对比2.4膨胀处理利用结构元素中心点,依次扫描灰度图四周的像素点,计算该点与结构元素的差值,然后
20、将该点的像素值取为差值最小所对应放入点的像素值。经过灰度膨胀后,灰度值较高的部分得到衰减,弹孔得到增强。与此同时,对比图 7(a)和图 7(b)发现,弹孔的面积也有所增加,但由于获取弹孔坐标是提取弹孔的质心,所以对后续处理影响不大。(a)填充后(b)灰度腐蚀后(c)弹孔边缘检测图 7提取弹孔步骤58(3)计算背景标记。先计算图像的欧几里得矩阵,在此基础上进行分水岭变换,将相邻区域的分界线取出14,从而完成背景标记。(4)分水岭分割。结合标记的前景和背景,修改梯度幅度图像,使得区域中的最小值恰巧在标记上,最后进行分水岭分割。(5)图像输出。先将标记多的像素点变为蓝色,用周围像素填充这些蓝色区域,
21、如图 5(c)所示,环线部分和数字都用蓝色进行标记,再将这部分去除,最终完成图像分割,如图 5(d)所示。(a)原图(b)图像增强后(c)区域标记(d)图像分割后图 5弹孔识别各阶段显著图可视化结果2.3白色区域均值填充经过分水岭图像分割,靶面图像中的环线和字符得到去除,但是非人形区域和中心圆区域的灰度值较高,影响弹孔识别的精度。针对这一问题,本文对该部分白色区域进行填充。公式如下:f()x,y=g()x,y,g()x,y 160ka,g()x,y 160(6)式中,k=0.4;f(x,y)为白色填充后像素值;g(x,y)为填充前的像素值。经过白色区域填充后,由图 6(c)、图 6(d)可看出
22、,灰度值大于 150 基本已经被消除,非人形区域、10 字区域已经被消除,正如图 6(a)、图 6(b)所示。(a)白色区域填充前(b)白色区域填充后(c)填充前灰度直方图(d)填充后灰度直方图图 6填充前后灰度直方图对比2.4膨胀处理利用结构元素中心点,依次扫描灰度图四周的像素点,计算该点与结构元素的差值,然后将该点的像素值取为差值最小所对应放入点的像素值。经过灰度膨胀后,灰度值较高的部分得到衰减,弹孔得到增强。与此同时,对比图 7(a)和图 7(b)发现,弹孔的面积也有所增加,但由于获取弹孔坐标是提取弹孔的质心,所以对后续处理影响不大。(a)填充后(b)灰度腐蚀后(c)弹孔边缘检测图 7提
23、取弹孔步骤王浩,等:基于近红外图像的自动报靶方法研究第2期59长春理工大学学报(自然科学版)2023年2.5弹孔检测经过上面的处理,弹孔特征已经比较明显,为使弹孔信息更加明显,采用 Sober 算子进行弹孔检测。在像素点的x方向和y方向分别进行卷积运算,最后将卷积后的最大值作为输出。GX=121000-1-2-3(7)GY=10-120-210-1(8)式中,GX为x方向的卷积因子;GY为y方向的卷积因子。以f(x,y)为中心的周围3 3邻域上计算像素点x和y的偏导数,公式如下所示:梯度大小为:g()x,y=S2x+S2y(9)式中,Sx为x方向的梯度;Sy为y方向的梯度。取绝对值为:g()x
24、,y=|Sy+|Sy(10)最终计算得到图像的梯度幅值g()x,y,由于靶面图像中存在不闭合的弹孔,需要对靶面图像进行形态学处理。先将图像进行膨胀处理,使弹孔区域连通,再进行腐蚀处理,形成包围线即可,最终的边缘如图 7(c)所示。为方便后面处理,需要计算每个弹孔的质心,质心坐标进行取整运算,所造成的误差在 0.5 个像素单位以内,识别到的弹孔坐标如表 1 所示。表 1弹孔的坐标值弹孔编号1234567行坐标82157165168216281324列坐标2961871423423202182673环值判定本文提出了一种基于线性约束的环值判定算法。该算法基于几何数学的方法,通过确定环区边界,实现了
25、对环区的准确识别,有效避免了同心圆拟合过程中可能出现的拟合误差问题。具体而言,该算法通过靶心作线段与环线相交,确定环线半径,检测出有效区域轮廓的直线,并对环区的线性约束进行建模,从而确定出环值区域。这样,可以精确地判定和识别环区。相对于传统的同心圆拟合方法,该算法具有更高的精度和可靠性。具体处理流程如图 8 所示。预处理后靶面图像开始计算靶心创建环值区域计算环线半径成绩统计结束图 8环值判定(1)靶面图像输入。为了后面的边缘检测的效果更好,将之前进行过图像增强的靶面图像作为输入,经过图像增强后的靶面图像,边界特征会变得更加明显,环线间的边界会更加陡峭,更有利于接下来的处理,如图 9(a)所示。
26、(2)靶心检测。本文采用曲线拟合的方法获取 10 环边缘线上的圆心坐标,其中基于最小二乘法拟合圆是比较常用的方法。对于已知 10 环边缘线上若干点的坐标(x1,y1),(x2,y2),(x3,y3),(xn,yn),建立二次函数进行插值拟合,根据圆心公式求得 10 环圆心坐标(x0,y0)和半径R。(3)环线半径检测。即使经过几何校正的预处理后,靶面图像产生的畸变还未完全消除,部分环线存在畸变,如果还采用 10 环检测半径的方法,会对环值判定的精度产生很大影响。因此,针对靶面环线的特点,过原点直线与环线相交以靶面图像的左上角作为原点,作横轴X,纵轴Y,经过圆心(x0,y0)作垂直于横轴X的线段
27、L,起点圆心(x0,y0),终点是与横轴X相交的a0点,60线 段L与 经 过 分 水 岭 分 割 后 的 环 线 相 交 于a1(x1,y1)、a2(x2,y2)、a3(x3,y3)、a4(x4,y4)、a5(x5,y5)、a6(x6,y6)6 个点,如图 9(b)所示。靶面图像左侧的 四 个 角 点 为a1(xa1,yai)、b1(xb1,yb1)、c1(xc1,yc1)、d1(xd1,yd1),右 侧 的 四 个 角 点 为a2(xa2,ya2)、b2(xb2,yb2)、c2(xc2,yc2)、d2(xd2,yd2),如图如图 9(c)所示。根据这 8 个点计算有效区边界直线l1、l2、
28、l3、l4、l5、l6,如图 9(d)所示,将靶面图像划分为 5 环、6 环、7 环、8 环、9 环、10 环等不同区域。(4)环值判定。对于弹孔的环值判定,通常有两种方法:第一种方法是以离弹孔最近的像素点为准进行判定。如果弹孔刚好落在环线上,取环值较大的成绩作为判定标准,即所谓的“沾边”方法。这种算法的不足之处在于,当弹孔位于相切的靶环线上时,就会出现错误。第二种方法是以“弹心”为判定依据。通过判断弹孔的大部分面积位于哪个区域,只需判定弹孔中心坐标位于哪个区域内即可确定环数。与第一种方法相比,第二种方法更为精确和合理。因此,在本设计中选择采用第二种方法进行环值判定。111(,)a x y00
29、(,)xyX222(,)axy333(,)a xy444(,)a x y555(,)a xy666(,)a x y(a)靶面图像(b)环线半径检测111a(x,y)aa111(x,y)bbb111(x,y)ccc111(x,y)ddd222a(x,y)aa222(x,y)bbb222(x,y)ccc222(x,y)ddd1l5l6l4l3l2l(c)边缘角点(d)有效区边界直线图 9环值判定各阶段显著图可视化结果4实验结果分析4.1成绩统计成绩统计就是统计处理后的靶面图像的环值进行累加,计算出本次打靶的成绩。打靶前,系统需要录入统计姓名、射手编号、枪型等信息,最后打靶结束后,相关信息都会在射击
30、成绩总统计界面一一对应起来,如图 10 所示。图 10射击成绩统计界面4.2精度分析自动报靶系统中的报靶精度直接决定系统的准确性和可靠性。影响自动报靶系统精度的原因主要有两部分:一是相机采集的原始图像,这部分误差主要由环境光照和相机拍摄质量造成;二是靶面区域的弹孔识别精度,这部分弹孔识别由算法决定。该系统针对环境光照问题,利用近红外相机采集近红外靶面图像,克服了可见光相机采集靶面图像时,光线变化以及在黑暗情况下识别靶面图像效果不好的弊端。针对以上情况对自动报靶精度的影响,在早上、中午和晚上三个时间段作了测试,分别针对光线弱、有逆光和轻度黑暗条件下进行对比实验。测试环境为:Windows10 操
31、作系统,酷睿 I5 八核 16 线 程 处 理 器,8 GB DDR4 内 存,MATLAB2018a。相机型号为海康威视 DS-2CD4035FWD,实物图如图 11(a)所示。镜头采用 25 mm 全金属固定光圈镜头,可手动聚焦,近红外滤光片为7801 100 nm,其实物图如图 11(b)所示。(a)相机实物图(b)镜头及滤光片实物图图 11测试设备实物图王浩,等:基于近红外图像的自动报靶方法研究第2期61长春理工大学学报(自然科学版)2023年表 2近红外自动报靶成绩统计时间7:007:207:408:0012:0012:2012:4013:0018:0018:2018:4019:00
32、实际成绩625864575267496354586457近红外565864574567495154585249精度/%90.3100.0100.0100.086.5100.0100.080.9100.0100.081.385.9结合表 2 所示,在光照条件不好的情况下,基于近红外自动报靶系统依旧能保持较高的准确度,报靶精度为 93.7%。本文的近红外自动报靶系统解决了困扰自动报靶系统的环境光照影响问题,能够适应实际训练中的应用要求。5结论近年来,近红外成像技术得到了较大的发展,将近红外技术应用于射击训练中,为自动报靶技术提供了一种新的思路。本文针对传统图像处理报靶系统的缺陷,设计了一种基于近红
33、外图像的自动报靶系统,对系统的各个单元做出了较为深入的研究,完成了图像预处理、弹孔识别和环值判定等多个环节的关键技术性研究。相比较于传统的自动报靶系统,本文提出的自动报靶系统的设计方案,能够适应野外机动打靶训练,成本低廉,充分考虑了打靶环境中的实际需要,能够避免对现有训练场地的改造,在未来的实际应用和批量装备中具有较好的前景。(1)采用近红外相机采集靶面图像,在光线弱、有逆光和轻度黑暗情况下,都有不错的效果。通过实验发现,针对以上三种光照环境,基于近红外报靶系统精度高,满足野外部队打靶需求。(2)提出了一种新的基于分水岭图像分割的弹孔识别算法,解决了传统自动报靶系统对环线、字符处理不佳的问题。
34、(3)提出一种新的基于环区面积的环值判定算法,结合靶面图像的环区特征,完成环区检测。参考文献1胡乐.基于视频分析的多模式自动报靶系统设计D.杭州:浙江大学,2016.2余 梓.基 于 图 像 处 理 技 术 的 弹 孔 定 位 系 统 研 究D.哈尔滨:哈尔滨理工大学,2016.3李佩瑞.基于图像处理技术的自动报靶系统的设计与实现 D.重庆:重庆大学,2014.4尹 乾.基 于 图 像 处 理 技 术 的 自 动 报 靶 系 统 研 究D.重庆:重庆大学,2017.5WOO S M,LEE S H,YOO J S,et al.Improving colorconstancy in an amb
35、ient light environment using thephong reflection model J.IEEE Transactions on ImageProcessing,2017,27(4):1862-1877.6甘重斗.基于图像处理技术的自动报靶系统的设计与实现 D.兰州:兰州大学,20077罗超群.射击训练中的自动报靶和校枪技术 D.广州:华南理工大学,2018.8 张丽霞.基于图像技术的智能报靶系统 D.南京:南京理工大学,20129李梦祺.基于视觉检测的胸环靶自动报靶系统研究 D.沈阳:沈阳工业大学,2018.10 ZHU R,ZHU L,LI D N.Study o
36、f color heritage imageenhancement algorithms based on histogram equalization J.Optik-International Journal for Light and Electron Optics,2015,126(24):5665-5667.11CHEN Z Y,ABIDI B R,PAGE D L,et al.Gray-levelgrouping(GLG):an automatic method for optimizedimage contrast Enhancement-part I:the basic methodJ.IEEE transactions on image processing,2006,15(8):2290-2302.12周健.基于机器视觉技术的自动报靶系统研究D.长沙:湘潭大学,201413FENG Y C,ZHAO H Y,LI X F,et al.A multi-scale3D Otsu thresholding algorithm for medical image segmentationJ.Digital Signal Processing,2017(60):186-199.14 谢小亮.基于图像处理技术的自动报靶系统 D.重庆:重庆大学,201262