单目视觉融合激光投射的无人机障碍探测方法_刘峰.pdf
《单目视觉融合激光投射的无人机障碍探测方法_刘峰.pdf》由会员分享,可在线阅读,更多相关《单目视觉融合激光投射的无人机障碍探测方法_刘峰.pdf(9页珍藏版)》请在咨信网上搜索。
1、文章编号:1002-2082(2023)01-0202-09单目视觉融合激光投射的无人机障碍探测方法刘峰1,2,汪瓒1,2,王向军1,2(1.天津大学精密测试技术及仪器国家重点实验室,天津300072;2.天津大学微光机电系统技术教育部重点实验室,天津300072)摘摘 要:要:针对微小型无人机在飞行作业任务中的主动避障需求,提出一种用于微小型无人机避障的、基于单目视觉与主动激光点阵投射的障碍探测方法。使用单目相机采集投射的激光点阵图案,经过图像分割、聚类、质心提取等处理过程,通过像面激光线方程约束快速排除特征一致激光点的歧义,使用激光点探测出无人机前方空间中障碍的方位信息。实验验证装置在基线
2、距离为65mm,工作距离为 7m 的条件下,障碍探测的相对误差在 1.5%以内。该方法精度高、时间复杂度低,可满足低算力的微小型无人机对障碍探测方法的需求,为进一步避障策略的生成提供数据支撑。关键词:关键词:障碍探测;微小型无人机;单目视觉;空间方位中图分类号:TN206文献标志码:ADOI:10.5768/JAO202344.0107002Obstacles detection method for UAV based on monocular visionand laser projectionLIUFeng1,2,WANGZan1,2,WANGXiangjun1,2(1.StateKey
3、LaboratoryofPrecisionMeasuringTechnologyandInstruments,TianjinUniversity,Tianjin300072,China;2.KeyLaboratoryofMicroOpticalElectroMechanicalSystemTechnology(MinistryofEducation),TianjinUniversity,Tianjin300072,China)Abstract:Inordertomeettherequirementofactiveobstacleavoidanceofmicrominiatureunmanned
4、aerialvehicle(UAV)inflightmission,anobstaclesdetectionmethodbasedonmonocularvisionandactivelaserlatticeprojectionofmicrominiatureUAVforobstaclesavoidancewasproposed.Theprojectedlaserlatticepatternswerecollectedbyamonocularcamera,andthroughtheprocessesofimagesegmentation,clusteringandcentroidextracti
5、on,theambiguityofthecharacteristicconsistentlaserpointwasquicklyeliminatedbytheconstraintofthelaserlineequationoftheimageplane.ThelaserpointswereusedtodetectthedistributionofobstaclesinthefrontspaceoftheUAV.Theexperimentalresultsshowthattherelativeerrorofobstaclesdetectioniswithin1.5%whenthebaseline
6、distanceis65mmandtheworkingdistanceis7m.Theproposedmethodhashighaccuracyandlowtimecomplexity,andcanmeettherequirementsforobstaclesdetectionmethods of microminiature UAV with low computing power,which provides the data support for thegenerationoffurtherobstaclesavoidancestrategies.Key words:obstacles
7、 detection;microminiature unmanned aerial vehicle;monocular vision;dimensionalorientation引言近年来,微小型无人机因其体积小、机动能力强的优势在民用、军用领域得到广泛应用,但其本身对机载设备的体积、重量等参数有着严苛的要收稿日期:2022-05-10;修回日期:2022-06-13基金项目:国家自然科学基金面上项目(51575388)作者简介:刘峰(1978),男,博士,主要从事图像分析与计算机视觉、光电传感与探测方面的研究。E-mail:通信作者:汪瓒(1997),男,硕士研究生,主要从事无人机避障、视觉
8、测量方面的研究。E-mail:sang_第44卷第1期应用光学Vol.44No.12023年1月JournalofAppliedOpticsJan.2023求,在自动避障方面为机载障碍探测系统设计带来了一些挑战1-6。在目前已有的障碍探测方法中,文献 7 使用二维激光雷达作为障碍探测手段获取环境信息,将三维空间的避障问题简化成二维,不考虑无人机在垂直地面方向上的移动,因使用了激光雷达,具有精度上的优势;文献 8 使用单线结构光作为障碍探测手段,同样不考虑垂直地面方向上的移动,能够测量出无人机飞行过程中前方障碍物的距离、方位角度和宽度;文献 9融合了深度相机和激光雷达作为障碍探测手段,利用 SL
9、AM(同步定位与建图)算法,将空间中的障碍物信息建成地图,取得了良好的避障效果:上述3 个方法存在一个共同的问题,因为分别涉及到激光点云处理、线结构光图像、深度 SLAM 算法处理,数据量和计算量庞大,在搭载了计算性能较强平台的中大型无人机上或在离线任务中会有比较好的表现,但在实际应用中很难将这些方法使用到微小型无人机在线任务当中,不能满足计算快的要求。文献 10 使用双目视觉系统作为障碍探测手段,在基线距离为 120mm 的条件下,可用于5m 内的障碍探测,但双目视觉系统不能应用于纹理特征少或光照条件差的环境当中,且要提高精度则势必要增加传感器的体积,难以满足通用性和小型化的要求。在技术已经
10、成熟的工业产品中,英特尔公司的 RealSense 深度摄像头用到了散斑测量的原理11,体积小、输出帧率较高,已得到广泛应用,但此测量方法的工作距离极其有限,如2020 年发布的 D455 型在基线距离超过 100mm 情况下,能够保证 2%测量相对误差的工作距离仅为4m,难以满足通用性的要求。基于以上分析,本文提出了一种单目视觉融合激光投射的无人机障碍探测方法,投射激光点阵图案,使用单目相机采集图像,通过像面激光线方程约束快速排除特征一致激光点的歧义,实现使用投射激光点阵图案解决单目歧义性的效果,输出前方空间中多个投射激光点的位置坐标,为微小型无人机实时生成避障策略提供数据保证。1 多点激光
11、投射单目视觉测量模型本文中相机模型采用了针孔摄像机模型,由相机坐标系到像素坐标系的映射可以用(1)式表示:Zcuv1=fx0u000fyv000010XcYcZc1(1)(Xc,Yc,Zc)(u,v)fx,fy,u0,v0M1fx,fyxy(u0,v0)式中是激光点在相机坐标系下的位置坐标,是激光点成的像在图像坐标系中的坐标,而矩阵中的是相机内参矩阵的参数,分别代表 轴和 轴上的归一化焦距,则是图像中心,这 4 项参数通过相机标定得到。将(1)式的第一行单独提取出来可得:Zcu=fxXc+u0Zc(2)空间中直线方程的一般表达形式为XcXc0l=YcYc0m=ZcZc0n(3)(l,m,n)(
12、Xc0,Yc0,Zc0)k1=ln,b1=Xc0lnZc0,k2=mn,b2=Yc0mnZc0(3)式称为空间直线的标准方程,在标准方程中,为直线的方向矢量,为直线上的已知点。设,则可将(3)式改写为Xc=k1Zc+b1Yc=k2Zc+b2(4)k1,b1,k2,b2Xc这里的这 4 个参数皆通过激光线方程标定获得,(4)式在几何意义上代表了空间中2 个平面的交线12。与(1)式联立消去可得:uu0fxZc=k1Zc+b1(5)整理得:Zc=b1fxuu0k1fx(6)类似地,也可以得到Zc=b2fyvv0k2fy(7)k1,b1,k2,b2(u,v)ZcXcXc,Yc(Xc,Yc,Zc)式中
13、的这些参数为空间激光的结构参数,4 个参数确定了唯一的一条空间激光直线,通过空间激光点阵标定获得。只需要获得激光点的像在图像坐标系下的坐标,即可通过(6)式或(7)式求得激光点的深度信息,在实际应用中,需根据激光器和相机的不同安装方式选择不同的深度信息计算公式。若相机光学中心与激光器中心的连线与相机坐标系的轴夹角更小,则使用(6)式进行计算,反之则使用(7)式。再由(4)式或(1)式即可求得,进一步得到激光点在相机坐标系下的坐标。若投射出多束激光线,就可以得到多个投射到障碍物上形成的光点,从而估计出视野中障碍物的方位信息。为获得多束激光线,本文在激光器前方安装分束光栅,可将单束激光线变为 9
14、点圆环图案的激光投射图案,如图 1 所示。为便于后文表述,将中心的点记为“中心 0 号激光点”,其上方的点记为应用光学2023,44(1)刘峰,等:单目视觉融合激光投射的无人机障碍探测方法203“1 号激光点”,按照顺时针顺序,将剩余点分别命名为 2 号8 号激光点。1 号点2 号点0 号点图 1 9 点激光图案Fig.1 Laser pattern of nine points2 多点激光投射单目视觉测量系统标定视觉系统的标定主要包括相机参数标定和空间激光点阵图案的标定。2.1 系统标定总体流程1)准备一个张氏标定法的棋盘格靶标,棋盘格的大小已知,用待标定的相机拍摄若干张摆放成各种角度的棋盘
15、格靶标的图像,记为 A 组图像。2)开启激光器,摆放棋盘格靶标使激光点落在靶标上,拍摄各个角度带有激光点的棋盘格靶标的图像,并记为 B 组。此处需要保证对于每一个激光点(如中心 0 号激光点),需要采集至少 2 张带有该激光点的棋盘格靶标图像,此外若考虑使标定结果尽可能小地受到随机误差和粗大误差的影响,减小激光点对棋盘格角点提取的干扰,需要采集 10 张以上的图片。M13)利用上述 A 组和 B 组图像,使用张氏标定法13标定相机的内部参数矩阵。(Xw,Yw,Zw)4)对于 B 组的每一张图像,提取出激光点的中心,另外图片中激光点中心在棋盘格靶标上的世界坐标是已知的。M2(Xc,Yc,Zc)5
16、)通过张氏标定法得到 B 组每一张图片的外部参数矩阵,该矩阵与上一步中得到的世界坐标相乘,得到 B 组每一张图片上激光点在相机坐标系下的坐标。6)针对投射图案的 9 个光点,使用最小二乘法得到每一个光点所在空间直线的方程,每个方程包含 4 个参数,总计得到 9 组共 36 个参数。2.2 相机参数标定M1k1,k2k1,k2p1,p2M2相机参数标定,主要是确定相机的内参矩阵,用于后续计算;确定径向畸变参数(此处仅代表相机的径向畸变参数,与空间激光点阵图案标定中的无关)和切向畸变参数,对图像进行畸变校正;确定外参矩阵,用于计算 B 组每张图像中的标定板坐标系相对于相机坐标系的位姿,从而得到标定
17、板上的激光点的位置信息,用于空间激光点阵图案的标定。2.3 空间激光点阵标定使用位于不同位姿的棋盘格靶标图像以及得到的靶标上的激光点位置,即可通过多张图像中的激光点空间坐标拟合得到激光点阵图案中每个点所在激光线的空间直线方程。由 1.1 节模型推导可知,相机坐标系下的空间直线方程在几何意义上可以表示为空间中 2 个平面的交线,用方程表示为(4)式的形式。利用离差平方和最小的原则确定方程中的参数,即令QX=(Xcik1Zcib1)2QY=(Ycik2Zcib2)2(8)QX取值最小,将经过变形和整理,可得:QX=n(b1(Xck1Zc)2+(ZciZc)2k1(ZciZc)(XciXc)(Zci
18、Zc)22(ZciZc)(XciXc)2(ZciZc)2+(XciXc)2(9)(ZciZc)(XciXc)2(ZciZc)2+(XciXc)2k1,b1QXn(b1(Xck1Zc)2(ZuiZc)2kq(ZcZc)(XciXc)(ZciZc)22(9)式 的 后 两 项与无关,为常数项,若要使最小,则需要令和两项分别为 0,由此可以得到:k1=nXciZciXciZcinZ2ciZciZcib1=Xck1Zcin(10)QY同理通过令最小,可以得到:204应用光学第44卷第1期k2=nYciZciYciZcinZ2ciZciZcib2=Yck2Zcin(11)k1,b1,k2,b2将 2.1
19、 节中通过步骤 5)得到的各组激光点的坐标分别代入(10)式和(11)式即可求得激光点阵图案的结构参数,这样的参数有 9 组。3 基于像面激光线方程约束的激光点阵图像处理和质心提取单目相机采集的 RGB 图像中包含了大量的无关信息,障碍探测的关键是从 RGB 图像中提取出9 个激光点质心的像素坐标信息代入(6)式进行计算。图像处理和激光点质心提取过程可分为 3 个步骤,分别是:1)将 RGB 图像转化到 L*a*b*色彩空间,在 L*a*b*色彩空间上进行激光点阵图像的分割;2)使用种子生长法将分割出的激光点阵图像进行光斑聚类和质心提取;3)使用像面激光线方程约束排除杂光斑和光点缺失的干扰,将
20、提取出的光斑质心与激光点一一匹配。3.1 基于 L*a*b*色彩空间的激光点阵图像分割方法为了提取图像中的激光点信息,需要将图像进行分割,因为无人机工作环境中色彩、光照条件复杂,使用基于 RGB 色彩空间的阈值分割方法难以取得好的分割效果。本文使用基于 L*a*b*色彩空间的图像分割方法,L*a*b*色彩空间是一个三维的色彩空间,具有 L*、a*、b*三个基本分量。其中L*分量代表亮度,L*=0 时指示黑色,L*=100 时指示白色;a*分量和 b*分量理论上是无界的,但在计算机中一般用一个有限范围之间的值来表示,a*0 时,绝对值越大越趋向于指示绿色;b*0 时,绝对值越大越趋向于指示黄色1
21、4。L*a*b*色彩空间的这种特点非常适合用于激光图像的分割:激光光斑的特征一般是中心亮度极高,边缘带有少量色彩信息。在 L*a*b*色彩空间中,激光光斑中心的 L*分量接近 100,便于分割出激光光斑的中心部分;另外最常用的激光器光源主要有波长为 650nm 的红光、520nm 的绿光、450nm 的蓝光等,而使用 a*分量或 b*分量其一即可有效地分割出激光光斑边缘的色彩信息。RGB 色彩空间到 L*a*b*色彩空间的转换如(12)式:Csrgb=C255(12)CR,G,BCsrgbRsrgb,Gsrgb,Bsrgb式中:代表三个分量的其中之一,代表标准化后的三个分量的其中之一。Clin
22、ear=Csrgb12.92,Csrgb 0.040 45(Csrgb+0.0551.055)2.4,Csrgb 0.040 45(13)ClinearRlinear,Glinear,Blinar式中代表三个分量的其中之一。XYZ=0.412 40.357 60.180 50.212 60.715 20.072 20.019 30.119 20.950 5RlinearGlinearBlinear(14)L=116f(Y100)16a=500f(X95.048 9)f(Y100),b=200f(Y100)f(Z108.884 0)where f(t)=3tif t 3t32+429otherw
23、ise,=629(15)L84.639,99.655,b 9.691,7.890经 过 多 组 实 验 对 比,使 用 经 验 取 值可取得较好的分割效果,得到包含激光光斑信息的二值图像,如图 2 所示。(a)本文视觉系统所采集图像的一部分(b)基于L*a*b*色彩空间的图像分割结果图 2 原始采集图像与基于 L*a*b*色彩空间的图像分割结果Fig.2 Original acquired image and image segmentationresults based on L*a*b*color space3.2 基于种子生长法的激光光斑聚类和质心提取方法(u,v)对 RGB 图像进行了
24、图像分割后,形成了包含激光光斑信息的二值图像,还需要对分割出的激光光斑进行聚类操作,以确定图像中哪些像素的激光图像是同一束激光束产生的,并提取其质心作为该激光光斑的中心点,将中心点坐标代入(6)式计算出激光光斑相对单目相机的空间位应用光学2023,44(1)刘峰,等:单目视觉融合激光投射的无人机障碍探测方法205置。激光光斑聚类过程可以简述为:(1,1)1)从图像坐标开始遍历包含激光光斑信息的二值图像,直至遇到白色像素点,将该像素点的坐标作为种子点入栈并编号;2)判断栈是否为空,若不为空,则弹出栈顶元素,判断该像素点坐标附近的 8 连通像素点是否也为白色,若为白色,则编同样的序号,并将这样的像
25、素点的坐标入栈;3)直至栈为空,下一次遍历到白色像素点时的序号+1;4)遍历完成后,形成该二值图像的“编号标记矩阵”,尺寸与原图像相同,并包含有不同光斑聚类的编号信息15;5)遍历编号标记矩阵,对具有相同编号的像素点的横坐标、纵坐标分别求平均,即可得到每个光斑聚类的质心点坐标。图 3 是将上节分割后的图像进行基于种子生长法的激光光斑聚类和质心提取之后的结果,图中用不同颜色的星号表示了各个光斑的质心位置。图 3 激光光斑聚类和质心提取结果Fig.3 Results of spot clustering and centroid extraction3.3 像面激光线方程约束下的特征一致光点快速搜
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 目视 融合 激光 投射 无人机 障碍 探测 方法 刘峰
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。