无人机晃动下基于相位的视觉振动检测_周勇.pdf

第 卷 第期 年月合 肥 工 业 大 学 学 报（自 然 科 学 版）（）收稿日期：；修回日期：基金项目：安徽省科技重大专项资助项目（）；安徽高校协同创新资助项目（）作者简介：周勇（），男，贵州遵义人，合肥工业大学硕士生；杨学志（），男，安徽合肥人，博士，合肥工业大学教授，博士生导师，通信作者，：无人机晃动下基于相位的视觉振动检测周勇，杨学志，臧宗迪，王金诚，吴克伟，（合肥工业大学 计算机与信息学院，安徽 合肥 ；工业安全与应急技术安徽省重点实验室，安徽 合肥 ；合肥工业大学 软件学院，安徽 合肥 ）摘要：针对无人机平台视觉振动检测不准确的问题，文章提出一种抗无人机晃动的视觉振动检测算法，用于实现无人机拍摄镜头不稳定情况下的振动检测。该算法利用目标振动的局部性和无人机晃动的全局性，从源视频的混合信号中提取出目标振动。首先根据像素点亮度变化的剧烈程度实现目标振动区域与背景区域的分离；其次对图像的背景区域进行特征点提取，并求解背景区域的运动矩阵；然后对目标区域进行运动矫正，去除其包含的背景信号分量，即晃动信号分量；最后提取目标振动区域的局部相位序列，构建振动信号，并检测其振动频率。为了验证该算法的准确性，使用无人机在不同晃动幅度下拍摄多组视频并检测其振动频率。实验结果表明，该算法具有较高的准确性与鲁棒性，能够有效去除无人机晃动干扰，准确提取出视频中的目标振动信号。关键词：视觉测量；振动检测；无人机；可控金字塔中图分类号：文献标志码：文章编号：（），（，；，；，）：（），：；（）；引言物体的振动特征能够反映该物体的某些本质属性。比如，桥梁等大型建筑的振动特征反映其结构健康状况，螺栓等连接件的振动参数反映出工厂设备的运行状态，人体呼吸的振动特征反映了人类的情绪和健康状况。基于视觉的振动检测方法具有便捷与低成本的优势，且能够避免接触式传感器对目标振动产生的干扰，受到国内外学者的广泛关注。视觉振动检测系统利用相机捕捉目标振动视频，将三维图像信号转换为振动信号，进而获取振动频率等参数。固定相机能够完成小范围、地面位置的目标振动测量，然而对于桥梁等大型基础设施的振动检测，固定位置的视觉测量系统则难以实现。这种情况下，通常需要使用多个相机布置测点，相机的部署位置、测量视角等都需要精确计算；此 外，实 际 环 境 中 某 些 位 置 并 不 适 合 架设相机。无人机技术的发展为这一问题提供了可能的解决方案，通过无人机搭载相机进行拍摄，能够克服相机部署位置的局限性。然而，无人机在飞行过程中受到气流的影响会产生随机晃动，造成所拍画面不稳定，无人机平台的视觉振动检测系统需要克服这一问题。对于结构的振动变化，近年来有研究将欧拉视角下的相位分析法应用于振动检测。文献 将基于相位的运动分析法与欧拉视角相结合，实现了全场运动估计。图像的相位信息相对于亮度信息，对环境光照变化和图像噪声表现出更高的鲁棒性。文献 使用基于相位的振动提取方法，通过高速摄像机测量悬臂梁、金属杆以及民用基础设施的微小振动，并开展大量的实验验证了该方法的可行性；文献 采用基于相位的振动信号提取算法测量了金属杆等材料的模态频率；文献 使用基于相位的运动估计和放大方法测量了风力机叶片的谐振频率；文献 在基于相位的运动处理框架上实现目标的振动模态分解，并在实验室搭建的小型建筑结构上进行了验证；文献 对原有的相位振动检测方法进行了改进，简化了振动波形的提取过程。然而，上述研究所提出的算法只适用于稳定的相机，当应用于无人机平台时，会因气流所引发的相机晃动而失效。对于无人机平台的振动检测，有学者使用特征点追踪的方式实现。文献 利用无人机搭载相机拍摄实验室桥梁模型，检测图像特征点并求解运动矩阵，进而测量目标的振动时程、频率等参数。这两项研究均假设图像背景区域的运动信号反映无人机晃动，并通过手动选取背景特征点提取干扰信号，完成运动校正，从而准确测量目标振动。但是，特征点追踪的运动分析方法本质上基于亮度信号，对光照变化和图像噪声较为敏感；并且这两项研究中，背景特征点依赖于手工选取，引入了很大的工作量。文献 使用无人机捕捉地面人体的呼吸振动信号，首先对无人机所拍摄的视频进行稳像处理后，然后通过基于相位的运动信号提取方式完成呼吸振动检测。然而，稳像算法可能会抑制目标振动信号本身，从而影响检测结果的准确性。本文提出一种抗无人机晃动的视觉振动检测算法。该算法基于局部相位的信号提取方式，利用晃动信号的全局性和目标振动信号的局部性对信号进行分离。首先根据像素点亮度变化剧烈程度实现目标振动区域与背景区域的分离；其次对图像的背景区域进行特征点提取，并求解背景区域的运动矩阵；然后对目标区域进行运动矫正，去除其包含的背景信号分量，即晃动信号分量；然后提取目标振动区域的局部相位序列，构建振动信号，并检测其振动频率。实验结果表明，该算法能够有效去除无人机晃动干扰，实现无人机在晃动情况下的振动检测。本文算法本文提出的无人机晃动下的视觉振动检测算法以局部相位提取振动信号为基础，以相位的运动信号提取方式处理振动信号，根据振动区域亮度变化更为剧烈这一特征，定位出振动区域；然后对图像背景区域进行特征点提取，得出背景点的运动矩阵，即无人机在气流等影响下产生的晃动信号的运动矩阵，通过这个运动矩阵对目标区域进行矫正，消除无人机晃动的影响；最后提取目标区域的局部相位序列，构建振动信号并检测目标区域的振动频率。本文所提算法的流程框图如图所示，包括个主要步骤：（）振动目标定位与分离；（）无人机晃动信号矫正；（）基于相位的振动信号提取。第期周勇，等：无人机晃动下基于相位的视觉振动检测图本文算法流程振动目标定位与分离分离目标区域与背景区域，一方面是为了增强所提取振动信号的纯净度，另一方面是为了利用背景特征点对无人机晃动信号建模。像素点的位置变化可以与其亮度变化相对应，即图像的运动信息可以由其亮度信息来表示，因此本文根据像素点亮度变化特征识别目标点与背景点。目标像素点的运动由目标自身振动引起，而背景像素点的运动则对应无人机的晃动。本文做以下个假设：无人机自身的晃动信号，相比较于振动信号，在时间域上是线性的；振动信号包含高阶运动分量，不具备线性变化特征。二阶差分滤波使用二阶差分滤波的方式可实现振动点与背景点的分离。表示视频的第帧图像；（，）为图像任意一点坐标；（，）为视频第帧图像（，）点所对应的亮度信号，为视频总帧数，则滤波后信号（，）可表示为：（，）（，）（，）（，）（）目标点的亮度时间序列通过该滤波器后，仍有较大的能量剩余；背景点的亮度时间序列经过二阶差分滤波后则大幅衰减。实验时选取的不同位置如图所示，图中：点代表振动区域的点；、点代表非振动区域的点。、点 的 亮 度 序 列（，）及其滤波后信号的亮度序列（）如图所示。由图、图 可知，点在滤波前由振动信号与无人机晃动信号的叠加，在亮度上变化比较明显，亮度时间序列变化比较剧烈，在经过二阶差分滤波后还存在大量的能量残余。由图、图 可知，点只有无人机晃动信号，因此点属于平坦区域，点的亮度时间序列趋于一个常量，并且变化并不明显，经过二阶差分滤波之后可以看出几乎没有能量残余。由图、图 可知，点处于导线边缘，在只有无人机晃动的信号下才会有亮度变化的较大波动。图振动区域与非振动区域合肥工业大学学报（自然科学版）第 卷图点滤波前后亮度序列从图、图 还可以看出，通过二阶差分滤波器的亮度序列趋于，由此可知，二阶差分滤波对于滤除线性运动，找寻有振动的区域是有效的。基于能量的目标分离在对图像进行二阶差分滤波后，用（，）表示某一位置（，）处滤波后亮度信号的能量大小，则有：（，）（，）（）根据整幅图像滤波之后的能量大小，构造振动能量矩阵：（，）（，）（，）（，）（，）（，）（，）（，）（，）（）矩阵表示图像中每个位置所含振动信号的强弱，然后以为阈值实现（，）的二值化：（，）（，），（，）；，（，）（）通过（）式实现矩阵的二值化（）。的选取依赖于经验，一般取 .（，）。完成以上操作后，二值图像中可能包含振动信号的点会被置，背景点则会被置。采用图像形态学操作，去除中面积过小的连通区域，得到修饰后的振动能量矩阵。一方面由于在视频画面存在晃动时，振动目标通常会扫过一块较大的 面 积，另 一 方 面 为 了 便 于 后 续 处 理，将的非零区域扩展为小矩形块，从而得到表征振动目标的模板矩阵。将模板矩阵与视频的每帧图像相乘即可分离出目标振动区域与背景区域。具体如图所示。图振动目标定位目标区域晃动信号校正无人机晃动引发图像背景产生整体运动。对图像背景区域进行运动特征的分析则能够实现对无人机晃动信号的估计，处理过程使用角点检测算 法（，）与 特 征 点 提 取 算 法（，）算法实现背景区域特征点的检 测 和 匹 配，通 过 采 样 一 致 估 计（，）剔除误匹配点。完成全局运动模型的建立并构建得到仿射变换矩阵，然后对目标区域进行矫正。具体实现方法如下。特征点提取根据目标点与周围点的灰度差来确定特征点，算法步骤如下：从图片中选取一个目标像素点，设其像素值为；设定一个合适的阈值；选取 个以目标像素点为中心，半径为的像素点，像素值分别记为，；满足判决函数有连续的个像素点的那个像素点即为角点。判决函数为：（）特征描述与匹配 算法 的采样结构为、，其中代表每层中有个采样点并且这个采样点在一个同心圆上，一共有个同心圆，第期周勇，等：无人机晃动下基于相位的视觉振动检测最后的表示特征点。采用二进制编码描述特征点，用为编码特征；为采样点对；为期望的二进制编码长度，（）表示采样点对中前一个采样点的像素值，（）表示后一个采样点的像素值，则：（）；（）（），（）（）；，其他（）在特征描述中，得到了 的二进制描述符，该描述符的列是方差由高到低的排列，高方差表征模糊信息，低方差表征细节信息。因此，选取前 （即 字节）进行匹配，若个待匹配的特征点前 字节距离小于设定的阈值，则再用剩余的比特位进行匹配。最终得到视频任意两帧图像之间的匹配点集。矫正目标区域完成背景区域的特征点检测和匹配后，使用 算 法 完 成 全 局 运 动 模 型 的 建 立。可以自动判断出正确的匹配点对（内点），剔除误匹配（外点），并且计算出第幅图像的所有特征点映射到第幅图像的运动模型。该模型由如下一个的矩阵描述，即（）其中：（，）为平移量；（，）为控制图像的旋转和缩放。为了简化计算，使用以下只有个参数的变换矩阵来代替仿射变换矩阵：（）对求逆，可以消除两帧图像之间背景区域的整体运动。用表示第帧图像背景区域和第帧图像背景区域之间的映射关系，则可以由上述帧与帧之间的变换矩阵累积表示如下：（）所求描述了背景区域的运动，即实现了无人机晃动信号的估计。可用来对目标振动区域进行校正，去除其包含的无人机晃动分量，保留振动分量。设表示第帧目标振动区域，（，）为其任意一点，（，），表示校正变换，则有：（）其中，（，）为校正后的点坐标。将目标区域的所有点完成校正，得到（）。基于相位的振动信号提取完成对目标区域晃动信号矫正后，需要提取振动信号，提取流程如图所示。首先在空间上，使用复数可控滤波器组对视频的每一帧进行不同尺度、不同方向的子带分解，获取到相位变化序列；然后在时域上滤除相位序列的直流分量，滤波后的相位序列即为目标振动信号；对振动信号进行傅里叶变换，检测其幅频响应函数峰值，即可得到振动频率，算法原理如下。傅里叶变换获取到的空间全局相位与图像的整体运动相关，与之类似，空间局部相位可以用来计 算 局 部 运 动。复 可 控 金 字 塔（，）可以实现空间局部相位的提取。本文以一维全局傅里叶基为例说明振动与相位之间的关系，用（）表示位置处的图像亮度，进行傅里叶级数展开，表示每个子带的空间频率，则有：（）（）用（）表示振动引发的位置变化，则有：（）（）（）其中每个子带可以表示为：（，）（）（）由于每个子带都是复指数函数，相位（）含有运动信息。滤除其直流分量，得到相位变化信号（，）（），（，）为位置处的振动信号。复可控金字塔可以将视频的每一帧亮度信号分解为不同尺度、不同方向的局部相位，这些处理后的局部相位信号可提取出视频中的目标振动。用，表示某一空间尺度、某一方向的复可控滤波器，则有：（，）（，），（，）（，）（）其中：（，）为复可控滤波得到的局部幅值；（，）为复可控滤波得到的局部相位。滤除（，）的直流分量，即可得到振动信号（，）。经 傅 里 叶 处 理 后，可 得 峰 值 振 动 频 率为：合肥工业大学学报（自然科学版）第 卷 （）（，）（）其中：（）为变换后得到的幅度求最大值；表示对变量（即时间）做傅里叶变换。实验结果与分析实验设备及数据实验系统由台 无人机、台 扫 频 信 号 发 生 器 和 台 模态激振器组成。使用信号发生器模拟真实场景中电机等设备的不同振动频率，使用无人机在不同晃动幅度下拍摄激振器视频，测量激振器顶端杆的振 动 频 率。无 人 机 所 拍 视 频 的 分 辨 率 为 像素 像素，帧率为 帧。通过手动操纵遥控杆可使无人机产生种不同幅度（小幅、中幅、大幅）的晃动，其中小幅晃动由无人机静止拍摄产生。使用无人机拍摄激振器振动视频，拍摄时长为。计算多个特征点在不同帧的坐标间的欧式距离，选择最大距离作为无人机晃动幅度的估计。按照无人机晃动程度的不同将实验视频分为组：组别（晃动幅度 像素）、组别（晃动幅度 像素）、组别（晃动幅度 像素）。激振器的振动频率可通过信号发生器调节，将激振器频率分别设置为.、.、.，每个频率点拍摄 段视频，一共采 段视频作为实验数据集。实验场景如图所示。图实验场景评价标准（）平均绝对误差，用来反映所测频率与真实频率的绝对误差平均值，计算公式为：（）其中：为该组实验视频的数量；为序号为的视频测得的频率值；为序号为的视频的真实频率值。（）均方误差 ，用来反映在多次测量结果中，检测频率偏离真实频率的程度，计算公式为：（）（）实验结果验证实验本文使用对真实频率为 的激振器进行频率检测，从不同晃动幅度的组视频中各选取段视频进行处理，生成的频谱图如图所示。图不同晃动幅度检测频谱对比从图可以看出，组别测得的峰值频率为 ，组别为 ，组别为。结果表明，本文算法在不同晃动幅度下均能准确测得振动信号，当晃动幅度增大时，误差相应增大。为了进一步验证本文算法的检测效果，计算种晃动幅度、种振动频率下的平均绝对误差和均方误差，对采集的全部 段视频进行频率检测，结果见表所列。表本文算法检测结果组别 组别 组别 组别 由表可知本文算法的平均绝对误差控制在 以内，均方误差不超过 。对比实验将本文算法与文献 使用的相位检测算法、文献 使用的特征点追踪算法、文献 使用的稳像后相位提取算法进行频率检测对比。组别中振动频率为 的视频在各方法下的频率检测结果如图所示。从图可以看出，文第期周勇，等：无人机晃动下基于相位的视觉振动检测献 、文献 、文献 算法的峰值频率分别对应、，而本文算法检测结果为 。相比于本文算法，其他种算法都存在较大误差。由该组实验可以看出，本文算法能够有效去除无人机晃动干扰，准确提取出视频中的振动信号，相比于其他算法的检测结果，本文算法的误差更小。为了进一步对比上述算法的检测效果，对采集的全部 段视频进行频率检测，检测结果见表表所列。图 下不同算法频率检测对比表 像素晃动下检测结果 算法 文献 文献 文献 本文算法 文献 文献 文献 本文算法 文献 文献 文献 本文算法 表 像素晃动下检测结果 算法 文献 文献 文献 本文算法 文献 文献 文献 本文算法 文献 文献 文献 本文算法 表 像素晃动下检测结果 算法 文献 文献 文献 本文算法 文献 文献 文献 本文算法 文献 文献 文献 本文算法 从表表可以看出，对比文献 、文献 、文献 算法，分别在、下对应个不同幅度无人机晃动的检测结果，发现本文算法均优于另外种算法。实验分析本实验对本文算法与文献 、文献 、文献 种算法进行准确性分析，结果见表 所列。表准确性分析算法总体 总体 文献 文献 文献 本文算法 从表可以看出，本文算法取得了最佳的检测效果，分组平均绝对误差和均方误差均保持在 的范围内，总体平均绝对误差为 ；文献 算法检测性能次之，总体平均绝对误差 ；文献 算法整体检测性能欠佳，总体平均绝对误差超过了；而文献 算法整体误差过大，超过了可接受的范围，因此可判定该算法对于无人机晃动下的振动检测失效。原因在于：文献 不加区分地将全场运动信号转化为相位信息，未处理相机晃动，引入了大量低频干扰，导致目标振动信号被湮没；文献 算法通过手动选定背景特征点实现运动矫正，保留了振动信号，但由于其采用基于亮度特征的振动提取方式，因而其振动检测准确性上低于本文的相位检测法；文献 算法虽然针对无人机引发的相机晃动进行了稳像处理，但是由于其未区分目标振动信号和晃动信号，从而导致振动信号合肥工业大学学报（自然科学版）第 卷产生了畸变。本文算法实现了振动和背景区域的分离，以背景区域的特征点完成对无人机运动矩阵的求解，从而去除振动区域的晃动干扰，准确提取出了目标振动视频中的待测振动信号。在不同晃动幅度下将本文算法与其他种算法的平均绝对误差进行对比，见表所列。从表可以看出：对于文献 、文献 以及本文算法，随着无人机晃动幅度的增大，种算法的频率检测误差均明显增大；文献 采用特征点追踪框架，当晃动增大时，其特征点匹配错误的可能性增加，造成性能下降；文献 使用稳像算法对视频进行处理后，再进行基于相位的振动检测，由于视频稳像依赖特征点匹配，因而晃动幅度增加会影响其稳像预处理的性能，进而降低频率检测准确率。对于本文算法，由于无人机运动矩阵的求解同样依赖特征点匹配，检测准确率必然随着晃动幅度的增大而降低。表种晃动幅度下平均绝对误差分析单位：算法组别组别组别文献 文献 文献 本文算法 在不同频率下将本文算法与其他种算法的平均绝对误差进行对比，结果见表所列。表不同振动频率下平均绝对误差分析单位：文献 文献 文献 本文算法 由表可知，由于文献 算法在实验场景下已基本失效，因此不做进一步分析；文献 算法和本文算法在不同振动频率下的检测性能无明显差别；而文献 算法则在测量高频信号时，准确率明显降低。原因在于：文献 算法基于视频的全局稳像，稳像过程会去除剧烈变化信号，保留图像序列的平滑运动，如果目标的振动频率较高，那么算法可能会对目标本身的振动产生抑制效果，进而影响频率检测的准确性；文献 算法通过人工选择背景特征点实现晃动信号的估计；本文算法则在自动分离背景区域和振动区域的基础上，使用背景区域的特征点求解无人机运动矩阵。因此这种算法均不会对目标本身的振动产生影响。算法时间复杂度分析将本文算法时间复杂度与文献 、文献 、文献 算法时间复杂度进行对比分析，结果见表所列，视频每帧分辨率为 像素 像素，每个视频总共为 帧，使用个不同的视频进行实验。从表可以看出，本文算法的时间复杂度优于文献 、文献 ，但比文献 更耗时。这是由于文献 使用的是全局相位检测算法，由于对视频每帧整体进行计算，本文算法在矫正分离后只对振动区域进行相位检测算法，只计算每一帧部分位置，因而本文算法耗时更少。对比文献 采用特征点追踪算法，在算法的时间复杂度上比本文算法更优。文献 采用全局稳像再使用相位检测算法，首先稳像是针对全局进行，而本文算法的矫正只针对目标区域，在这一阶段本文的算法就会耗时更少。而且文献 在使用稳像算法之后再进行全局的相位检测算法，整体来看，本文算法的时间复杂度明显优于文献 。表不同算法时间性能分析单位：视频序号文献 文献 文献 本文算法 结论本文提出了一种抗无人机晃动的视觉振动检测算法，该算法利用目标物体的振动特征，从视频中分离出振动目标和背景区域，利用背景区域计算出无人机在气流扰动下晃动的运动矩阵，利用得到的运动矩阵实现对目标区域里叠加的无人机晃动信号进行矫正，得到较为纯净的振动信号，然后通过复可控滤波器提取振动信号的相位序列，检测其振动频率。在真实使用场景中，振动目标不一定总能够保持在拍摄画面内，当无人机晃动幅度过大时，目标可能会短暂的丢失在视频帧中，这会影响到本第期周勇，等：无人机晃动下基于相位的视觉振动检测文算法的准确性。在未来的工作中，将针对更大幅度的无人机晃动以及更为复杂的无人机测量场景开展研究，以拓宽本文算法的应用范围。参考文献 ，：，（）：蒋新花，丁德宝，沈庆宏应用于桥梁结构健康监测的低噪声振 动 测 量 系 统 实 现 电 子 测 量 技 术，（）：，（）：，：，：，（）：，（）：，（），（）：，（）：，（）：，：，（）：，（）：，（）：，（）：，（）：，（）：，（）：，：，（）：，：，：，：，（）：（责任编辑李凯）合肥工业大学学报（自然科学版）第 卷