红外热像仪技术分析报告.doc

XXXXXX技术分析报告

XXXXXX股份有限公司

2012年5月

目 次
1 初始上电时热像仪输出视频时序 1
2 外同步信号设计方案及试验验证 1
3 红外热像仪调光算法及抗热窗算法 6
3.1 红外热像仪调光算法 6
3.1.1 背景概述 6
3.1.2 常用图像增强算法比较 7
3.1.3 本系统调光算法 11
3.1.4 选择本方案的原因 15
3.2 红外热像仪抗热窗算法 17
3.2.1 热窗效应产生的原因 17
3.2.2 红外热像仪抗热窗算法原理 17
3.2.3 抗热窗算法实验结果 19
4 14位图像在不调光情况下是否满足导引头使用要求 20
4.1 背景 20
4.2 实验验证 23

18

XXXXXX技术分析报告
1 初始上电时热像仪输出视频时序
红外热像仪系统总共输出三路视频信号，分别为14位数字图像信号、8位数字图像信号和模拟视频信号，其中14位数字图像主要经过数据采集、非均匀性校正、死点替换处理后送出14位数字信号；8位数字图像在14位数字图像的基础上，再经过DSP处理之后的8位数字信号；模拟视频为经DSP处理后的数字信号转为模块信号。
关于14位数字口、8位数字口、模拟视频三路信号时序关系，相对于积分时间的时序如下图：

注1：14位数字口：经过数据采集、非均匀性校正、死点替换等处理后，需要将数据缓存一帧，再根据客户要求时序送出，故第一个有效数据从14位接口送出相对积分时间下降沿共延迟约12.4mS；
注2：8位数字口：经过数据采集、非均匀性校正、死点替换等处理后，直接将数据送给DSP，经DSP处理后再按要求时序送出，共延迟约40mS；
注3：模拟视频信号： DSP处理后的数据首先保证8位数字接口时序送出，为满足本地视频显示时序要求，需再缓存一帧数据后按PAL制式时序输出给ADV7123芯片，共延迟约56mS。
2 外同步信号设计方案及试验验证
在系统始用过程中，由于需要红外热像仪输出的14位数字图像、8位数字图像和模拟三路视频信号全部同步于整个系统，因此引入外同步功能，使热像仪三路输出视频信号和外同步视频输入信号进行同步。
a) 关于系统同步机制，流程图说明如下：

具体过程说明如下：
1) 检测是否有外同步信号，如果检测到外同步信号，跳到第2步，否则一直检测；
2) 为保证每一帧数据的完整性，当检测到外同步信号时，需判断当前帧是否发送完毕，如果是，则跳到第3步，否则等待直到结束后，再跳到第3步；
3) 进入复位状态，检测外同步信号，20mS内如果检测到外同步，跳到4步；否则跳回到第1步；
4) 进入同步状态，每20mS检测外同步信号；如果20mS内没检测到外同步，跳回到第1步，系统在当前状态下继续运行，避免同步信号从有到无过程中出现闪屏现象，否则保持同步状态。
b) 外同步验证：
利用示波器的余辉功能来测试外部输入视频信号与热像仪三路输出视频信号是否同步。如果同步，则两者视频信号相位锁定，否则两者相位飘移。
1) 热像仪模拟输出视频信号与外同步信号验证
通道1（黄色）接外同步视频信号，通道2（蓝色）接热像仪模拟输出视频信号。
当外同步信号信号没有接入热像仪系统时，通道2波形相对通道1波形相位飘移，通过余辉功能可将飘移轨迹捕捉到，如下图蓝色残影部分，表明两者不同步：

当外同步信号接入系统时，通道2波形相对通道1波形相位锁定，通道2波形的上升沿或下降沿比较清晰，表明两则已同步，如下图：

2) 热像仪14位数字图像输出视频信号与外同步信号验证
通道1（黄色）接外同步视频信号，通道2（蓝色）接14位数字场有效信号。
当外同步信号信号没有接入热像仪系统时，通道2波形相对通道1波形相位飘移，通过余辉功能可将飘移轨迹捕捉到，如下图蓝色残影部分，表明两者不同步：

当外同步信号接入系统时，通道2波形相对通道1波形相位锁定，通道2波形的上升沿或下降沿比较清晰，表明两则已同步，如下图：

3) 热像仪8位数字图像输出视频信号与外同步信号验证
通道1（黄色）接外同步视频信号，通道2（蓝色）接8位数字场有效信号。
当外同步信号信号没有接入热像仪系统时，通道2波形相对通道1波形相位飘移，通过余辉功能可将飘移轨迹捕捉到，如下图蓝色残影部分，表明两者不同步：

变换、小波变换等。
3.1.2 常用图像增强算法比较
目前运用最多的增强算法主要集中的空域处理，下面对一些常用的空域处理算法与我们所采用的算法进行比较。

图1 原图
a) 灰度变换是将一个灰度区间映射到另一个灰度区间的变换，可调整图像的灰度动态范围或图像对比度，是图像增强的重要手段之一。灰度线性变换的原理如下所示：

其中为原始图像，为变换后图像

图2 灰度线性变换（不同阈值）
从效果可见经过灰度线性变换后虽然对比度增强了，但是同时出现了细节丢失的情况。
b) 直方图均衡化也是较常用的增强算法，它的中心思想是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布，使图像的动态范围扩大。直方图均衡化的主要步骤如下：
1) 统计原始图像各灰度级像素数，计算出原始图像直方图，如图3所示，其中横坐标为灰度级，纵坐标为对应灰度出现概率；
2) 计算累积直方图；
3) 按照公式Dk=int[(Max-1)*Sk+0.5]进行灰度值变换，其中Sk为原始灰度值，Dk为变换后的灰度值，即均衡化后的灰度值；
4) 对原始图像进行遍历得到均衡化的图像。

图3直方图统计
假设某图像灰度级为Sk，变换后的灰度级为Tk，下表即为均衡化的详细步骤：
表1 均衡化

原图 直方图均衡化

原图直方图 均衡化后直方图
图4 直方图均衡化
从处理前后图像的直方图分布来看，经过直方图均衡化，图像的动态范围扩大了，但是从视觉效果来看，图像不够柔和，又由于均衡化不区分信号和噪声，因此原图中的噪声也同时被增强了。
c) 拉普拉斯算子是比较常用的锐化技术，可以使图像的细节变得清晰。它是一种线性二次微分算子，具有旋转不变性，对于图像的每个像素，拉普拉斯算子取它关于X轴方向和Y轴方向的二阶差分之和，其表达式如下所示，最终灰度值使用替代。

拉普拉斯算子也可使用模板表示，常用拉普拉斯3*3模板有：

这里我们选用第二个模板进行计算得到如下结果。

原图 laplacian锐化
图4拉普拉斯锐化
从处理效果看，虽然经过拉普拉斯算子计算后图像的边缘得到了增强，但是整个图像的视觉效果同样不够柔和，有明显的人为加工痕迹，且由于拉普拉斯对噪声较为敏感，因此经过处理后噪声也得到了增强。
通过以上各种算法的实验结果分析，它们所得到的处理效果都不够理想，因此需要寻求一种更好的算法。本系统所用的调光算法首先能提升对比度，抑制噪声，然后增强了图像的细节，而且整幅图像的显示效果不会有明显的人为加工痕迹，自然柔和。

原图 本系统调光算法效果
图5 本系统所用调光算法效果
3.1.3 本系统调光算法
考虑到红外图像不仅需要较好的视觉效果，还需要较强的实时性，我们采用了如下方法进行增强，流程图如下所示：

图6 流程图
首先，对图像进行平滑降噪，为后续处理做准备。这里采用十字中值算子，该算子将以像素f(x,y)为中心的十字形屏蔽窗口内灰度值的中值赋给f(x,y)，在降噪的同时保持了边缘不模糊，具体算法如下：
表2 十字掩模
f(x-1,y-1)
f(x-1,y)
f(x-1,y+1)
f(x,y-1)
f(x,y)
f(x,y+1)
f(x+1,y-1)
f(x+1,y)
f(x+1,y+1)

以该模板遍历图像，模板对应的中心点处的灰度值等于红色所示的5个像素点灰度值的中值，而且是无条件的处理。算子模板尺寸可为3*3，5*5等，我们采用3*3模板进行计算。
经过降噪处理后，图像的噪声将被有效抑制，接下来通过直方图均衡化将图像的动态范围进行拉伸，具体原理如前所述，这里列出处理前后直方图的对比，可见灰度级均匀分布在整个灰度范围。

原始直方图 均衡化后直方图
图7 直方图均衡化
经过前期处理之后，接下来将采用Retinex算子对图像进行增强。
Retinex是一个合成词，由Retina（视网膜）和Cortex（大脑皮层）组合而成，被称为颜色恒常知觉的色彩理论。该理论认为图像S(x,y)是由两部分组成的，一部分是物体的光亮亮度，对应于图像的低频部分；另一部分为物体的反射亮度，对应于图像的高频部分。将两部分称为亮度图像和反射图像，分别用R(x,y)和L(x,y)表示，其中L(x,y)表示入射光，R(x,y)表示物体的反射性质。Retinex认为同样的物体在不同的光源或光线下颜色是恒定的，因此如果从给定的图像中分离出亮度图像和反射图像，舍去亮度图像，得到反映图像内在性质的反射图像即可达到增强的目的。Retinex的原理图如下：

图8 Retinex原理图
Retinex算法可分为单尺度Retinex（SSR）和多尺度Retinex（MSR），两者都在可见光图像中取得了不错的增强效果，考虑到实时性，我们选择使用SSR算法进行增强。SSR的主要步骤如下：
a) 将两边取对数，即可将乘法运算转换为加法运算，得到下式
b) 反射图像分量即可表示为，这里不可能直接得到，我们采用原图与低通模板卷积来估算它: ，其中高斯卷积函数；
c) 参数c是一个尺度参数，当c较小时SSR动态压缩能力强，细节更突出，反之则动态压缩能力减弱，因此c的动态调节也可给不同的观测者以不同的视觉效果。
图9为原始图像与调光算法的比较，经过处理，可见图像对比度得到提升，边缘细节更清晰，且没有明显人为处理的痕迹，视觉效果更好。表3为处理前后均值、标准差及熵的对比，图10为柱状图。

原始图像 调光算法处理后
图9 调光算法效果
表3 处理前后数据对比

均值
标准差
熵
原图
40.7528
37.4851
6.4971
SSR
139.8231
77.3692
5.5804

图10 处理前后数据对比
3.1.4 选择本方案的原因
现阶段图像处理算法都不具有通用性，某一种算法可能只适用于相应的某种图像或者有相似结构的图像，即使对应同一类型图像采用同一算法，不同的参数选择也会产生不同的效果，因此可在分析图像类型的基础上通过多种算法的叠加组合来进行图像增强，不仅可以对各种算法进行优势互补，而且扩大了算法的适用范围。
我们所采用的算法首先通过平滑降噪和直方图均衡化降低了噪声并提升了图像动态范围，然后经过单尺度Retinex算法对图像进行增强，得到更好的视觉效果。

原始图像 调光算法处理后

原始图像 调光算法处理后

原始图像 调光算法处理后
图11 不同图像效果
从多组不同图像的实验对比来看，经过调光算法之后不仅对比度得到提升，图像细节清晰没有太大损失，而且没有出现噪声的增大以及明显的人为处理痕迹，视觉效果得到了改善。
3.2 红外热像仪抗热窗算法
3.2.1 热窗效应产生的原因
导弹在空中高速飞行时，导引头头部受到空气动力加热，导引头温度升高、红外辐射增强，对探测器产生热窗干扰（原理如图13所示），热窗干扰造成图像显示效果不佳，其主要原因是导引头随着温度升高产生的红外辐射增大，当红外辐射增大到一定程度时，探测器的响应输出均匀性变差，从而使得探测器图像质量变差。在热窗干扰严重的情况下，为能正常显示图像，提出一种自适应调整的抗热窗算法，该算法能够在响应输出响应趋向非均匀时将探测器的工作模式从常温模式自动地切换到抗热窗模式，也能正常显示图像。

图13 红导引头热窗效应原理图
3.2.2 红外热像仪抗热窗算法原理
经过大量的实验，我们获得了探测器在常温区的工作曲线，曲线图如图14所示。

图14 探测器在常温区的工作曲线
从图14的曲线可以看出，在灰度值为9800以下时，探测器图像显示正常，随着温度的升高，当灰度值超过9800时探测器输出响应趋向于非线性（均匀性变差），图像质量变差差，为了使图像输出正常，我们采用自适应抗热窗算法，该算法能够在输出响应趋于非线性时时将探测器的工作模式自动切换到抗热窗模式，在此模式下，图像正常显示。自适应抗热窗算法原理如图15所示，从图15中可以看出，当探测器检测到输出响应趋向于非线性时，系统自动调用热窗算法，同时读取相应的校正系数，输出正常的图像。

图15 热窗算法原理图
3.2.3 抗热窗算法实验结果
经过多次实验对比验证，证明了抗热窗算法的有效性，在这里取两组对比图进行说明，图16中左边对应的是没调用抗热窗算法时探测器的输出图像，右边对应于调用热窗算法的输出图像，从对比图中可以看出，温度过高且未调用抗热窗算法时图像显示不正常，通过调用自适应算法后，探测器自动切换到抗热窗模式，图像显示正常，探测器正常工作。

对比组
未调用抗热窗算法效果图
调用热窗算法效果图
组1，温度为180度时的输出图像

组2，温度为130度时的输出图像

图16 热窗效果对比组图
4 14位图像在不调光情况下是否满足导引头使用要求
4.1 背景
14位图像数据为探测器器的原始数据，其包涵了大量的目标与背景信息，因此可以利用14位数据进行调光算以及目标识别跟踪等。在我们的调光算法中，仅接收14位图像数据，然后调用调光算法将改善后数据输出到显示屏上，而并不将处理完的数据送回给原始数据，因此调光算法并不影响到14位图像数据，也不会对后续的跟踪识别造成影响。
红外成像制导技术是由武器所携带的红外导引头利用目标辐射的红外信息，实现对目标的捕获、跟踪引导导弹或弹药命中目标的一种制导技术。这是一种被动制导方式，具有智能化的优势。
在红外制导技术中，实现红外目标跟踪首要是检测出目标在视场中的位置及特征，常用的检测目标的方法有：目标图像边缘检测法、目标图像矩心检测法、目标图像的相关检测度等，用这些定位方法构成的跟踪器分别为边缘跟踪器、矩心跟踪器和相关跟踪器。
图17为目标检测示意图，图中的观察视角为，视场中心为O，目标在视场中的位置如图所示，边缘跟踪器与矩心跟踪器要设置一个波门,波门尺寸要略大于目标图像,波门紧紧套住目标并检出波门以内信号,摒除波门以外的其它信号,也可以对视场中出现的若干个目标设置几个波门。这种方法是属于选通技术,可以非常有效地排除背景干扰。

图17. 目标检测示意图

相关跟踪器是检测同一景物的两个不同图像间的相对位移,其中一个图象为基准图像,并且可以代表上一次的检测值,另一个图像称作接收图像,即为实时图像。可以用相关函数去描述两幅图像之间的相关程度,如图18所示为相关跟踪器匹配模板示意图，可以通过模板的移动找到对应的匹配点。

图18. 相关跟踪器匹配模板示意图

若基准图像特征和实时图像特征分别为、，则相关函数为：

式中x、y为两幅图像之间的相对偏移量，相关矩阵的主峰是两幅图像完全重合的位置，图19为相关函数曲线图，从图可以看出当搜索到主峰时，所搜的图像坐标点即为图像目标的配准点。

图19 待配准图像（左）、配准图像（中）及相关函数曲线图（右）

4.2 实验验证
14位图像数据为探测器器的原始数据，其包涵了大量的目标与背景信息，每个目标又具有其特定的特征（如：目标的边缘轮廓特征、矩心特征、相关度特征等），利用目标的这些特征可以很好地分离出目标，另一方面，图像调光算法采用的是模拟信号，调光算法不会对14位图像数据进行更改，也就是说，调光算法的好坏对14位图像数据不会造成影响，因此，14位图像在不调光的情况下也能满足导引头的使用要求。
经过实验验证表明，14位图像在不调光的情况下满足导引头的使用要求，以下是其中的几组实验结果。
实验组
显示器上显示的图像
边缘轮廓特征
目标边缘放大
实验组1

实验组二

实验组三

实验组四

图20 14位图像在不同能量下的目标特征提取
从实验组一、实验组二中可以看出，由于受到外界各种因素的影响，使得接收到目标（船只）的能量比较弱。但是目标各自的特征（如：目标的边缘轮廓特征、矩心特征、相关度特征等）可以很好地分离出目标；从实验组三、四中可以看出，目标与背景能量比较大时，其边缘特性也能正常提取出来，从而说明14位图像在不调光的情况下也能提取出目标特性，因此14位图像在不调光的情况下满足导引头的使用要求。