基于FPGA的单星模拟器质心检测算法研究_陈泽弈.pdf

长春理工大学学报（自然科学版）Journal of Changchun University of Science and Technology（Natural Science Edition）Vol.46No.1Feb.2023第46卷第1期2023年2月陈泽弈，等：基于FPGA的单星模拟器质心检测算法研究收稿日期：2022-05-22基金项目：吉林省科技厅重点研发项目（20220201089GX）作者简介：陈泽弈（1997-），男，硕士研究生，E-mail：通讯作者：王凌云（1977-），女，博士，教授，博士生导师，E-mail：基于 FPGA 的单星模拟器质心检测算法研究陈泽弈1，王凌云1，2，郑茹1，2，李光茜1，刘笑1（1.长春理工大学光电工程学院，长春130022；2.长春市理工高精度光电测试产业技术研发中心，长春130022）摘要：星点质心检测是星模拟器检测技术中的关键技术之一，针对传统处理算法中运算量大、复杂度高、速度慢的问题，提出了一种基于 FPGA 的单星模拟器质心检测新算法。通过星图预处理和星点提取算法去除噪声，采用平方质心算法计算星点亚像素坐标，并设计了硬件体系结构，完成了高斯滤波、星点提取、质心计算等模块的设计，实现了星图流水化处理，提高了质心检测速度。测试结果表明，星点质心检测的误差小于 0.1 pixel，可通过单次扫描无须图像缓存即可计算出质心坐标，极大地提高了处理速度，过程中无须消耗 RAM 存储器资源，大大节省了存储空间。关键词：质心检测；FPGA；平方加权质心法；离散噪声；单星模拟器中图分类号：V524.7文献标志码：A文章编号：1672-9870（2023）01-0052-07Centroid Extraction Algorithm ofSingle Star Simulator Based on FPGACHEN Zeyi1，WANG Lingyun1，2，ZHENG Ru1，2，LI Guangxi1，LIU Xiao1（1.School of Opto-Electronic Engineering，Changchun University of Science and Technology，Changchun 130022；2.Science and Technology High-precision Optoelectronic Measurements Industry Technology Research andDevelopment Center of Changchun City，Changchun 130022）Abstract：Star centroid detection is one of the key technologies in star simulator detection technology.Aiming at the problemsof large computational load，high complexity and slow speed in traditional processing algorithms，a new FPGA-based singlestar simulator centroid detection algorithm is proposed.The noise is removed by the star preprocessing and star extractionalgorithm，the sub-pixel coordinates of the star are calculated by the square centroid algorithm，and the hardware architec-ture is designed.The star image is streamlined to improve the centroid detection speed.The test results show that the errorof the centroid detection of star is less than 0.1 pixel，and the centroid coordinates can be calculated through a single scanwithout the need for image buffering.Greatly improved processing speed，and the RAM memory resources are not consumedin the process，which greatly saves storage.Key words：centroid extraction；FPGA；square-weighted centroid method；discrete noise；single star simulator在星敏感器检测中，单星模拟器为被测星敏感器提供无穷远处恒星目标，对单颗恒星星光的平行度、光谱、照度等特性进行模拟，因此单星模拟器模拟星光的质量至关重要1，而星点质心检测是单星模拟器检测技术水平中关键的一环。现场可编程门阵列（Field Programmable GateArray，FPGA）具有丰富的硬件资源，规模大，集成度高，可以进行复杂的时序逻辑设计，并行处理能力强2，可以重复编程，被广泛地用于图像处理。同时为了适应不同的使用环境，检测系统也要朝着高集成度和小型化的方向发展3，研究基于 FPGA 的星图数据处理算法是非常必要的。目前，常用的质心检测算法有质心法、Hough变换法、高斯拟合法等4-5。质心法是一种被广泛用于亚像素细分的方法，其计算简便、速度快，有一定的测量精度，但其抗噪声性能却很差6。刘杰等人7提出一种基于三次样条拟合插值的高精度质心定位算法，这种算法能够得到较高精度的星点质心坐标，但是它的计算复杂度较高，很难在硬件系统中实现。毛晓楠等人8将质心法在 FPGA 中实现，该算法精度较高但是抗噪声能力差，仅适用于提取噪声较弱的光斑。欧迎春等人9结合 SOPC 和 FPGA 技术实现了星点检测，该算法具有速度快、电路面积小等优点，但 消 耗 较 多 RAM 资 源，仍 然 有 提 升 的 空 间。Hough 变换法花费时间较长10，且计算复杂，不适合硬件实现。高斯曲面拟合法是通过二维高斯分布函数拟合了星点的灰度分布，然后通过最小二乘法对中心坐标进行计算11，该方法具有较高的精度，但运算复杂，速度慢。针对以上几种方法的优缺点，本文提出一种基 于 FPGA 的 单 星 模 拟 器 质 心 检 测 算 法，在FPGA 平台上采用流水线方式完成了硬件设计，只需扫描原始图像一次，即可在取得星点质心信息的同时去除噪声，再采用平方加权质心法计算质心信息，从而得到星点质心的中心位置坐标，实现过程不需要消耗 RAM 存储器，减少了资源的消耗，很大程度上提高了运算速度。1星点质心检测算法设计星点质心检测算法结构框图如图 1 所示，它包括三个方面：图像预处理、星点提取和质心计算。图像预处理算法用于去除星图中的固定噪声和随机噪声，提高信噪比，利于质心提取；星点提取算法是用来提取星点质心，去除离散噪声；质心计算算法用于计算提取出的质心信息，从而得出星点亚像素中心。图 1星点质心检测算法框图1.1星图预处理从图像传感器的角度来看，恒星可以被视为一个无穷远处的点光源，在感光面上成像为点状光斑，光斑的灰度分布体现了星点亮度，其可以用二维高斯分布函数来近似表示12：g(x,y)=A22exp-(x-X)2+(y-Y)222（1）式中，A为光斑目标的总能量；（X，Y）为函数中心点位置坐标；为弥散斑半径。星点检测的输入是图像传感器捕捉到的星图，除了星点目标外，还包含噪声、感光靶面疵点等干扰因素。在星图中，图像的噪声信号主要是由于图像传感器的长时间曝光而导致的高亮度离散噪声和图像采集卡等所生成的电噪声（包括光子计数噪声、读出噪声、热噪声、暗电流噪声，探测器非均匀性引起的固定图像噪声，A/D 转换引起的量化噪声13）。其中，由图像采集卡等产生的电噪声分布较均匀，随机围绕噪声平均值上下波动，可采用滤波处理进行去噪。本文利用高斯滤波过滤去除图像的噪声，其平滑性能较好，且边界保留较好。为了降低算法的运算量，采用如图 2 所示的 33 大小的高斯滤波离散模板，模板中的权值都是 2 的倍数，符合二进制数据的处理方式，适合于 FPGA 流水处理。图 233 高斯滤波模板陈泽弈，等：基于FPGA的单星模拟器质心检测算法研究第1期53长春理工大学学报（自然科学版）2023年1.2星点提取星点目标主要集中在一个近似于圆形的像素区域内，其像素灰度值要比背景的噪声灰度值高，这一区域内有一个峰值，在峰值附近的像元灰度值逐渐减小，最后与背景噪声平均值相近。而在星图中，除星点目标之外，还存在单个独立的灰度值较高的离散噪声，如图 3 和图 4 所示。图 3星图x轴上的灰度分布图图 4星图y轴上的灰度分布图图像传感器捕捉到的星图分辨率为 2 0482 448，其中星点目标所占用像素最大轮廓为 2020，图像中大部分像素都是背景像素，其在质心计算中属于无效像素，影响了质心计算算法的效率，需将其与星点目标进行分离。由于背景像素灰度值远远小于星点目标灰度值，可根据灰度值特征来设置阈值限制进行分离，应用阈值限制如公式（2）所示。在本文中，星图图像灰度值分布为 0255，图像灰度平均值为 10，标准偏差为 3，故本文预设灰度阈值T为 25。g(x,y)=f(x,y),f(x,y)T0,f(x,y)T（2）但阈值分割不能消除灰度值较高的离散噪声，通常处理这种噪声的方法是先将噪声作为单像素星点处理，按照星点中的像元个数过滤离散噪声，因为这种方法把噪声看作是星点，所以必须提高星点的预留存储空间，增加了存储器资源的消耗14。本文提出一种基于 FPGA 的不需要消耗 RAM 资源的星点提取算法，具体流程如图 5 所示。图 5星点提取流程图1.3质心计算在星点提取的基础上采用平方加权质心算法，使星点坐标精度提高到亚像素级15。质心法是一种将灰度作为权值的加权质心法，而平方加权质心法是它的改进形式，将灰度平方值作为权值，突出了离中心近的像素点对质心位置的影响，如公式（3）所示：x0=x=1my=1nF2(x,y)xx=1my=1nF2(x,y),y0=x=1my=1nF2(x,y)yx=1my=1nF2(x,y)（3）54平方质心法需要用到灰度值平方以及累加，导致除法式中分子和分母的位宽急剧增加，严重增加了资源的消耗。因此，针对这一问题，本文不直接对质心信息进行计算而是采用坐标系变换的方式进行计算，具体如下：（1）新坐标系坐标原点的选取本文选取第一个被判断为星点的像素作为新的坐标原点，并将其行列坐标值存入寄存器中，位于其后的星点像素都以该点为坐标原点生成一个新的相对行列坐标。（2）真实星点亚像素质心坐标计算利用相对行列坐标与灰度值进行平方加权计算，可得出星点质心的相对偏移量，再将计算结果与新坐标系坐标原点的行列坐标值相加，可以获得星点质心的实际亚像素位置坐标。采用这种坐标系变换的方式进行计算，可以将式（3）中两个公式的分子位宽从 34 位降低到27 位，有效地减少了资源的消耗。2基于 FPGA 的硬件结构设计本文基于 Xilinx 公司的 Vivado 软件环境对上述算法设计了单星模拟器质心检测算法硬件部分。星点质心检测算法的硬件体系结构如图 6所示，整个系统由高斯滤波模块、星点提取模块和质心计算模块组成，利用模块化的设计，可以对星图进行流水处理。图 6硬件结构图2.1高斯滤波模块星图数据按时钟依次传入 FPGA，由于数据中没有场行同步信号，在进行图像处理之前需利用有效数据信号进行行列计数，在产生场行同步信号后，将数据输入高斯滤波模块进行预处理。图 7 显示高斯滤波模块的硬件结构。两个像素移位寄存序列 RAM-base Shift Register 相串接形成像素行缓存，后面 3 组寄存器通过数据缓存实现三列数据同时出现。数据输入是来自图像传感器的 8bit 灰度值数据，按行扫描顺序串行输出，经过移位寄存序列 RAM-base Shift Register后，串行数据原本被间隔开的相邻行同列数据实现列对齐，使得串行数据实现了空间上的并行结构展开。当并行数据进入三组寄存器后，实现了 33 模板中的数据同时获取。在此基础上，利用高斯滤波公式进行运算，高斯滤波公式如式（4）所示。其中，除数为 16，是 2 的整数幂，可以用移位代替除法以减少 FPGA 资源消耗。f()x0,y0=j()y0-1,y0+1i()x0-1,x0+1f()xi,yjaij16（4）式中，aij表示高斯模板的各权重值；f（x0，y0）表示滤波后中心点的灰度值。图 7高斯滤波结构2.2星点提取模块高斯滤波后的数据仍然是串行输入，而星点提取模块结构如图 8 所示。该模块由阈值比较器、行坐标判断器、星点个数判断器、地址判断器、行参数存储器、列参数存储器、3 个灰度缓存器、3 个行缓存器、3 个列缓存器、2 个地址缓存器和若干个多路选择器构成。通过阈值比较器将当前像素灰度值与预设阈值相比较；灰度缓存器、行缓存器、列缓存器、地址缓存器用于缓存大于阈值的准星点像素灰度、行坐标、列坐标和准星点计数器 adder 的值，每当标志 flag 有效信号到来时，缓存器组中的数据向右移动一位；地址判断器用于判断缓存器组 2 中的值对应为陈泽弈，等：基于FPGA的单星模拟器质心检测算法研究第1期55长春理工大学学报（自然科学版）2023年第几个准星点像素；行坐标判断器可以判断缓存器组 2 中的像素为星点像素，或有可能出现的离散噪声点像素；星点个数判断器用于判断当前值对应为第几个星点像素；行参数存储器、列参数存储器用于存储第一个被判断为星点的像素行坐标和列坐标。最终被判断为星点的像素灰度值、行坐标和列坐标将会作为质心信息进入质心计算模块进行计算。图 8星点提取结构图2.3质心计算模块从式（3）中可以看出，质心计算公式需要进行乘法、累加和除法。乘法可利用 FPGA 内部乘法器实现运算，累加利用加法器实现运算，而除法没有对应的逻辑计算单元，如果使用 IP 核做除法将消耗巨大的资源，因此需要利用 VerilogHDL 语言编写除法器。传统的除法器采用位移减法进行计算，需要耗费 27 个时钟周期，消耗较长的时间。本文采用了一种循环计算的方式进行除法运算，如图 9 所示，可在 5 个时钟周期内完成运算。输入被除数和除数，将除数与 24乘积作为新的除数参与后面的减法。如果被除数和除数之间的减法结果小于 0，则被除数向左移一位，并在循环的下一步与除数进行比较，商的最高位为 0。否则，若被除数和除数之间的减法结果大于 0，则会将减法的结果向左移一位，并在循环的下一步与除数进行比较，商的最高位等于 1。然后，处理后的结果将用于下一次比较，并将比较结果填充到下一阶商中。除法运算结束时，商将有 5 bit，最后减法的结果为余数。但此时得到的余数并不是真正的余数，需要对其进行修正，将修正前的余数向右移 4 位即可得到真正的余数。最后，将除法计算结果与行列参数存储器中的值相加，即得出了星点质心坐标X0和Y0。图 9循环除法运算图3实验结果及分析3.1检测算法实验结果为了验证上述算法的有效性，使用 7 代锐龙4800U 型处理器、16 G 3200 MHz 内存的笔记本电脑为平台进行测试，在 MATLAB R2021a 软件环境和 FPGA 平台下利用该算法对星图进行质心检测，通过将星点板理论值、MATLAB 软件计算结果和 FPGA 运算结果三者互相比较来验证算法的有效性，最终结果对比如表 1 所示。测试图像来自于图像传感器捕捉到的 5 个不同星点板生成的模拟星图，图像传感器选用 Sony 公司的IMX264 帧曝光 COMS，分辨率为 2 448（H）2 048表 1理论值、MATLAB 和 FPGA 计算结果理论值X/pixel1 0321 2425071 9461 537理论值Y/pixel6279031 734614631MATLAB值X1/pixel1 031.9441 242.113506.959 41 946.0761 537.097MATLAB值Y1/pixel627.068 2902.884 61 733.947614.016 9630.920 2FPGA值X2/pixel1 031.9441 242.113506.959 41 946.0761 537.097FPGA值Y2/pixel627.068 2902.884 61 733.947614.016 9630.920 256（V）、像素尺寸 3.45 m3.45 m、帧率为 36 FPS。图 10 所示为单星模拟器模拟星图，其中红色十字所标记的为星点目标，紫色十字所标记的为高亮度的离散噪声点。图 10单星模拟器模拟星图图 11理论值与 MATLAB 计算结果误差值图 11 所示为理论值与 MATLAB 计算结果的绝对值误差，通过求平均值可得x坐标平均绝对值误差为 0.076 5 pixel，y坐标平均绝对值误差为0.066 7 pixel，两者均小于 0.1 pixel，保证了星点质心检测的精度。从表 1 可以看出，MATLAB 模拟和 FPGA 的检测结果相符，表明基于 FPGA 的硬件设计实现程度较好，且算法成功向数字电路变换16。3.2FPGA 计算性能分析FPGA 选用 Xilinx 公司的 Artix-7 系列 XC7A35T-1FGG484I 芯片，拥有 33 280 个逻辑单元，5 200个查找表，41 600 个触发器，50 个 M36K 嵌入式块 RAM 和 90 个 DSP48A1 逻辑单元，每个 DSP48A1逻辑单元包含四个加减法器和一个 18 bit18bit 乘法器。为了验证本文算法在 FPGA 中的计算性能，对芯片进行资源分析和静态时序分析，结果如表 2 所示。图 12 所示为实验装置图。图 12实验装置图从表2中可以看出，本文算法不需要消耗RAM资源，也较少地用到嵌入式 DSP，逻辑资源的消耗也维持在较低的水平，为以后 FPGA 增加更多功能和降低器件选型要求提供了便利。本文采用流水线设计实现了对星图的处理，提取过程与扫描过程同时进行，从图像扫描过程结束的时刻到质心计算过程结束的等待时间是缓存两行数据加上 10 个像素的时间。当时钟频率为 50 MHz，图像分辨率为 2 0482 048 像素，则延迟为 82 us，这意味着这两个过程几乎同时完成，不需要进行图像缓存，提高了运行速率。表 3 是本文方法与同类算法在处理时间和存储空间方面的比较，由表 3 可知，本文方法在处理速度和存储空间资源消耗上具有较大优势。表 3不同方法性能比较方法本文方法文献 9文献 14处理时间/ms61333244存储空间（BLOCK RAM）03874结论本文提出了一种基于 FPGA 的单星模拟器质表 2资源成本和最高频率Slice603（7%）Slice LUTs1973（9%）Slice Registers1326（3%）BLOCK RAM0（0%）DSPs2（2%）Max Frequency81.446 MHz陈泽弈，等：基于FPGA的单星模拟器质心检测算法研究第1期57长春理工大学学报（自然科学版）2023年心检测算法。通过对星图进行高斯滤波预处理，提高了图像抗噪声能力和图像信噪比。在对星图成像特性分析的基础上，进行了阈值分割和星点滤除，以除去离散噪声的影响并且提取出质心信息。为保证亚像素精度，本文使用了平方加权质心法计算质心位置坐标，该方法只需要扫描一次图像，对离散噪声的处理也比现有方法使用更少的存储空间。最后对该算法进行 FPGA 映射，充分利用了 FPGA 的并行处理能力。实验结果表明，该算法对星点质心检测的误差小于 0.1 pixel，在保证精度的同时，提高了处理速度，而且无须耗费大量内存，实现了节省存储空间的目的。参考文献1 孙高飞，张国玉，刘石，等.静态星模拟器设计与精度 分 析J.长 春 理 工 大 学 学 报（自 然 科 学 版），2015，38（5）：26-29.2WANG X L，WEI X G，FAN Q Y，et al.Hardwareimplementation of fast and robust star centroid extraction with low resource costJ.Ieee Sensors Journal，2015，15（9）：4857-4865.3 王晔，周志炜，王元伟.基于 FPGA 的自准直系统数据处理技术_王晔 J.传感器与微系统，2017，36（2）：46-48+52.4YANG X D，LI G Y，WANG P X，et al.Laser pointingchanges detection method for space-borne laser spot image J.Acta Geodaetica Et Cartographica Sinica，2020，49（12）：1591-1599.5 潘迪，周琦，刘轩，等.高动态条件下星斑模拟与星点提取方法 J.光子学报，2022，51（3）：143-153.6 赵婧鑫，周富强.小尺寸光斑中心的高精度定位算法 J.红外与激光工程，2014，43（8）：2690-2693.7 刘杰，张耿，冯向朋，等.基于三次样条拟合插值的高精度质心定位方法 J.光学学报，2021，41（12）：132-138.8毛晓楠，梁为升，郑循江.基于并行运算体系结构的星敏感器图像处理算法 J.宇航学报，2011，32（3）：613-619.9 欧迎春，毛海岑.基于 SOPC 和 FPGA 的星敏感器检测算法设计与实现 J.光学与光电技术，2015，13（1）：42-46.10 张睛，吴友宇.基于 FPGA 的光纤光斑中心定位算法研究 J.激光技术，2017，41（5）：769-774.11 ZHOU F Q，ZHAO J X，YE T，et al.Fast star centroidextraction algorithm with sub-pixel accuracy based onFPGAJ.Journal of Real-time Image Processing，2016，12（3）：613-622.12WANG Z，JIANG J，ZHANG G J.Distributed parallelsuper-block-based star detection and centroid calculationJ.Ieee Sensors Journal，2018，18（19）：8096-8107.13胡林亭，李佩军，李大伟，等.视频信号注入式光电经纬仪跟踪性能评估方法 J.光子学报，2021，50（12）：106-113.14樊巧云，张广军.离散噪声图像的光斑质心算法及其硬件实现 J.光学精密工程，2011，19（12）：2992-2998.15 房晓伟，邹吉炜，陈茂胜，等.基于 FPGA 的高可靠数字太阳敏算法研究 J.测试技术学报，2021，35（1）：62-67，78.16ZHANG H P，SU Y，SHANG J，et al.Accurate starcentroid detection for the advanced geosynchronous radiation imager of Fengyun-4AJ.Ieee Access，2018（6）：7987-7999.58