多源数据融合的三维建模技术研究.pdf

第 32 卷第 3 期淮阴工学院学报Vol.32 No.32023年 6 月Journal of Huaiyin Institute of TechnologyJun.2023“数字城市”与“智慧城市”的建设，增加了社会对三维空间信息的需求，三维模型构建越来越多源数据融合的三维建模技术研究杜世立1，付贵2，陶嘉2，樊亚3，郑远杨4（1.贵阳市城市管理信息中心，贵阳 551400；2.贵州建设职业技术学院，贵阳 551400；3.中国建筑材料工业地质勘查中心贵州总队，贵阳 551400；4.安徽理工大学 空间信息与测绘工程学院，安徽 淮南 232001）摘要：针对单一点云数据在建模中出现的建筑物扭曲、空洞、粘连等问题，提出一种多源数据融合技术进行三维重建的方法。将地面扫描仪和无人机贴近摄影测量技术相结合，首先，对多源数据进行预处理，包括扫描仪点云数据拼接、去噪，利用Context Capture软件处理影像数据；其次，对点云进行内部形态描述子（Intrinsic Shape Signatures，ISS）算法关键点提取，并对提取的关键点进行点的快速特征描述子（Fast Point Feature Histogram，FPFH），利用采样一致性（Sample Consensus Initial Alignment，SAC-IA）算法完成初始配准，接着利用双向KD-tree改进的迭代最近点（Iterative Closest Point，ICP）算法实现最佳配准融合，实现建筑物三维重建。实验结果表明，本文算法在实测数据精度上提高了56%，配准耗时上提高了97%。关键词：激光点云；影像数据；特征提取；多源数据融合；三维重建中国分类号：TU198文献标志码：A文章编号：1009-7961（2023）03-0078-103D Modeling Technology of Multi-source Data FusionDU Shili1,FU Gui2,TAO Jia2,FAN Ya3,ZHENG Yuanyang4（1.Guiyang City Management Information Center,Guiyang 551400,China;2.Guizhou Polytechnic ofConstruction,Guiyang 551400,China;3.China Building Materials Industry Geologic Exploration CenterGuizhou Groups,Guiyang 551400,China;4.School of Geomatics,Anhui University of Science andTechnology,Huainan Anhui 232001,China）Abstract：Aiming at the problems of building distortions,voids,and adhesions that appear in the modeling of single point cloud data,a method of multi-source data fusion technology for 3D reconstructionis proposed.Combine the ground scanner and drone close to photogrammetry technology.First,preprocess the multi-source data,including scanner point cloud data splicing and denoising,and use ContextCapture software to process image data;secondly,perform point cloud data processing.The key pointsof the Intrinsic Shape Signatures（ISS）algorithm are extracted,and Fast Point Feature Histogram（FPFH）is performed on the extracted key points,and the sampling consistency（Sample Consensus InitialAlignment,SAC-IA）algorithm completes the initial registration,and then uses the two-way KD-treeimproved Iterative Closest Point（ICP）algorithm to achieve the best registration fusion,and realize thethree-dimensional reconstruction of the building.The experimental results show that the algorithm inthis paper improves the accuracy of the measured data by 56%and the time-consuming for registration by 97%.Key words：laser point cloud;image data;feature extraction;multi-source data fusion;three-dimensional reconstruction收稿日期：2022-04-24基金项目：矿山环境与灾害空天地协同监测煤炭行业工程研究中心开放基金项目（KSXTJC202004）作者简介：杜世立（1988-），男，贵州贵阳人，工程师，本科，主要从事三维建模技术研究。第 3 期受到人们的关注。一般三维重建技术包括二维图像结合几何造型技术、激光雷达技术、近景摄影测量技术和无人机倾斜摄影测量技术1-4。基于单一数据源的三维模型构建存在一定的局限性，采用地面三维激光扫描技术对建筑物进行三维重建，由于扫描仪自身扫描角度问题，导致建筑物顶部点云数据无法获得，产生数据空洞，使得后期进行模型重建时，整体模型顶部空缺，建模效果欠佳5；采用无人机倾斜摄影测量技术对建筑物三维重建时，由于无人机镜头无法获取建筑物房檐底部数据，导致数据缺失，建出的模型效果失真6。而采用地面扫描仪和无人机倾斜摄影测量技术可以解决此类问题。在多数大型三维重建工作中采用空地结合技术进行建模，可以解决许多因遮挡导致数据缺失问题。顾斌7将影像数据与激光点云进行融合，通过查找影像一定数量的同名点，并将查找的影像对应点与激光扫描对应点进行配准，从而找到两种异源数据的连接关系，但对于同名特征点匹配需进行人工目视选择，存在一定的选点误差。崔水军8提出一种基于法向量特征匹配的方法进行点云配准，实现点云之间的自动配准，获取的激光点云存在漏洞，而影像数据可以弥补缺失的部分，以点云模型为基础，利用不同尺度间的点集数据配准办法，将二者完美融合，最后经软件构建出三维模型。文献9-11也是以激光扫描数据和无人机测量数据构建三维模型。综上所述，利用多源数据进行模型构建比单一方法较好，可解决单体化建模的弊端，但在多数据源配准融合研究中还有许多待改进的地方，对于融合效率以及模型精度方面有所欠缺，配准融合耗时较长，模型精度未进行检核等。因此，本文采用三维重建技术建模，通过地面三维激光扫描仪获取建筑物立面点云数据，通过无人机倾斜摄影测量技术获取顶部影像数据，将二者数据进行融合处理，获取建筑物的三维模型。1技术路线利用激光点云和无人机影像数据融合构建三维模型，将目标物用站地式扫描仪进行多站扫描，利用多站点云拼接建筑物的整体轮廓；无人机影像数据获取可通过设定航线或手动环绕式飞行，获取的影像数据利用Context Capture软件生成点云数据。两种不同的点云数据进行融合，首先将点云数据过滤噪声，采用统计滤波（Statistical Outlier Removal，SOR）方法；接着进行点云数据融合，即点云数据的初配准和精配准，分别采用改进SAC-IA粗配准算法和改进ICP算法的精配准；融合点云导入Geomagic studio软件进行建模并进行此方法的可行性分析。其技术路线如图1所示。图1点云融合三维模型构建技术路线2多源数据融合技术数据融合一般包括原始数据的预处理、预处理数据后的坐标系统的统一以及数据源的整体融合。多源数据融合一般通过算法进行，即数据的粗配准和数据的精配准12。2.1点云数据粗配准多源数据进行精配准前，首先对数据进行粗配准。扫描仪数据和无人机数据是以各自站点为原点进行观测的，因此在二者数据生成点云数据后，利用采样一致性算法进行二者点云数据的初始配准。2.1.1ISS关键点提取关键点提取方法包括ISS、SIFT以及Harris，本文采用ISS算法进行关键点提取，其算法原理可参见文献13，设下采样后的点云为P1和Q1，其具体流程如下：1）对任一点云中的每个点pi设定一个搜索半径r。2）计算点云中每个点pi在设定的半径r内所有杜世立，付贵，陶嘉，等：多源数据融合的三维建模技术研究79淮阴工学院学报2023 年点的欧氏距离，并解算出权值ij。1,ijijijpprpp=（1）3）计算每个点pi与半径内临近点的协方差矩阵cov（pi）。()()cov()ijijTijijijppriijpprppppp（6）式中，D（ei）表示第i组对应的最小误差，ei表示变换后第i组对应点之间的误差，te为设定的误差阈值。2.2基于改进ICP算法的精配准融合建模一般将多源点云数据利用配准算法匹配起来，并在点云编辑过程中将多源点云数据质量差的部分进行剔除。通过站地式扫描仪获取的点云数据中含有空洞，在建模过程中，这部分空洞无法构建出建筑物的三维模型，因此融合无人机点云数据可以弥补这一问题，得到完整的模型。经粗配准过后，为提高点云的配准精度，一般对其进行精配准。点云模型重建技术最重要的部分是点云数据精确配准，目前主流的点云数据融合配准是迭代最近点算法（Iterative Cloest Point，ICP）14。ICP算法的基本原理是：已知二个待配准点云P和Q，按照欧氏距离的原则，从点云P中一点pi到点云Q中查找最临近一点qi即找到最邻近点（pi，qi），然后计算出最优匹配参数R和t，使得误差函数最小。误差函数为E（R，t）为：()211(,)niiiE R tqRptn=+（7）式中，R为旋转变换矩阵，t为平移变换矩阵。经过不断迭代运算，将误差不断缩小，最终得到最优化解，使得多源数据完美重合。本文采用改进ICP算法进行点云的精配准，其改进部分为利用双向kd-tree方法加速点云的配准，具体步骤为：1）根据点云P、Q构建其kd-tree；2）在Q内搜索pi的最近点qi；3）若在P内搜索qi的最近点为pi，则说明pi和qi为一对具有一一对应关系的最近点；4）若步骤3）没有搜索成功，则继续搜寻下一点qi+1在Q内的最近点；5）重复 3）、4）步骤，直到搜索完 P 中所有点云。2.3算法实验分析2.3.1关键点提取为验证本文关键点算法的有效性，采用PCL库开放数据集进行实验对比，同时利用实测数据进行分析。实验所用数据集为 bunny、dragon 和nan，其中数据nan为实测数据，结合本文算法以及SIFT 和 Harris 算法进行特征点提取比较，如图 5所示。杜世立，付贵，陶嘉，等：多源数据融合的三维建模技术研究81淮阴工学院学报2023 年（a）bun原始点云（b）本文算法（c）SIFT算法（d）Harris算法（a）dargon原始点云（b）本文算法（c）SIFT算法（d）Harris算法（a）nan原始点云（b）本文算法（c）SIFT算法（d）Harris算法图5不同算法提取的点云特征点由图5特征点提取可知，基于本文算法提取的特征点轮廓较为清楚，而采用SIFT算法和Harris算法提取的特征点轮廓模糊，存在多个混乱特征点云。SIFT算法提取的特征点误将平面点当做特征点，Harris算法提取的特征点缺失，无法完整提取特征点轮廓线，这会导致后期点云的匹配效率。2.3.2基于点云数据的配准分析为了验证本文算法的有效性，利用斯坦福大学的公开数据集进行仿真实验，并结合文献15进行对比，来验证本文算法。依据算法计算的结果如图6所示，其精度分析见表1和表2。（a）bun原始位置（b）文献15算法（c）本文算法（a）dragon原始位置（b）文献15算法（c）本文算法（a）nan原始位置（b）文献15算法（c）本文算法图6实验数据算法结果从图6可知，本文算法和文献15的算法在仿真实验数据差异较小，但在实测数据上差异明显。实测数据nan上可以明显观察出文献15算法出现较大误差，而本文算法在最终配准结果上点云分布均匀，整体性能上看，本文点云配准算法优于文献15的算法。表1初始算法精度分析点云名称bundragonnan文献算法配准误差/m1.72x10-54.52x10-50.212配准时间/s9.15810.823100.933本文改进SAC-IA算法配准误差/m3.23x10-57.30 x10-50.344配准时间/s1.6341.4972.3382第 3 期表2精配准算法精度分析点云名称bundragonnan文献算法配准误差/m1.66x10-53.79x10-50.005配准时间/s0.0810.081.15本文改进ICP算法配准误差/m1.35x10-53.93x10-50.0022配准时间/s0.0320.0180.688从精度上看，本文算法在精度上未有较大提高，实测数据在精配准误差上与文献13相比提高了56%；从配准耗时上观察，仿真数据与实测数据在耗时上远远短于文献13算法，点云集 bun 和dragon配准总耗时分别提高82.0%和86.1%，实测数据则相对提高97.0%。对于数据量庞大的目标物来说，采用本文算法可以有效缩短时间。3试验区概括及数据获取3.1测区概况安徽理工大学南门位于淮南市泰丰大街上，校门始建于2010年，坐落在校区南北轴线上，具有一定的代表意义，校门东西长28 m，高10 m，建筑面积为140 m2，周围地势开阔，整体建筑呈方形，线条比较清晰，且没有曲线。3.2地面三维激光扫描仪测量根据本次实验的精度要求，结合南门的地理环境，考虑到中海达HS650扫描仪的硬件功能，拟采用公共点（标靶纸）数据拼接方式对南门进行多站扫描。按照扫描仪的最大扫描射程及后期拼接要求，标靶纸和扫描仪之间的距离控制在10 m之内，共设置8测站，且相邻测站之间的扫描重叠区至少有30%，测站之间的公共标靶不少于3个。点 云 数 据 拼 接 工 程 采 用 中 海 达 的 HD_3LS_SCENE软件，采用同名点（人机交互式）进行测站之间的拼接，每站拼接精度控制在0.05m之内来确保整体拼接精度，由于本次实验所用扫描仪无纹理信息，拼接后的点云数据按照Z值显示，实验场地及拼接效果如图7所示。（a）（b）（a）南门实测场地；（b）空中三角测量结果。图7南门试验地及点云拼接图点云数据拼接结束后，因测量过程中会产生某些噪声，因此将噪声点云进行过滤。本文采用SOR滤波器移除离群点，该滤波方法基于在输入点云数据时，对点到临近点的距离分布的计算，该计算的距离为点到临近点的平均距离。由高斯分布的特性可知，一般由均值和标准差决定其形状，平均距离在标准范围之外的点，可被定义为离群点，并在数据集中删除这部分数据。3.3无人机倾斜摄影测量无人机倾斜摄影测量技术是三维建模的关键一步，数据分辨率的高低取决于无人机飞行的高度，航测越高，影像数据越差，航测越低，获取的影像数据分辨率越高。无人机航测的一般步骤包括：航线设计、航摄准备、航空影像数据采集、多视影像密集匹配、点云构建TIN、构建白体三维模型、自动纹理贴片映射和生成实景三维模型。本次实验利用大疆精灵4RTK进行航摄，采用环绕式飞行方法进行照片采集。空中三角测量的主要目的是将测区航摄的影像归一到同一坐标系，该原理为提取影像特征点和匹配特征点，随后将特征点进行连接，从而计算出外方位元素，图8（a）为本次实验采集的影像照片，图8（b）为生成的空中三角测量结果。杜世立，付贵，陶嘉，等：多源数据融合的三维建模技术研究83淮阴工学院学报2023 年（a）（b）（a）精灵4RTK影像照片；（b）空中三角测量结果。图8航摄照片及无人机点云数据本次实验对象在校区，无人机航测时无需进行相关部门报备。本测区为一单独建筑物，导入影像为177张，产生37297个连接点可全部用于重建，从质量报告中得出平均每张影像提取出15938个关键点，重投影误差为0.6个像素。空三解算完成后，可将空三结果生成三维模型和点云数据，利用Context Capture生成的南门TIN及白模模型如图9所示。图9南门TIN+白模模型4实验结果与分析本次实验对地面扫描仪点云数据和无人机影像处理的点云数据进行配准融合。经点云数据的粗配准RMS为0.344m，在粗配准的基础上进行精配准RMS为0.0022m。异源点云数据融合后，将点云数据导入Geomagic中进行建模，由于本次实验采用的地面扫描仪无相机，无法获取观测物的纹理信息，因此采用Geomagic软件进行建模，本次融合效果如图10所示。（a）（b）（c）（a）激光雷达顶部点云数据；（b）无人机顶部点云数据；（c）融合顶部点云数据。图10点云顶部数据融合效果图4.1南门实景三维建模基于Geomagic软件三维建模，该软件自动化建模效果稳定，输出的效果图贴近于实体。Geomagic软件进行建模前，将融合点云.las格式数据转换成.pts格式数据。数据导入该软件后，首先进行点云数据采样，一般采用“曲率”方式进行采样，采样结束后可进行点云数据的“封装”，形成多个三角形；对封装后的数据进行“修补”，即采用“网格医生”对三角形进行自动修复、删除钉状物和去除特征等，最后对模型进行“松弛”，使得获取的三维模型更加美观。4.2建模效果对比为了验证本次实验建模的优势，本文通过两种方式进行建模，即地面三维激光扫描仪点云数据和扫描仪数据+无人机数据融合两种模式，建模效果如图11所示。84第 3 期（a）（b）（a）激光点云单一建模；（b）激光点云+无人机点云融合建模。图11实验对比结果（a）（b）（a）：激光点云单一建模细部；（b）：融合建模细部。图12点云建模细部展示由图11（a）可知，基于单一的地面点云数据建模，可获取高精度的立面模型，但整体模型会因外界条件和扫描仪自身原因导致部分缺失；从图11（b）可知，利用无人机点云数据可弥补单一扫描仪建模带来的问题，即将模型中缺失的空洞修补，建模精度更高，模型更加美观。图12（a）建模效果可知，激光点云建模时，存在拐角处无法建成完整模型，产生建模空洞；图12（b）结合无人机影像点云建模，将扫描仪建模空洞填充，建模效果良好。经软件建模结束后，进行纹理信息的贴图，经纹理贴图后的效果如图13所示。图13三维模型实景图4.3模型精度分析1）基于点之间的对比。本次实验模型采用计算中误差的方式来检核精度，以全站仪数据为真值，量测出模型点数据，从而计算出其中误差。模型平面中误差计算公式为：杜世立，付贵，陶嘉，等：多源数据融合的三维建模技术研究85淮阴工学院学报2023 年22xymmm=+（8）其中，mx和my计算公式分别为：xyx xmny ymn=（9）模型高程中误差计算公式：zz zmn=（10）式中，（x，y，z）为三维坐标X、Y、Z之间的差值，n为检查点总数。通过对空地数据结合进行处理，得到真实三维模型。以全站仪采集的数据为真实三维坐标，通过南门三维模型上对点集的采集，比较二者之间的差值，计算出平面和高程的中误差，作为衡量本次建模精度的指标，其计算结果如表3和图14所示。表3实测点与模型点及二者差值点号J01J02J03J04J05J06J07J08J09J10全站仪实测坐标/mX2296.8412296.8372310.5652307.2462306.9732306.5452307.8212296.0702307.3972304.136Y500834.087500834.109500857.663500856.703500855.953500855.487500856.909500836.830500856.576500850.631Z54.86954.32154.39346.72646.27846.75953.63953.62052.49952.147模型量测坐标/mX2296.8252296.8702310.5932307.2312306.9402306.5352307.9212296.0552307.3802304.125Y500834.106500834.089500857.697500856.684500855.934500855.492500856.907500836.860500856.604500850.645Z54.89354.28354.42046.69846.25346.75153.68553.66352.52052.173差值/cmX1.63.32.81.53.31.01.91.51.71.1Y1.92.63.41.91.90.51.23.02.81.4Z2.43.82.72.82.50.84.64.32.12.6图14实测点与模型点坐标差值分布从图 14 中可以看到，X 方向上的中误差为2.130 cm，Y方向上的中误差为2.228 cm，平面中误差为3.082 cm，X和Y方向上的误差绝对值大部分在03 cm之间；高程中误差为3.050 cm，高程误差绝对值大多数在03 cm之间，只有3个点在35 cm之间。整体建模精度达到实验要求。2）基于线长之间的对比。将建立的南门三维模型导入Geomagic中，通过该软件可测量出模型的边长，利用全站仪测量的真实三维坐标计算出点之间的线长。将模型的线长与真实测量的线长进行对比，最大边长误差为3.7 cm，最小边长误差为3.4 cm。实测边与模型边及边长误差L如表4所示，绘制柱状图如图15所示。86第 3 期表4实测边长与模型边长及二者误差边号L1L2L3L4L5L6L7L8L9L10实测边长/m5.8595.8365.8655.8565.8534.0585.5673.9877.26322.308模型边长/m5.8225.8705.8495.8545.8794.0335.5553.9777.26422.297差值L/cm3.7-3.41.60.2-2.62.51.2-1.0-0.11.1图15实测边与模型边误差值分布5结论本文对基于南门多源数据融合建模进行探讨。实验结果表明，与单一建模相比，多源数据融合技术使得模型更加美观，解决扫描仪建模导致的空洞问题。与传统融合算法相比，利用改进的SAC-IA和ICP算法在精度上提高了56.0%，在融合耗时上提高了97.0%，有利于在工程实际案例中缩短时间，提高效率。三维模型精度检核方面，从多角度出发，利用点的中误差和边长误差进行检核，点的中误差基本在2 cm3 cm之间，边长误差最大为3.7 cm，有力证明本次模型的精度较高。在整个实验过程中，总结出一套从数据获取到处理的流程，同时利用多个软件处理数据以达到最后建模目的。参考文献：1刘卓亚.基于单一图像实现城市场景下的建筑三维布局 J.计算技术与自动化，2019，38（1）:160-166.2肖康，康冰锋.LiDAR在数字城市三维建模中的应用J.城市勘测，2015（6）:86-88，97.3刘杰，连增增，何荣，等.基于近景摄影测量技术的地下巷道三维建模 J.金属矿山，2020（9）:179-183.4付博，陈姗，张俊.无人机倾斜摄影测量技术在三维数字城市建模中的应用 J.湖南工业大学学报，2019，33（5）:79-83.5耿黎娜，朱兰艳，李启萌，等.基于三维激光扫描技术的建筑物模型构建的研究 J.软件，2018，39（11）:134-139.6杨荣帮.基于倾斜摄影测量的三维城市建模研究 J.测绘与空间地理信息，2018，41（10）:253-256.7顾斌.数字图像与激光点云配准及在建筑物三维建模中的应用 D.徐州：中国矿业大学，2014.8崔水军.基于三维激光扫描和数字摄影测量的古文物三维模型构建研究 D.赣州：江西理工大学，2015.9冯鸣，杨明龙，夏永华，等.三维激光扫描与倾斜摄影测量的高陡崖三维建模 J.测绘科学，2020，45（1）:99-107，122.10王树臻，郑国强，王光生，等.多源点云数据融合的建筑物精细化建模 J.测绘通报，2020（8）:28-32，38.11谢云鹏，吕可晶.多源数据融合的城市三维实景建模J.重庆大学学报，2022，45（4）：143-154.12 BESL P J，NEIL D.MCKAY H D.Method for registration of 3-D shapesJ.IEEE Transactions onPatternAnalysis&MachineIntelligence，1992,14（2）:239-256，1992.13 ZHONG Y.Intrinsic shape signatures:A shape descriptor for 3d object recognitionC/2009 IEEE12th International Conference on Computer VisionWorkshops，ICCV Workshops.IEEE，2009:689-696.14郑德华.ICP算法及其在建筑物扫描点云数据配准中的应用 J.测绘科学，2007（2）:31-32，177.15 陈学伟，朱耀麟，武桐，等.基于SAC-IA和改进ICP算法的点云配准技术 J.西安工程大学学报，2017，31（3）:395-401.（责任编辑：周晓芬）杜世立，付贵，陶嘉，等：多源数据融合的三维建模技术研究87