多视图像三维重建技术及其创新应用发展.pdf
《多视图像三维重建技术及其创新应用发展.pdf》由会员分享,可在线阅读,更多相关《多视图像三维重建技术及其创新应用发展.pdf(4页珍藏版)》请在咨信网上搜索。
1、2023 年第 7 期90计算机应用信息技术与信息化多视图像三维重建技术及其创新应用发展赵斯杰1 肖 罡1,2 戴璐祎2 万可谦1 李华旸3 杨钦文2 ZHAO Sijie XIAO Gang DAI Luyi WAN Keqian LI Huayang YANG Qinwen 摘要 多视图像三维重建是虚拟现实(virtual reality,VR)建模领域中的一个重要技术环节。综述了多视图像三维重建技术中,基于体素表达、基于表面演化、基于特征点增长、基于深度图融合等四个类型的技术特点及发展动态,剖析了该项技术在 VR 行业中的应用现状,展望了多视图像三维重建技术相关产品的创新设计趋势,探讨了
2、创新技术产品在 VR 领域的应用发展前景,为三维重建技术与 VR 领域的融合发展与创新应用提供参考及思路。关键词 多视图像;三维重建;立体视觉;虚拟现实doi:10.3969/j.issn.1672-9528.2023.07.0231.江西科骏实业有限公司 江西南昌 3301002.湖南大学机械与运载工程学院 湖南长沙 4100823.江西财经大学虚拟现实(VR)现代产业学院 江西南昌 330100 基金项目 江西省自然科学基金杰出青年基金资助项目(20224ACB218002);江西省高层次高技能领军人才培养工程资助项目;江西省虚拟现实关键应用技术攻关(揭榜挂帅)项目(20213ABC03V
3、01)0 引言随着数字经济的快速发展,虚拟现实作为新一代信息技术的前沿方向,是数字经济时代的前瞻领域,正在深刻改变人们的生活和工作方式。提升“VR+”的内生与赋能能力,进一步促成关键技术融合创新,是当前 VR 领域技术发展的重点任务之一1。三维建模与内容制作是 VR 产业发展的关键环节,是行业资源的主要聚集方向。伴随着 VR 行业的爆炸式发展,内容制作的流程和规范已基本实现了标准化,在此基础上将三维重建技术融入 VR 内容制作,将对行业发展起到革命性促进作用。本文将通过剖析多视图像三维重建技术发展和应用现状,综述技术创新发展趋势,探讨三维重建技术在 VR 行业的产品化方向。1 多视图像三维重建
4、技术发展基于多视图像的三维重建技术,是三维重建技术领域的一个重要分支,其核心是基于多视角立体视觉(multiple view stereo,MVS)理论算法,在多张图像中间寻找共同特征,将图像提取获得的稀疏点云逐步叠加并融合生成稠密点云,使得重建出的三维模型纹理更加接近真实拍摄的视觉效果2-3。多视角立体视觉算法根据算法基于的视觉元素一般分为四类,分别是基于体素表达的方法、基于表面演化的方法、基于特征点增长的方法以及基于深度图融合的方法4。1.1 基于体素表达的构建方法该类方法以 3D 体积的对象边界框作为对象进行成本函数计算。Seit 等人5提出了一个体素着色框架。Vogiatzis 等人6
5、使用图形切割优化来计算包含最大可能体积的最小表面,其中表面积只是该光一致性场中的表面积分。Sinha 等人7提出使用照片一致性来引导边界体积的粗网格的自适应细分,从而生成多分辨率体积网格,该网格在可能包含未知表面的部分中密集镶嵌(图 1)。然而,这些方法仅适用于允许紧密封闭框的紧凑对象,对于大规模场景来说其计算和内存成本令人望而却步。图 1 三维网格 M 的对偶图 G 上的图切公式的二维图解1.2 基于表面演化的构建方法该类方法迭代地演化初始猜测以对图片的一致性测量进行改善,从而得到最优的物体表面结果。Faugeras 等人8首先通过初始表面基于变分原理进行变形,然后朝向要检测的对象移动。Hi
6、ep 等人9使用最小 s-t 切割来生成粗略的初始网格,然后用变分方法对其进行细化以捕获小细节。Cremers等人10将重建问题表述为凸函数最小化,其中精确的轮廓一致性被强加为限制可行函数域的凸约束(图 2)。然而,这些方法的计算过程依赖于空间的体素表示,由于计算复杂度的限制因此在大规模场景进行推广。2023 年第 7 期91计算机应用信息技术与信息化图 2 剪影一致性示意图1.3 基于特征点增长的构建方法该类方法首先对纹理集中区域进行特征点提取与重建,然后将同种操作向非纹理区域进行扩展。Lhuillier 等人11提出了一种准密集方法来获取 3D 表面模型。Furukawa 等人12提出了一
7、种基于补丁的 MVS(PMVS)方法(图 3)。基于PMVS、Wu 等人13提出了一种基于张量的 MVS 方法,用于准密集 3D 重建,尽管可以将输入图像分解为具有小重叠的块,但对于大规模场景,其计算复杂度仍然很高。图 3 特征的极线约束示意图1.4 基于深度图融合的构建方法该类方法是从双目立体到多视图的自然扩展,其点云构建流程如图 4 所示。Goesele 等人14基于归一化互相关理论的(normalized cross correlation,NCC)的像素窗口匹配技术对初始深度分布图进行重建,然后基于深度分布图对体积积分结果进行融合,并生成完整点云模型。Merrell 等人15首先使用立
8、体算法生成可能含噪的重叠深度图以降低一定的计算成本,然后基于各点之间的可见性关系融合深度图以获得集成表面。Zach 等人16提出了一种基于能量泛函进行全局优化的方法,由总变化正则化力和 L1 数据保真项组成,该方法可以更好地优化深度图。近些年来,出现了一些基于深度学习的 MVS 方法,其中最经典的方法即为 MVSNet17。其本质是借鉴基于两张图片成本量的双目立体匹配的深度估计方法,扩展到多张图片的深度估计。MVSNet 是一个端到端的 MVS 网络(图 5),每次只计算一个深度图,而不是立即计算整个三维场景,这样的思路保证了大规模三维重建的可行性。图 5 MVSNet 示意图2 多视图像三维
9、重建技术的产品化应用分析基础素材获取方式简单是其最显著的产品特点,通过融合不同视角下的物体图像的深度信息和多视角信息,可实现物体的三维重建。从技术特点的角度分析,多视图像三维重建技术适用于 VR 内容制作过程中的模型生产,通过简单的拍照可直接生成用于内容制作的三维模型,极大的节约模型的制作成本,提高生产效率。在上述前提下,还应进一步对产品的关键因素进行分析:首先,需要降低图片素材的获取难度,能通过便携的拍摄设备获取图片,且对于图片的像素质量和视角偏差有一定的容错性;其次,提高三维重建的效率,能实时的给出参考效果,以便于用户及时做决策;第三,用于三维重建的计算设备成本要合理。多视图像三维重建技术
10、体系下,具体到每一种视觉计算方法,其产品所需特性并不一致。基于体素表达的方法,本质是构建代价立方体,利用光度一致性代价对体素进行自适应划分。针对基于体素表达的方法存在如下局限性:1、对于拍摄的环境要求较高,需要在光照条件高一致性的环境下进行,而且需要考虑到拍摄者本身对于光源的遮挡而产生的光度变化;2、对于算力的需求高,通过代价立方体的方式生成大量体素并进行表面化计算会相对更加消耗算力,计算的设备成本也偏高,同时很难实时呈现重建效果。基于表面演化的方法,本质是利用最小化面片的表面光度一致性求解最优的物体表面。因此,该方法对于拍摄环境的要求依然严格,而且用体素表达物体空间对算力的需求依然偏大,但其
11、演化式的迭代计算过程有助于实时呈现重建效果。基于特征点增长的方法,在纹理丰富的区域重建出若干三维特征点,以这些三维点为种子点逐步扩展到弱纹理区域。相比于基于体素表达和表面演化的方法,基于特征点增长的方法增加了可见性约束和几何一致性,减少了对光度一致性图 4 点云构建方法示意图2023 年第 7 期92计算机应用信息技术与信息化约束的依赖,因此其对拍摄环境和过程的要求相对更宽容,素材相对易获取,细节的还原度也较高,但由于可伸缩性问题,对大规模场景进行三维重建时,会导致计算力消耗过高。基于深度图融合的方法,以块匹配的方法最为普遍。由于不需要构建代价立方体,因此能够处理高分辨的图像,同时借助 GPU
12、 的高并行能力,深度估计也可以较为高效。相比于前述的三种方法,该方法的三维重建效率最高,可匹配大规模的场景重建,但这类方法通常需要集成局部平滑的先验,因此对细节的描绘不如前三种方法,往往不适用于单个物品的三维重建。综上,根据多视图像三维重建的技术发展趋势分析,面向产品会分化为两条特色路径,一个是以单个物体细节还原为主要方向的重建方法,以特征点增长方法为代表,通过物品多视角图片集为素材,进行特征还原;另一个是以大规模场景还原为主要方向的重建方法,以深度图融合方法为代表,需要大规模采集场景图片和深度信息进行还原重建。3 多视图三维重建技术及产品的创新发展三维模型构建是 VR 内容制作的关键环节,建
13、模效率和精度很大程度上决定了 VR 产品的开发周期和质量18。伴随VR 内容开发的迫切需求以及三维重建技术的迭代发展,市面上已开始出现用于辅助 VR 行业美术开发人员进行 VR 模型制作的三维重建独立产品,用以提高三维模型制作效率、降低人员成本以及模型开发质量的不稳定性。比较典型的产品有手机 App 类型的摄图建模应用(图 6)、网站类型的上传图片建模应用(图7)、机载和车载类的融合建模系统(图8)等。目前已问世的产品虽一定程度的展现出了较好的应用成效,但仍存在一些技术缺陷,主要包括如下两个方面:(1)三维重建获得的 VR 模型,虽然可以直接用于模型展示,但无法被赋予复杂交互,比如:经过三维重
14、建的水壶的壶身和壶盖无法分离;经过三维重建的环境场景中的物品无法改变位置等,然而这些复杂交互功能却是 VR 内容制作非常重要的环节。(2)所构建得到的三维模型,普遍面数较高、渲染性能较低,然而在 VR 内容制作时,会对模型有较高的性能优化要求,过多面数的模型会过度消耗 XR 设备的算力性能,导致用户体验感下降。因此,针对三维重建类产品的技术与应用创新,用以满足 VR 内容制作需求仍具有巨大挑战。图 6 3D Scanner 图 7 北科光大 3D Cloud 图 8 chcnv 华测伴随三维重建技术的持续迭代创新发展,快速重建效率和质量越来越高,可基本达到手工制作的模型效果19。针对三维重建依
15、赖度极高的 VR 产业,以及已问世的三维重建相关产品存在的应用效果不足,提出以下几个亟需持续创新的开发方向:(1)三维重建模型性能和效率的持续创新开发,围绕更低样本、更低算力需求的方向进行方法优化,以此降低用户对产品的学习成本和使用难度,大幅改善 VR 产品的可推广性;(2)结合模型语义理解和层级关联的三维重建技术的持续创新开发,能够实现自然语义理解下的模型拆分、装配和关联,进一步满足VR内容制作的模型交互需求,大幅提升VR模型的视觉效果;(3)集成 mesh 优化算法的三维重建技术的持续创新开发,可实现重建模型的 mesh 优化,大幅增强 VR 模型的渲染性能。4 结束语多视图像三维重建技术
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 视图 三维重建 技术 及其 创新 应用 发展
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。