AR-VR技术研究及其应用.ppt

1增强现实技术增强现实技术研究及其应用研究及其应用-2-2l概念概念l增强现实增强现实 VS VS 虚拟现实虚拟现实l增强现实系统增强现实系统lARAR技术的发展与研究现状技术的发展与研究现状lARAR关键技术关键技术l应用实例应用实例主要内容主要内容-3-3l增强现实（增强现实（Augmented Reality，AR）是虚拟）是虚拟现实技术（现实技术（Virtual Reality，VR）的一个重要分）的一个重要分支，也是近年来的研究热点支，也是近年来的研究热点l将计算机生成的虚拟物体或其它信息叠加到真实将计算机生成的虚拟物体或其它信息叠加到真实场景中，从而实现对现实的场景中，从而实现对现实的“增强增强”l综合了计算机图形、光电成像、融合显示、多传综合了计算机图形、光电成像、融合显示、多传感器、图像处理、计算机视觉等多门学科感器、图像处理、计算机视觉等多门学科一、概念一、概念-4-4一、概念一、概念-5-5lVRVR强调的是虚拟世界给人的沉浸感，强调人能以强调的是虚拟世界给人的沉浸感，强调人能以自然方式与虚拟世界中的对象进行交互操作自然方式与虚拟世界中的对象进行交互操作lARAR则强调在真实场景中融入计算机生成的虚拟信则强调在真实场景中融入计算机生成的虚拟信息的能力，它并不隔断观察者与真实世界之间的息的能力，它并不隔断观察者与真实世界之间的联系。联系。lARAR具有较低的硬件要求、更高的注册精度、更具具有较低的硬件要求、更高的注册精度、更具真实感真实感二、增强现实二、增强现实 VS 虚拟现实虚拟现实虚拟现实场景虚拟现实场景 增强现实场景增强现实场景-6-6l虚实结合虚实结合l实时交互实时交互l三维注册三维注册三、增强现实系统三、增强现实系统-7-7l90年代以前，年代以前，AR的概念还比较模糊；的概念还比较模糊；90年代是年代是AR技术迅速发展的技术迅速发展的10年。比较有名的研究机构年。比较有名的研究机构有：有：l美国麻省理工大学的图像导航外科手术室美国麻省理工大学的图像导航外科手术室l哥伦比亚大学的图形和用户交互实验室哥伦比亚大学的图形和用户交互实验室l日本的混合现实实验室日本的混合现实实验室l德国的德国的Arvika组织组织l新加坡的混合现实实验室新加坡的混合现实实验室l此外，用于快速开发的开源软件工具此外，用于快速开发的开源软件工具ARToolkit也由华盛顿大学的图形实验室成功开发并维护至也由华盛顿大学的图形实验室成功开发并维护至今今四、四、AR技术的发展与研究现状技术的发展与研究现状-8-8l原有的研究领域拓展到多个新的领域，如城市规原有的研究领域拓展到多个新的领域，如城市规划、娱乐教育、工业仿真、文化遗产保护等划、娱乐教育、工业仿真、文化遗产保护等lAR系统由简单的桌面式扩展到户外可携带型、空系统由简单的桌面式扩展到户外可携带型、空间体验型间体验型l显示设备也从头盔显示器延伸到大型可触摸式、显示设备也从头盔显示器延伸到大型可触摸式、桌面投射式和便携式桌面投射式和便携式四、四、AR技术的发展与研究现状技术的发展与研究现状增强现实显示器仍相当笨重，但开发人员相信增强现实显示器仍相当笨重，但开发人员相信他们可以开发出类似眼镜的显示器他们可以开发出类似眼镜的显示器-9-9l我国在我国在AR领域的研究起步较晚，研究机构主要集领域的研究起步较晚，研究机构主要集中在高校的科研单位中在高校的科研单位l北京理工大学北京理工大学l北京航空航天大学北京航空航天大学l国防大学国防大学l浙江大学浙江大学l上海大学上海大学l从国内发表的论文来看，主要集中在系统应用和从国内发表的论文来看，主要集中在系统应用和配准技术上，研究的问题比较单一、涉及面比较配准技术上，研究的问题比较单一、涉及面比较窄窄l另外，从专利申请的情况看，全球共有另外，从专利申请的情况看，全球共有108个，个，这之中我国仅有北京理工大学的一个这之中我国仅有北京理工大学的一个（2008年数据）年数据）四、四、AR技术的发展与研究现状技术的发展与研究现状-10-10l目前国内目前国内AR的研究成果主要有：的研究成果主要有：l北京理工大学自主研制了视频、光学穿透式两类头盔北京理工大学自主研制了视频、光学穿透式两类头盔显示器显示器l北京理工大学利用北京理工大学利用AR技术重建圆明园的实验也取得了技术重建圆明园的实验也取得了重要进展重要进展l上海大学快速制造工程中心与浙江大学合作开发了上海大学快速制造工程中心与浙江大学合作开发了AR场景光源的实时检测和真实感绘制框架场景光源的实时检测和真实感绘制框架l此外，在城市规划、地下管网、地理信息系统等领域此外，在城市规划、地下管网、地理信息系统等领域也有相关的研究也有相关的研究四、四、AR技术的发展与研究现状技术的发展与研究现状-11-11四、四、AR技术的发展与研究现状技术的发展与研究现状 真实场景真实场景 增强现实场景增强现实场景视频透视式头盔显示器视频透视式头盔显示器光学透视式头盔显示器光学透视式头盔显示器-12-12五、五、AR关键技术关键技术虚实物体配准虚实物体配准显示技术显示技术真实感绘制技术真实感绘制技术-13-13l虚实物体配准虚实物体配准l对真实场景图像和计算机生成的虚拟物体进行无缝合对真实场景图像和计算机生成的虚拟物体进行无缝合成是实现成是实现AR的首先目标的首先目标l其实质是将两者其实质是将两者“对齐对齐”的过程，即：先根据真实物的过程，即：先根据真实物体确定虚拟物体与观察者之间的关系，然后通过正确体确定虚拟物体与观察者之间的关系，然后通过正确的投影将虚拟物体投影至观察者的视域范围的投影将虚拟物体投影至观察者的视域范围l要求正确（无延时）、快速（精确、无抖动）、鲁棒要求正确（无延时）、快速（精确、无抖动）、鲁棒（不受光照、遮挡、物体运动的影响）（不受光照、遮挡、物体运动的影响）五、五、AR关键技术关键技术-14-14五、五、AR关键技术关键技术几何配准方法几何配准方法原理原理优点优点缺点缺点基于硬件跟踪器的配准技术据信号发射源和感知器获取的数据求出物体的相对空间位置和方向系统延迟小设备昂贵、对外部传感器的校准比较难，且受设备和移动空间的限制，系统安装不方便基于视觉计算的配准技术根据一幅或几幅真实场景图像反求出观察者的运动轨迹，从而确定虚拟信息“对齐”的位置和方向无需特殊硬件设备，配准精度高计算复杂性高，造成系统延迟大；大多数都用非线性迭代，造成误差难控制、鲁棒性不强的缺点两者混合的配准技术根据硬件设备定位用户的头部运动位姿，同时借助视觉方法对配准结果进行误差补偿算法鲁棒性强、定标精度高系统成本高、系统安装繁琐、移植困难-15-15l显示技术显示技术l在观察者的眼睛和真实物体之间的光路上成像的技术在观察者的眼睛和真实物体之间的光路上成像的技术l根据光路上成像位置的不同可以分为三类根据光路上成像位置的不同可以分为三类五、五、AR关键技术关键技术分类分类成像距离成像距离优点优点缺点缺点头戴式显示技术成像在离观察者眼睛大约4-10厘米处，观察者头部需要戴上显示设备分辨率低、视域受限手持式显示技术成像于离观察者一个手臂远的距离处理器性能低、存储容量小、视域范围小、摄像头精度低空间显示技术将显示设备和人体分离，并在离人体较远处成像支持高分辨率、宽视域、高亮型和高对比度的影像不可移动性、合成影像精度低-16-16l真实感绘制技术真实感绘制技术l其目标是将真实场景和计算机生成的虚拟物体无缝合其目标是将真实场景和计算机生成的虚拟物体无缝合成，并最终使观察者感觉不到真实物体和虚拟物体的成，并最终使观察者感觉不到真实物体和虚拟物体的区别区别五、五、AR关键技术关键技术-17-17六、应用实例六、应用实例医疗医疗北卡罗莱纳大学的北卡罗莱纳大学的AR辅助辅助B超超检查和胸部活组织切片检查和胸部活组织切片伦敦伦敦Guys医院医院MAGI项目项目协协助医生从耳道中取出神经瘤助医生从耳道中取出神经瘤卡内基梅隆大学的卡内基梅隆大学的“魔眼魔眼”工程工程布朗大学的外科手术培训系统布朗大学的外科手术培训系统-18-18六、应用实例六、应用实例教育教育欧洲计算机工业研究中心的机械模型注解欧洲计算机工业研究中心的机械模型注解-19-19六、应用实例六、应用实例工业工业SONY公司公司TransVision增增强现实样机系统强现实样机系统参与者看到的图像参与者看到的图像-20-20六、应用实例六、应用实例商业商业微软推增强现实技术微软推增强现实技术新应用新应用-记事帖记事帖日本新宿高岛屋百货日本新宿高岛屋百货公司内的数字化妆镜公司内的数字化妆镜-21-21六、应用实例六、应用实例市政市政-22-22六、应用实例六、应用实例文化文化希腊、土耳其的历史希腊、土耳其的历史古迹数字重建古迹数字重建-23-23六、应用实例六、应用实例文化文化l“数字敦煌数字敦煌”工程工程l由中国科学院计算机研究由中国科学院计算机研究所、武汉大学和浙江大学所、武汉大学和浙江大学联手攻关联手攻关l预计完成需要预计完成需要10年至年至20年年的时间的时间l包括虚拟现实、增强现实包括虚拟现实、增强现实和交互现实和交互现实3个部分个部分