基于人工智能的沉浸式演艺系统在冬奥会开幕式中的应用.pdf

广播与电视技术 2023年 第50卷 第6期14热点 论点沉浸式/云游戏 Immersion/Cloud Games基于人工智能的沉浸式演艺系统在 冬奥会开幕式中的应用【摘 要】在现今的大型演出过程中，不断融入了新科技的元素。本论文以冬奥会开幕式演出为实例，对比分析技术实现的方案，提出将基于人工智能的实时特效系统，很好地结合在冬奥会演出中，并解决实时演出中的技术难点。虽然项目的实施过程中出现了很多困难和挑战，但是对未来的智能影像解决方案提供了开拓性的借鉴。【关键词】实时特效，人工智能，冬奥会，大型演出【中图分类号】TP18 【文献标识码】B 【DOI编码】10.16171/ki.rtbe.20230006002【本文献信息】臧可.基于人工智能的沉浸式演艺系统在冬奥会开幕式中的应用J.广播与电视技术，2023,Vol.50(6).Application of Immersive Performance System Based on Artificial Intelligence in the Opening Ceremony of the Winter OlympicsZang Ke(Beijing Film Academy,Beijing 100088,China)Abstract In the process of todays large-scale performances,new technological elements have been continuously integrated.Taking the opening ceremony of the Winter Olympics as a practical example,this paper compares and analyzes the technical implementation solutions,and proposes an implementation special effects system based on artificial intelligence.This effectively combines advanced technology into the performance of the Winter Olympic,and solves the technical difficulties in real-time performances.Although there are many difficulties and challenges in the implementation process of the project,it provides a pioneering reference for future intelligent imaging solutions.Keywords Real-time special effects,Artificial intelligence,Winter Olympics Games,Large-scale performance臧可(北京电影学院，北京 100088)0 引言举世瞩目的北京 2022 年冬奥会和冬残奥会胜利落下帷幕，兼具诗意与浪漫、实现艺术与科技完美结合的开闭幕式，赢得了全世界高度赞誉。能够参与冬奥会开闭幕式工作部科技创新小组，为祖国的冬奥舞台尽一份力，笔者十分有幸。本届冬奥会的核心理念是绿色、简约、科技，不同于2008 年夏季奥运会上国家硬实力的宣传，这次更加充满了民族自信，低调地通过科技手段“秀文化”。为充分展现科技冬奥的创新理念，立足多年的研究经验和成果，我们运用“计算机视觉”“人工神经网络”“实时图形渲染”“精准时钟同步”“HDR”等技术开发出一套面向大型演出的“人工智能实时特效系统”，为北京冬奥会开闭幕式工作部与导演团队提出的真实演员与虚拟影像实时互动创意提供了技术解决方案，实现了国家级演出活动中前所未有的大规模实时互动视觉 特效。在开幕式节目雪花中，如图 1 所示，500 多名手持和平鸽道具的孩子在超过 1 万平米的 LED 屏幕上自由表演，每个人脚下都有闪亮的雪花特效时刻跟随，充分展现了孩子们的自由欢愉，而成为开幕式的亮点。这一基于“人工智能实时特效系统”实现的互动视觉效果是世界范围内首次采用AI 算法在节目现场实现如此规模的实时定位、实时渲染。如图 2 所示，致敬人民是另一个采用“人工智能实时特效系统”的节目。由百万量级图形粒子实时形成的动态雪浪被 24 个轮滑演员实时“推开”，AI 算法实时识别演员的动作与位置，让演员不再需要长时间的“精准排练”来实现艺广播与电视技术 2023年 第50卷 第6期15热点 论点Immersion/Cloud Games 沉浸式/云游戏术效果，充分展现了北京冬奥会开幕式“科技创新与艺术创意”相结合的理念。1 技术对比图像识别技术目前已在众多领域得到广泛应用，如人脸识别、公安侦察、地质探测等领域。而将这种技术运用在大型演出中，本课题属于首次。其过程最难突破的是实施的困难和风险的挑战。大型演出已有上百年历史，由传统舞台到现今以 LED 投放视频背景结合台上演员表演的呈现形式越来越普遍。在演员和视频背景的配合过程中，一般采用的是通过排练的准确性来解决和确保人和画面之间的自然和流畅。例如行进方阵随着画轴打开的节目，就要求演员必须严格按照画轴铺开的速度行走，并且通过反复的训练达到更好的准确性，而本课题提出的演员定位捕捉的技术方案很好地解决了这个难题。1.1 具体的系统方案“演员定位系统”是互动视效实现平台的设计重点，该系统又可进一步分为“图像采集系统”和“位置追踪与动作识别系统”。结合调研数据对演出场地进行采集区域划分与摄像机布设位置选择。在场馆部署一套由多台高帧率、4K 无压缩、光纤万兆输出的工业摄像机构建的摄像机阵列，对表演对象进行多角度拍摄。搭建服务器机房，部署一套高性能图像采集服务器。使用光纤构建的万兆以太网，结合 PTP 技术实现摄像机阵列的精准同步控制并将数据传输至采集服务器。服务器对数据进行整合处理并输出动作分析需要的数据格式。进而基于人工智能领域“卷积神经网络”算法的实时特效系统实现 1 万平米表演区域上 500 多个对象的识别与定位，定位误差在 15cm 以内。分布在冬奥会开闭幕式主场馆“鸟巢”不同区域的相机系统、AI 运算服务器、实时渲染服务器等设备使用万兆光缆相互连接，配合高性能处理单元，实时特效系统的全链路处理延迟仅约 100ms。1.2 位置追踪与动作识别系统的开发与搭建部署一套高性能计算机视觉算法服务器以运行本项目开发的“超低延迟动作识别算法”，对获取自采集系统的图像数据进行逐帧识别，实现稳定的多对象精确定位与动作识别，生成“实时视效渲染系统”所需的效果驱动数据。“目标定位程序”基于卷积神经网络中检测速度较高的YOLO 算法进行“目标检测”。借助节目排练时采集的图片数据对神经网络进行训练后，图像中的演员会以边界框的形式被框选出来，将边界框底边的几何中心点作为演员站立位置的参考点，再结合预先输入程序的相机标定参数，即可得出演员在实际舞台平面的位置坐标。YOLO 实现快速检测的核心机制在于预先将输入的图像用二维网格划分成若干个格子，每个格子根据卷积网络提取的特征直接进行物体的类别与位置预测，一次性完成分类和检测任务。使用 YOLO 算法有以下参数可以根据被检测目标的特点进行调整：1.YOLO 的网格分辨率。YOLO 算法会对图像进行网格划分，通过提高网格的分辨率，可以提升对较小目标的检测效果，但这种操作会增加运算耗能，影响检测速度。2.每个格子内负责进行位置预测的锚框（anchor box）数量以及大小。该参数可以根据训练时的数据集进行设定，从而使算法更好地适应特定的检测目标。3.检测阈值。通过降低阈值，可以令算法输出更多的预测框，在有大量对象需要检测时可以提升检测率，但也会增加误检的可能性。2 项目实施本系统使用高性能工业摄像头对表演区域进行视频数据采集，借助实时追踪算法对视频数据进行“目标检测”分析，获得人物对象（演员）在视频画面中的位置，再基于（预先测定的）画面像素与真实物理空间的映射关系，得到人物对象在表演场地的物理位置。物理位置以坐标形式经以太网发送给实时图形渲染系统，作为图形效果的生成位置依据。图形渲染系统的输出信号通过地面铺设的 LED 进行显示。图1 开幕式节目雪花演出现场图2 开幕式节目致敬人民现场广播与电视技术 2023年 第50卷 第6期16热点 论点沉浸式/云游戏 Immersion/Cloud Games2.1 系统方案本系统涉及两个核心程序的开发，以及三个硬件子系统的设计与部署。两个核心程序为：多目标跟踪程序、互动视效程序；三个硬件子系统为：视频采集系统、跟踪运算服务器系统、图形渲染服务器系统。为了保证可靠性，系统采用主备双系统独立并行运作机制，主、备系统之间可实时“热切换”，确保演出效果实时无缝切换。2.2 多目标跟踪程序多目标跟踪程序的功能是使用演出现场拍摄的视频数据得到画面中演员站立的物理位置，并以网络形式发送位置数据给后端系统。本项目要求在大范围区域（超过 1 万平米）同时测定大量对象（500 个以上演员）的表演位置，且测量频率不低于30 次每秒。如图 3 所示，程序基于卷积神经网络中检测速度较高的 YOLO 算法快速识别出画面中的特定人物对象，再基于视频画面中像素与真实物理空间的映射关系得出人物对象在物理空间的坐标，并根据实际情况设计坐标处理算法，以实现多目标的持续追踪。视频画面中像素与真实物理空间的映射关系通过在演出现场的表演区域（通过 LED 屏幕）显示标定用矩阵图形来得出。2.3 互动视效程序互动视效程序是以实时图形渲染引擎为平台开发的特殊视效程序，如图 4 所示。根据节目视觉设计需求，本项目视效程序主要由实时粒子特效模块与高分辨率视频播放模块构成。峰值粒子发射器数为 600 个，峰值粒子总数超过 300 万，粒子发射器位置可由来自目标跟踪程序的坐标实时控制，粒子渲染使用 HDR 技术进行效果增强。视频播放单元支持 8K 分辨率HAP 编码的高品质视频文件实时解码播放，并能使用网络命令控制视频播放以及视频与粒子效果的混合处理模式1。互动视效程序使用渲染周期控制算法优化了多台渲染单元与目标跟踪处理的同步性，最大程度降低系统的全链路处理延迟。2.4 视频采集系统根据前期对演出场地与演出环境的调研数据，视频采集系统由国家体育场六层观众席最高处布设的 4 台工业摄像机构成，如图 5 所示。每台摄像机负责场地约 1/4 区域，以4K、60fps 参数运行。摄像机采集的视频数据使用光纤经交换机传输给多目标跟踪程序的运算服务器。视频数据输出采用无压缩 RGB 形式，传输带宽为 10Gbit/s。考虑到单台采集设备的覆盖范围，以及人物对象跟踪程序的算力开销，本项目将 155m76m 的表演区域均分为 4 个 区域，每个区域由 1 台相机负责。系统采用 PTP 技术保证 4 台 摄像机的精准时钟同步，有效降低整个系统的处理延迟。2.5 跟踪运算服务器系统跟踪运算服务器系统由 5 台高性能机架式服务器、1 台PTP 时钟源以及相关网络设备构成，如图 6 所示。其中 4 台运算服务器通过以太网接收视频采集系统的图像数据；另 1 台 服务器负责汇总并处理由 4 台运算服务器得到的坐标数据，并将处理后的坐标数据发送给实时视效渲染服务器。5 台运算服务器与采集系统的 4 台工业相机借助 PTP 技术保持时钟同步，这项设计保证了系统四个区域的每一帧画面同时开始采集与运算，以缩减系统从拍摄表演对象至得出对象位置坐标的处理时间。在完成 500 个对象的实时跟踪时，跟踪运算服务器系统能实现每秒 30 次以上的坐标数据更新，全链路处理延迟不高于 80ms。2.6 图形渲染服务器系统图形渲染服务器系统由 3 台高性能图形渲染服务器构成，如图 7 所示，每台服务器可输出 8K、60fps 的视频信号，图形渲染服务器通过万兆以太网交换机与跟踪运算服务器系统进行 UDP 数据通信，以获取表演对象的坐标数据及辅助数据。实际应用中，如图 8 所示，图形渲染服务器系统能够保证互动视效程序全程以每秒 60 帧的帧率执行实时特效渲染，并借助渲染周期控制算法与 nvidia 的 mosaic 技术实现系统多路视频信号输出的同步性。3 项目实施及统筹本课题的实施主体是北京电影学院智能影像创意团队，并开展于科技冬奥的各个项目实施之中。这些任务和项目要么是具有一定国家战略性，要么是能突出前沿科技的。我所图3 多目标跟踪程序图4 互动视效程序的实验室演示图5 视频采集系统的工业相机广播与电视技术 2023年 第50卷 第6期17热点 论点Immersion/Cloud Games 沉浸式/云游戏在的团队接下来将时间和精力聚焦在了落实开闭幕式节目中的实时视觉效果上。虽然听起来简单，但是在国际舞台上首次引用“实时”的概念，所有人心里都很没底。阻碍、困难和挑战每天都接踵而至，需要持续打磨技术及解决方案，不断追求更好、更完美的效果。于是真正艰巨的任务出现在了我们的视效方案被选定之后。3.1 节目方案的选定根据节目设计，由我们负责的互动风雪特效需要叠加在节目已有的视频图案上呈现，而因为互动特效之前没有被任何节目使用，所以实时特效渲染系统还没有和视频画面播放系统完成信号互通，且演员定位系统对实时特效渲染系统的驱动也因针对大规模群体对象识别的技术路线调整而尚未完成，这些现状意味着，如果想在第一次正式彩排就展现出我们的工作效果，必须在一周时间内完成从互动内容的设计、制作到实时图形系统的构建与部署等全流程工作，并且要和轮滑演员的分场导演、灯光、舞美以及 LED 播放控制等团队协调，才能完成导演要求的全要素彩排。实施统筹工作中第一个艰巨的任务，是将创意效果通过地面 LED 呈现给总导演，而对我来说最大的考验就是各种繁杂的交涉工作，例如：和其他视频制作团队和分场导演共享、争取投屏的时间；与播控团队磨合、协调视频与实时特效的切换方式；与地屏显示装置团队商议、测试最佳的系统集成方式；与分场导演和演员沟通、探讨最佳的节目呈现方式；与鸟巢物业部门协商机房、电力、网络的规划及安全相关问题等等。面对如此紧迫的时间和艰难的条件，当节目效果终于在彩排中首次出现，整个团队都为之激动万分。3.2 节目实施的不确定性实施统筹的过程中随时都会出现各式各样的问题和变化，而这些统统给工作带来了不小的压力和不确定性。在临近冬奥会开幕的时间里，除了日常的组织协调工作，有时还会面临紧急的“救场”工作。距离开幕式还有不到半个月的时候，我们的实时渲染还没有纳入到地屏显示装置的备份系统图6 跟踪运算系统服务器中，在经历了同其他多个部门进行积极努力的谈判、协商后，依然没有明确结论。没有备份就意味着“开天窗”，系统随时可能遭受到诸如连接失常等不可预知的风险。此时的团队十分焦虑，在如此重要的仪式上，任何失误的代价都是无法 预估的。虽然条件十分艰难，任务异常庞杂，但是在奥运精神的激励下，团队在临危受命的关键时刻，通力协作，攻坚克难，勇于担当，尽职尽责，以实际行动奉献冬奥，使备份系统的问题由被动推进的态势扭转到主动开展，最终得到了解决，为开幕式的精彩举办提供了更加有力的保障。在各方的支持配合下，开幕式的实时视觉特效在全球亿万观众瞩目下成功交付，应用在砥砺前行和雪花两个节目中，也是世界广播史上的一次大胆尝试。4 展望在数字娱乐、沉浸式展示、实景演出、文旅等行业，制作互动视觉效果的需求越来越常见。本项目针对冬奥大型演出的实际需求，打造出“AI+互动+艺术”的科技应用示范，利用人工智能（AI）技术，研发多模态数字文化内容呈现及交互系统，构建数字奥运文化体验空间；利用沉浸式多媒体展示技术和多模态人机交互系统，营造奥运文化的沉浸式体验，并能基于此开展具有冬奥特色的智慧伴游、智慧展示文旅融合等应用示范。参考文献：1 BOCHKOVSKIY A,WANG C Y,LIAO H Y M.YOLOv4:optimal speed and accuracy of object detectionEB/OL.2020:arXiv:2004.10934.https:/arxiv.org/abs/2004.10934.第一作者简介：臧可（1985），男，北京电影学院讲师，博士。主要从事音像技术方面的研究，曾参与过 2022 冬奥会开幕式等重大项目。图7 图形渲染服务器图8 现场多路视频同步输出