Coldplay×BTS：《My Universe》AR全息投影舞台的虚实解构！

大热节目《美国之声》（The Voice）季终集的一大亮点是，BTS防弹少年团通过全息投影的方式，跨越太平洋与Coldplay“合体”表演热单《My Universe》。

合体舞台的策划早在节目数月前就已展开，由Coldplay Creative、Dimension Studio和虚拟制作机构All Of It Now (AOIN)共同完成。其中Dimension Studio拍摄了BTS乐队成员的原始镜头，AOIN团队则负责让想象成真。

可视化预览

舞台上的Coldplay成员和The Voice现场观众都看不到BTS防弹少年团，只有通过屏幕观看节目才能看到。为此，AOIN通过与(LD)Sooner Routhier合作，在舞台上使用特定的落地灯来帮助Coldplay主唱Chris Martin确定BTS出现在舞台上的时间和位置。

“我们大量使用可视化预览（previsualization），让Coldplay了解每一时刻背后的创意顺序，并向The Voice导演展示哪些类型的镜头效果良好，以及应该规避哪些镜头。”AOIN团队介绍。

AOIN团队收到来自The Voice团队的3D舞台配置，能够将表演者置于The Voice舞台的3D成像中。这一过程启用了关键的可视化预览，Coldplay Creative团队甚至可以在进入工作室之前测试AR表演者的配置、跟踪区域、过渡时间和摄像机遮挡。

AOIN能够将3D舞台和摄像机动线提取到虚拟引擎Unreal 中，用7台AR摄像机创造真实世界比例的精确图像，以便Coldplay可以预先知道每个时刻中哪些BTS成员是可视的，哪些摄像机可以精准捕捉这些时刻。因此可视化预览成为将这些时刻传达给所有相关人员的最佳方法。这种可视化预览对于充分利用有限的现场时间至关重要，还有助于将所有技术和创造性工作变得可以共同理解并且可以共享。

技术挑战

Dimension Studio提供了可全息处理的BTS原始捕捉视频，有两种格式，一种是Alembic序列，另一种是使用Microsoft针对Unreal Engine4.27.1的SVF插件的特殊mp4导出。由于同时播放7个Alembic序列的数据速率很高，因此选择mp4方法作为首选方法，AOIN和Dimension团队都在创意效果和序列方面取得了进展。

使用mp4方法需要克服一些技术挑战。UE4的当前SVF插件无法将mp4录音正确地跟踪为时间码。这需要AOIN和Microsoft合作重写SVF插件代码的元素，以便BTS表演者与舞台上的Coldplay保持同步。

体三维捕捉(volumetric capture)的原始录制视频在使用时的另一个挑战是BTS表演以24 FPS录制以匹配音乐视频帧速率，但 The Voice 是以 29.97 FPS 的速率制作和播放。将 24 FPS混合到29.97输出中会造成一些口型同步上的问题，不过AOIN能够在后期制作中解决这些问题。

现场部署

除了制作这场表演外，The Voice团队还在积极制作该赛季的剩余节目。这意味需要围绕 The Voice的现有演出和制作时间表安排和协调现场的各个方面，制作周期非常紧凑。该AR系统的安装依赖于几个不同的安装阶段：在演播室中为摄像机跟踪系统安装跟踪贴纸、绘制跟踪区域、为AR应用校准7个摄像机镜头、与The Voice团队一起排练和摄像机遮挡表演，然后最后在舞台上与Coldplay一起排练AR表演，这一切都要在7天内完成。在快节奏的电视制作计划中部署和校准7个AR摄像头并非易事，但在The Voice制作团队的帮助和支持下，AOIN团队能够顺利完成校准和安装。

“EIC Jerry Kaman在整个过程中的支持和监督对于这个项目的成功至关重要”，AOIN首席执行官Danny Firpo说， “这个安装过程通常是大多数项目出错的地方，但Jerry对The Voice制作计划的了解和经验、以及引入额外摄像机的建议，是这个过程如此成功的原因。”

AOIN与Stype及其Red Spy Fiber摄像机跟踪系统合作，并增强了2台已用于制作的Jib摄像机，然后用5台专用AR摄像机进行补充，即使在The Voice拍摄时也可以校准跟踪摄像机的另一个片段。

能否在巡演“复制”这一现场？

如果Coldplay想在即将到来的巡演中重现这一“合体”现场，技术难度有多大？

“体三维捕捉视频的好处在于它确实使这些内容在更多节目中更‘便携’，而且我们之前有过在巡演中使用AR技术的经验。我们是首批为BTS ‘2019 Love Yourself, Speak Yourself ’巡演提供AR制作的公司之一。”AOIN介绍，“最困难的部分是AR相机校准过程，这可能很耗时，没有一颗强心脏不建议浅尝。但如果有适当的计划部署，完全可以做到。”

但在目前的技术手段，巡演现场的观众并不能看到全息投影的内容。“这就是我们为什么说IMAG屏幕在体育场级节目中扮演非常重要的角色，观众可以在IMAG屏幕上观看表演内容。同样地，为了增加The Voice现场观众的体验，我们与制作部门合作‘指导观众’以响应关键的AR时刻，就好像BTS真的在舞台上一样。”

标准IMAG和AR feed之间的延迟通常为5-7帧。这种延迟在体育场表演中通常是可以接受的，因为PA到体育场后方的延迟通常可以匹配此AR工作流程产生的额外延迟。“对于The Voice节目，在播出时，我们能够延迟标准摄像机输入以匹配AR输入的延迟，这使得导播更容易在AR和非AR摄像机之间进行切换。也就是说，这是我们在流程早期与创意和技术方进行对话，以确保我们与预期保持一致，并制定策略来解决这种增加的延迟。”AOIN总结道。

AOIN团队部分成员

科幻电影与现实的距离，是每一个幕后人向前奔跑的目标。

制作团队

Coldplay Creative 团队

Coldplay Creative总监：Phil Harvey

制作设计师兼联合创意总监 ：Misty Buckley

视觉内容主管：Sam Seager

灯光设计师：Sooner Routhier

项目创意经理：Grant Draper

屏幕导演：Joshua Koffman

视频设计师：Leo Flint

屏幕内容创建：NorthHouse Creative

AOIN现场团队

执行制片人：Danny Firpo

制作经理：Nicole Plaza

技术总监：Berto Mora

高级UE4技术美术：Jeffrey Hepburn

高级AR工程师：Neil Carman

AR工程师：Preston Altree

体三维捕捉工作室：Dimension, London

执行制片人/联合导演：Simon Windsor

销售/客户总监：Yush Kalia

制作主管：Adam Smith

制片人/技术总监：Sarah Pearn

高级首席三维技术美术：Adrianna Polcyn

动画师：Ben Crowe

CG灯光美术：Marcella Holmes

Jump Studio（SK电讯），首尔

副总裁，元界公司负责人：Jinsoo Jeon

副总裁，元界开发负责人：khwan Cho

执行制片人：Sung Yoon Baek

业务发展：Taekeun Yoon

制作人：Minhyuk Che

舞台监督：Gukchan Lim

The Voice 团队

执行制片人：Amanda Zucker

EIC - Jerry Kaman 导演：Alan Carter

监督编辑：Robert M. Malachowski, Jr.,

ACE后期制作主管、副总监：Jim Sterling

助理编辑：Joe Kaczorowski