Audio Orchestrator：使用多设备编排沉浸式互动音频

来源：IBC2021 主讲人：Kristian Hentschel 内容整理：王秋文 本文主要介绍了 BBC R&D 开发的音频多设备编排工具 Audio Orchestrator 。Audio Orchestrator 可以通过互联网，对多个设备进行音频及图像输出的编排，以增强媒体内容的表现效果。本文对该工具进行了整体的介绍，整理了使用者对该工具的评价，并通过四个公开发布的使用案例对该工具进行了分析。

目录

• 背景介绍
• 工具概述
• 工具评估
  • MakerBox 工具申请分析
  • 用户体验
• 制作案例分析
  • Decameron Nights
  • Pick A Part
  • Monster
  • Six Nation rugby
  • 评估

背景介绍

设备编排指的是使用多个同步的设备协同播放以增强媒体的体验效果。如今，大多数家庭中都有多个可联网的媒体设备，但使用这些设备进行同步工作并提高交互性和沉浸性的相关工作却较少。在这一方面，过去的工作探索了基于对象的音频和同步的多屏幕内容，并对音频编排进行了一定的试验。为了对音频编排的相关用例进行快速探索， BBC R&D 生产了工具 Audio Orchestrator ，并与许多合作伙伴进行了公开实验。

工具概述

Audio Orchestrator 可以对已有的音频文件进行媒体设备的编排和预览。这一工具可以从 BBC Connected Studio MakerBox 申请获得。其可以使创作者自由控制媒体内容如何适应可变的多个设备并输出具有相关配置的 web 应用程序以处理配对、同步和音频播放过程。音频文件在数字音频工作站（DAW）中创作出之后就可以导入到 Audio Orchestrator 中，并进行相应设置的标注，如图 1 所示。已有的音频信息同设备的元信息会通过算法进行处理，将音频对象分配给相应的设备。每当连接设备或相应的控件设置发生变化时，分配算法都会重新运行。

图1 Audio Orchestrator 界面截图

Audio Orchestrator 的工作流围绕五个核心功能：

• Sequences：创建音频文件结构。由听众自行进行音频内容的选择，或将独立的内容连接在一起设为循环并自动切换到下一个序列。
• Controls：定义输入设置。听众可以通过选择或数值滑块等设置连接设备的控件信息。这些信息会作为分配算法所需的元信息的一部分。
• Audio：显示每个序列中包含的音频文件，制作者可以为其中的每个音频对象对象添加分配算法所需的元信息。
• Appearance：可以对导出原型对象的文本、图像、颜色和一些音频设置进行定制。
• Export：可以立即在本地网络上的连接设备进行预览，并导出相应的 web 程序包。

在该工具中可以对音频对象进行的设置包括：对音频对象的分配进行选择；基于音频对象和连接设备的信息对分配算法的随机选择进行约束；定义音频对象在设备间更改的条件；修改某一设备的音量等。其中，每一个对象可以被分配给一个或多个设备。此外，图像和照明效果也可以以相同的方式设置。

在最后，导出的 web 程序界面参考了一些熟悉的音乐播放软件，用户界面上可以进行设备的连接、播放的控制、播放列表的切换以及链接设备延迟的校准。在连接的设备中，其中一个是主设备，其余的设备是辅助设备。设备间的同步和通信基于开源的云同步服务。

工具评估

Audio Orchestrator 是 2020 年 7 月在 MakerBox 上发布的。对该工具的评估使用了多种方法：在申请使用软件时要求使用者填写表格；在使用后对使用者的使用经历进行了调查；对使用过工具的专业人士进行访谈。

MakerBox 工具申请分析

对 Audio Orchestrator 的申请者在申请时填写的 309 份表格中的信息进行整理，将使用该工具的目的根据主题整理成了如图 2 所示的三层结构。

图2 Audio Orchestrator 申请目的主题的分层结构整理图

通过图 2 可以看出，在所有的申请中最常见的主题是广泛兴趣，没有说明具体的用途。接着是出于学习和教育的目的。大多数项目生产都是出于沉浸性体验开发的目的，但也有一些其他的特定场景。用户的背景主要是来自媒体或音频生产的创意产业、教育业或研究业，也有少数其他领域的用户。

用户体验

得到 Audio Orchestrator 的使用许可的用户会收到一个有关这一工具在具体使用方面体验的问卷。根据回收到的 11 份问卷对该工具的操作性进行分析，得到的结果如图 3 所示。从其中可以看出，对于该工具，大部分人认为其整体的使用方法较为简单，相对困难的部分是控件部分。此外，开发团队还对四名使用过该工具的专业人士进行了访谈。在访谈中，受访者一致认为该工具易于上手，但仍有许多可以改进的地方，例如增加对音频或视频的检查功能、完善现有分配算法和控制的全面性、增加响度校准等等。

图3 Audio Orchestrator 使用调查分析图

制作案例分析

在 Audio Orchestrator 发布后， BBC TAster 平台上发布了四个不同方面的使用案例，包括广播剧、音乐和体育节目。下面将分别对四个案例的制作过程、遇到的挑战和解决方法进行介绍。

Decameron Nights

Decameron Nights 是一部由 Culture in Quarantine 和 BBC Arts 制作的广播剧，由一系列的音频故事所组成。其中，剧集 I'm Alright Jack 是与 1927 表演团合作完成，并使用了多媒体编排技术。在这一集中，创作者定义了三个阶段：开头、主要内容和结尾部分。这三个部分对媒体对象和设备间的分配有着不同的要求。其中，主要部分是已有的广播故事内容，而另外两个部分是出于本次的多媒体沉浸式体验而制作的。制作者没有明确向观众说明媒体设备的摆放方法，仅仅表示设备应该散布在听众周围。该剧的主要内容部分包括 58 个音频对象，包括每个故事的叙述、音乐和音效。

图4 Decameron Nights 屏幕截图

在剧集中的某些部分中某些音效应当在不同的设备间“跳跃”播放。为了达到这种效果，创作者在数字工作站中将原音效幅值到多个音轨上的不同时间处。再将得到的音频导入 Audio Orchestrator 中，并在软件中设定相应的分配行为保证同一设备不能播放两次该音效。在测试时，制作者发现在数字工作站上进行播放预览比在 Audio Orchestrator 内预览更加高效，也为后续在软件内探索提高检查预览功能提供了信息。

Pick A Part

Pick A Part 是与 BBC Philharmonic合作制作的音乐作品。由于新冠疫情，乐团的音乐家只能在线上分别录制各自的部分。在这一案例中，听众可以自行选择在某个设备上听哪个乐器部分，并通过多个设备环绕听众来模拟线下合奏。创作者在软件中为每首曲子定义了单独的序列，不同的乐器部分作为不同的音频对象。在控件设置方面，创作者添加了特定的单选器控件使得每个媒体设备上只可以选择一种乐器的音频，而不在辅助设备播放的乐器音频则均通过主设备播放。同时，创作团队录制了相关的旁边和指示来鼓励听众进行多设备连接。

音乐需要不同设备之间的精确同步，使用的同步框架延迟在 10~20 毫秒，但是复现设备的软硬件会造成额外的输出延迟，且不能被同步云系统修正。不同设备间的延迟时间长短差别较大，有时可能达到 500 毫秒左右。因此，团队开发了手动延迟校准功能，通过在不同设备上播放相同的语音内容，由听众自行滑动滑块调节各个设备同步播出。目前，校准模式可以在软件中作为选项启用。此外，在这一用例中还实现了以下功能：在每个设备上输出选择音频对应的图像，在主设备上显示所有的乐器，确保两台设备不能同时选择一种乐器，并显示一个带有标题和图片的乐器列表。

图5 Pick A Part 屏幕截图

Monster

Monster 是一部沉浸式恐怖题材音乐剧，由 BBC Wales Innovation 和 BBC Writersroom Wales 合作开发。除了音频效果外，该剧还融入了灯光效果和图像显示。在该剧的创作过程中，首先录制了所需的对话和音效，并在数字工作站中完成混音，最终得到 67 个单独的音频对象。不同部分的音频、灯光和图像的编排由不同的制作人完成，并在最后进行了手动合并。该剧要求听众至少链接两个辅助设备并给予了放置位置要求。此外，每个辅助设备上会显示不同的图像和灯光效果。

图5 Monster 屏幕截图

在这一案例中，如果听众所使用的设备间的输出音量不一致，可能会降低故事的整体氛围。为了解决这一问题，本用例使用了动态范围压缩来提高发送到辅助设备的声音音量，并给予听众明确的指令以检查各个设备的音量。

Six Nation rugby

Six Nation rugby是来自六个国家的 2021 年的橄榄球比赛。在主设备上，观众可以可以打开或关闭评论；在辅助设备上，观众可以选择播放人群声音和裁判的麦克风声音。这一实验需要主设备和辅助设备同步播放视频，因此在主设备中运行的是 BBC 的标准媒体播放器（SMP），同时使用了同步插件。该插件用于与编排库接口交互并解决多通道音频。辅助设备的应用是在 Audio Orchestrator 中得到的。节目中主持人的解说、设备的链接说明以及比赛内容结合在一个序列中。对于辅助设备，创作者定义了一个复选框控件，并编写程序要求观众只能在人群和裁判的声音间切换。同时，在连接了多个辅助设备时，仅可以在一个设备上选择裁判音频。此外，还在原web程序的基础上更改了控件的外观。在辅助设备播放时，人群和裁判的两个对象实际上在同时播放，而将未被选择的对象增益设置为 -60dB 。这样的做法允许设备进行内容的瞬间切换，相对应也需要更高的传输带宽。

图6 Six Nation rugby 界面屏幕截图

评估

在上述四个案例中， BBC Taster 平台对使用了相关工具的观众进行了体验质量的调查，得到的结果如图 7 中的表格所示。从中可以看出，观众对沉浸式多媒体音频播放的反馈整体是积极的，大部分的受访者连接了多个媒体设备进行体验，而反应较多的问题主要是不同设备间的音量不均衡。

图7 观众对四个案例的体验评价

最后附上演讲视频：

http://mpvideo.qpic.cn/0bc3kmabsaaagaajlpx7s5qvau6ddfjqagia.f10002.mp4?dis_k=aade258396e15564cfeeef0751c86f81&dis_t=1645153227&vid=wxv_2257295566965784579&format_id=10002&support_redirect=0&mmversion=false