声临其境 — 音频沉浸体验

”

8月5日-6日，LiveVideoStackCon 2022 音视频技术大会 上海站，和你一同开启通向未来的大门。

声临其境 — 音频沉浸体验

具有仿生效果的全景听觉体验让多媒体音视频信息变得更加丰富立体，声色俱佳。在移动互联网内容为王的时代下，在远程教育、远程办公、在线娱乐等场景中，空间音频、声场还原、高保真高还原立体声音质、高清语音、智能语音增强等技术，使内容服务的信息和元素更加多姿多彩。本专题将从沉浸式声学/音频技术所面临的挑战、场景应用探索与实践等方面和大家一同探讨更加真实的“声临其境”体验。

讲师与议题

沉浸式的在线互动，无论是游戏、社交还是会议等在线互动场景都希望能够拥有“声临其境”的体验。在现实中人们可以随意移动位置、扭头改变朝向。而我们感受到的声音也同样跟随我们移步换景动态变化。但在3D在线互动场景中要实现高音质、多音源、可移动、低延迟的空间音频实时渲染是一件极具挑战的事情。本次演讲会从如何让人们在3D在线互动场景中有更为真实、更为自然的音频体验出发探讨想要在实现“声临其境”有哪些是必备的体验需求。以及实现这些体验需求的同时如何解决算力、延迟、音质等技术挑战。

随着长视频制作行业和消费市场的持续发展，国外越来越多优秀内容“走进来”，同时更多的国内优秀作品“走出去”，这对配音本地化提出了极大的挑战。作为国内长视频的领导者爱奇艺在自有的海量内容优势下，基于Voice Conversion，MDX，Denoise等AI技术，研发了面向影视剧场景的AI配音技术IQDubbing，有效地缓解了影视剧配音本地化的问题。本次分享将分为三部分：第一部分从配音知识和相关的背景展开，介绍传统配音的工作流程和遇到的问题，以及当前Voice Conversion技术的发展概况；第二部分将介绍爱奇艺IQDubbing技术，如Voice Conversion，MDX等，以及相关创新点等，同时介绍IQDubbing配音技术在实际业务中的应用效果；第三部分介绍IQDubbing遇到的问题以及未来的计划。

空间音频（Spatial Audio）在影院、游戏、虚拟现实、舞台录音等场景中得到了广泛的应用，它提供给用户更加接近于真实的听觉感受。空间音频的实现方式主要有多通道扬声器（muti-channel speakers）和双耳音频（binaural audio）。其中双耳音频对于嘈杂环境下语言的理解起到关键的作用，对于交互体验和语音可懂度的提升都有帮助，但是到目前为止空间音频在远程会议场景中的应用还非常少。本次演讲主要探讨空间音频在远程会场场景中应用的技术挑战和实现方式。从系统的角度探讨如何在远程会议中提供给用户更好的听觉体验。

随着在线会议的普及，用户已经不再满足于能听到，而是要有更为极致的听感体验，如何能够在复杂多变的应用场景中依旧保证声音清晰流畅是对会议系统的极大挑战。本次分享共分为三个部分，第一部分介绍影响会议声音质量的因素及应对方法；第二部分介绍语音前处理技术在会议中的应用及传统数字信号处理所面临的困境；第三部分介绍语音前处理与深度学习技术的结合及效果。通过上述三部分希望可以让大家对会议场景中的语音前处理技术有所了解。

扫描图中二维码或点击阅读原文

了解大会更多信息

喜欢我们的内容就点个“在看”吧！