5G时代来临，交互式视频会成为下一代视频黑科技吗？

5G时代，视频内容形态将迎来三个趋势：一是依托5G的大带宽，超高清视频将真正落地；二是沉浸式视频迎来发展，但如同《头号玩家》所描述的，沉浸式视频体验是人类感官消费的最终形态，还有很长的路要走；三是交互式视频，包括3D视频、AR形态视频、游戏化视频，以及借由AI赋能的新视频消费方式。优酷在这些领域都有布局，下面将重点分享5G下，交互式视频中的3D视频技术及应用趋势。

一、视频的交互能力从何而来？

交互式视频与单向接收式视频的最大区别在于，交互要有额外的信息反馈，目前有四种交互能力：一是最传统的方式，如评论、点赞等，依靠视频之外的内容提供交互的可能性；二是信息量来自时间轴。视频形态以互动剧为主，让用户选择情节走势，在时间轴上创造更多信息量；三是信息量来自空间域。同一时刻在空间上为用户提供多样化的观看选择。如《这！就是街舞》中的多视角直拍，世界杯中不同演播室和不同风格的解说，都是让用户在同一时刻有更多可看内容。

四是信息量来自从2D到3D的视频形态变化。当视频形态从2D变成3D时，视频内容的整体组织形式就会有更丰富的结构化信息。基于立体视觉的6DoF视频就是方式之一。

二、交互式视频形态：准6DoF视频，子弹时间

首先介绍下6DoF，6 degrees of freedom，其概念来自于物体在空间中运动时有六个不同的自由度——前后、左右、上下三个平移自由度，以及三个旋转的自由度，对应的就是点头、摇头、歪头。从自由度视角重新审视VR，会明显发现，基于固定的VR相机拍摄的VR视频只有三个自由度：可转头但不能移动，代入感非常差。

而6DoF视频，是一种更自由的视频形态。首先“脚可以动”，用户可以虚拟和移动观看位置；其次“手可以动”，通过一定的手势操作来影响视频内容画面本身。优酷目前正在做的6DoF视频，通过相机阵列来拍更大范围，获得更多的观看自由度。

其实，类似的6DoF技术已有很长历史，最经典的是《黑客帝国》中男主角NEO仰身躲子弹的慢动作镜头，当时依靠一整排照相机拍摄，将每个相机拍好的图片叠加在一起，再生成视频，在上个世纪看起来非常具有视觉冲击力。

20年后，我们依然在做类似的视觉呈现，技术上有何不同？其变化主要源自三方面，1）从电影特效到工业化的制作，不在使用原始拍摄图片，拍摄成本降低，展示自由度提升。 2）自由的特效创作，更大的发挥空间。3）使用摄像机，支持视频形态。

今年，优酷将6DoF视频技术首次应用到国内体育赛事（如CUBA）直播中，我们将投篮画面做定格，将运动员相对的位置关系、动作，通过多视角呈现，带来现场感的观看体验。

三、交互式视频形态：6DoF视频

严格意义上，子弹时间是2D视频，更侧重后期制作。真正的6DoF视频形态是在观看过程中，用户可以通过手指拖拽操作，选择观看角度和位置。虽然摄像机是线状的，但可以不依赖原始摄像机位置，实现上下和前后位置的调整，包括近景的人物特写、远景的全景画面。

很多人会联想到VR视频，但6DoF和VR视频有明显区别。比如，在一场体育赛事中，VR视频可以向前看球员、向左右看场地，向后看观众，听起来视觉上更自由，但实际画面是散点的，并不跟随“踢球”这一主线来组织画面内容，用户看到的越多，越难以抓住视觉重点。而6DoF视频，摄像机阵列都在拍摄画面中的同一个位置，呈现的永远是兴趣度最高、最有趣的内容，用户只是选择观看角度和方式，实际上比传统VR视频有更好的视觉体验。

上图是《这！就是灌篮》、双11天猫潮流盛典等的场景，无论俯拍还是仰拍，无论相机安装是弧形还是直线，都可以实现。

四、交互式视频的技术链路

交互式视频的技术链路，以6DoF视频为例，其拍摄跟普通视频拍摄的链路是一样的，包括三个环节：

1. 现场拍摄环节。多机位同步控制与拍摄，将采集好的视频和图像上传到云端做处理。
2. 云端处理环节。在云上计算画面中物体的景深关系，生成基准视角的视频图像载体，并将视频图片编码，通过CDN传到用户手机上。
3. 端侧播放环节。在用户端做解码，根据用户的交互操作，计算视点位置，对虚拟视点做渲染，最后显示到屏幕上。传输视频格式是通用的H.264/H.265，播放设备本身具备解码能力，保证覆盖几乎全部机型。端到端的实时画面生成效率，同时兼顾手感，从技术角度来就是低延迟。

技术链路中的关键点，是如何生成6DoF视频的处理环节。

首先，传输到用户端的画面，由色彩图和深度图构成。深度图用灰度来表示物体之间的距离，其复杂性在于如何实时、准确地推算出深度并生成基准视频。深度评估与影像生成之间是反比关系，需要技术权衡与取舍。

其次，传输宽带也是影响因素之一。深度图和色彩图被压缩后会模糊，基于模糊的图像所进行的新视角生成会把瑕疵放大。目前，从优酷的实践看，100Mbps以上的带宽，在4G移动网络下是很难实现的，必须依赖5G视频技术。

6DoF视频节省宽带传输的第二个解决方案类似云游戏，不需要将拼接视频传到用户端，只需将用户视角的信息传到云端。云端按照用户希望看到的画面做处理和渲染，生成2D视频，这样所占用的宽带就很小了。但为了观看流畅，整体链路的延迟需要非常低，这部分又依赖5G的低延迟特性。

五、交互式视频应用前景

从行业角度出发，视频标准化更倾向于从传统的视频压缩到3D相关的视频处理。可以看到MPEG的Roadmap中，从6DoF到光场到点云的压缩处理，都是围绕3D和立体视频的技术进行的。优酷在国内的视频标准AVS部分，从VR标准就开始深度参与。目前我们与北大一起制定基于深度的6DoF视频标准，预计今年会公布初步标准。

综上所述，6DoF视频、3D建模视频以及VR视频，在业务模式、技术路径和应用场景方面都有区别。6DoF视频的特点是自由视角的播放以及事后的内容组织重建能力，它在记录真实世界、在以体育比赛和舞台表演为核心的内容上有很明显优势。落到优酷的内容场景上，适用于信息密度大、需要有临场感的内容，所以演出、团体组合、体育和舞蹈教学类视频，6DoF视频都可以发挥作用。

另外，在交互式视频的趋势下，视频和游戏的边界正在模糊。传统游戏最核心的特点，包括情节代入感强、用户可通过操作影响内容走势，都在逐渐纳入互动视频的制作中。另一方面，传统视频的特质，包括非常有艺术感的剧本和情节，真实画面和真人演出，在游戏中也越来越常见。二者之间的融合源于两方面：一是随着算力的大幅提升，提供了将真实世界数据化的能力，其核心是将画面进行结构化的提取，通过3D建模去理解场景内容。二是连接能力的提升，将用户和生产者的距离拉近，在消费内容时的交互能力越来越高。

随着5G带来的连接能力和云带来的算力的双重提升，交互式视频将成为视频内容革新浪潮中那一朵最闪亮的浪花。