腾讯力作StereoCrafter：轻松将2D视频转换成震撼3D效果

近日，腾讯AI实验室携手腾讯PCG的ARC实验室，共同推出了一项名为StereoCrafter的创新框架，该框架能够将普通的2D视频神奇地转换为高保真的立体3D视频。

随着对3D内容需求的日益增长，特别是在沉浸式体验领域，StereoCrafter应运而生。它巧妙地利用了基础模型的优势，成功突破了传统转换方法的瓶颈，显著提升了生成效果，确保生成的3D内容能够完美适配各种高保真显示设备。

StereoCrafter的核心转换过程分为两大步骤。首先，它通过深度信息对视频进行重新贴图，同时提取遮挡信息并进行视频变换。接着，系统利用预训练的稳定视频扩散模型作为基础，并引入针对立体视频修复任务的微调技术，进行立体视频的修复。为了应对不同长度和分辨率的视频输入，研发团队还探索了自回归策略和切片处理技术，使系统能够更加灵活地处理各种输入条件。

为了支持这一创新框架的训练，腾讯团队构建了一条复杂而高效的数据处理流水线，生成了大规模、高质量的数据集。在数据集构建过程中，他们从海量的立体视频中精心挑选，并生成相应的视频深度、变换后的视频以及遮挡信息，确保右侧视频作为真实的参考基准。这些创新方法为2D视频向3D视频的转换提供了切实可行的解决方案，让Apple Vision Pro等3D显示设备能够呈现出更加震撼的沉浸体验。

StereoCrafter不仅在技术上实现了重大突破，更有可能为数字媒体的体验方式带来颠覆性的变革。它有望改变我们观看和体验数字内容的方式，让我们在未来的数字世界中享受更加真实、立体的视觉盛宴。

重要摘要：

StereoCrafter 利用尖端技术，将2D视频迅速转化为引人入胜的3D立体视频。

该系统包括深度视频重建和立体视频优化两大核心流程，以增强最终的视频效果。

研究团队精心打造了高水准的数据集，为算法训练提供了坚实基础，保障了输出的高品质。