[AI里程碑] Sora | 最强AI视频生成大模型

[AI Milestone] Sora | 2024年最强AI视频生成大模型

本文主要从Sora的诞生背景、技术原理、能力演示、应用前景和变现思路等多个角度进行介绍这一划时代的最新视频生成技术。

• 在美国当地时间2024年2月15日，OpenAI发布首个视频大模型Sora，一句话生成一分钟高清连贯视频。
• Sora，源自日语的そら，空。色即是空。色、受、想、行、识，五蕴亦皆空。至大无外，至小无内，这个产品注定会给人无穷的想象空间。OpenAI 团队用一个充满禅意的词，又一次开启了AIGC 的新时代。

AI视频技术的发展历程可以追溯到2022年，当时初创公司Runway在这一领域取得了显著成就，其技术甚至被用于热门科幻电影《瞬息全宇宙》的视频编辑。此后，AI视频技术经历了快速的发展，Runway、Pika、Meta（Emu Video）等公司纷纷加入竞争。然而，早期的AI视频通常存在一些限制，如视频长度有限（通常只有几秒钟），场景逼真度不足，元素突然出现或消失，以及运动不连贯等问题，这些问题使得视频内容容易被识别为AI生成。

OpenAI发布的Sora模型在演示视频中展示了显著的进步，其生成的视频内容在质量上几乎无法被察觉为AI制作。Sora能够生成长达一分钟的视频，这在当时的AI视频中是一个重要的突破。Sora的发展不仅代表了AI技术的一个里程碑，也标志着AI研究的一个重要方向：使AI系统能够理解复杂的用户指令，并将这些理解应用于解决现实世界问题，通过动态和情境丰富的模拟互动来实现这一目标。这表明AI在视频内容创作和模拟现实世界方面的能力正在不断增强，为未来的应用和发展打开了新的可能性。

🙄Sora的诞生背景

在ChatGPT发布后不久，2023年我们看到了文本到图像产品的商业化，如Stable Diffusion、Midjourney和DALL-E 3，它们允许用户通过文本提示生成高分辨率图像，展示了AI在创意图像生成方面的能力。然而，将这一技术扩展到视频生成领域面临挑战，因为视频需要处理时间维度的复杂性。尽管有显著努力，但大多数现有工具如Pika和Gen-2只能生成几秒钟的视频。

Sora的出现打破了这一局限，它能够根据文本指令生成长达一分钟的视频，这在生成AI领域是一个重大突破，类似于ChatGPT在自然语言处理（NLP）领域的影响。

对比表格

对比视频

相关研究

😏Sora的技术原理

技术框架

Sora模型在算法设计上结合了扩散（diffusion）和变换器（transformer）两种架构，通过时空补丁（spacetime patches）的方式对输入的视频等多种视觉数据进行降维和压缩。这种方法在变换器中替代了语言模型中的tokens，实现了有效的视频数据训练。

Sora模型是一个先进的视频生成技术，它的核心架构包括三个主要部分：

1. 时间-空间压缩器：这是Sora的第一步，负责将原始视频数据压缩成一个低维的潜在空间表示。这个过程涉及到将视频数据转换为一种可以被模型更高效处理的形式。
2. **视觉转换器 (ViT)**：在压缩后，Sora使用视觉转换器来处理这些潜在的数据表示。ViT通常是基于Transformer架构的，它能够处理图像数据，并输出去噪后的、清晰的视频数据表示。
3. 智能条件设置机制：这是Sora的最后阶段，它类似于CLIP模型，使用大语言模型（LLM）增强的用户指令和可能的视觉提示来指导视频生成过程。这允许Sora根据用户的文本指令生成具有特定风格或主题的视频内容。

在经过一系列的去噪步骤后，Sora捕获视频的深层表示，并通过一个专门的解码器将其转换回像素格式，生成最终的视频输出。这种灵活的采样尺寸和多阶段处理方法使得Sora能够生成高质量、风格多样的视频内容。

数据预处理

01 自适应视频分辨率

• 传统方法常将视频调整尺寸、裁剪或改变宽高比以符合统一的标准（通常是短片段、正方形帧且分辨率固定较低）。这种处理方式通常会在较宽的时间跨度内生成样本，并依靠专门训练的帧插入和分辨率渲染模型作为最终步骤，导致视频内容的不连贯。
• Sora 利用了Diffusion Transformer架构，成为了第一个能够适应视觉数据多样性的模型，它可以处理各种格式的视频和图像，从宽屏1920x1080p到竖屏的1080x1920p，以及介于两者之间的任何尺寸，而不会改变它们的原始尺寸。

• Sora 在原始分辨率上训练数据，显著提升了生成视频的构图和画面布局效果，能创造出更加自然流畅的视觉叙事。其生成的视频在画面构成上做得更好，确保了场景中的主体被完整地展现，避免了正方形裁剪所常见的部分视角被切割的问题。

02 视觉编码表征

为了有效地处理多样化的视觉输入，如不同时长、分辨率和宽高比的图像和视频，Sora采用了一种关键策略，即将这些视觉数据转换为统一的格式。这一策略的核心步骤如下：

1. 视频压缩：Sora首先使用视频压缩网络将原始视频数据压缩到一个更低维度的潜在空间（latent space）。这一步骤减少了数据的复杂性，使得模型能够更高效地处理和学习视频内容。
2. 时空片段分解：压缩后的视频数据被进一步分解为时空片段（Spacetime Patches）。这些片段是视频数据的基本构建块，包含了空间（图像帧）和时间（连续帧）的信息。通过这种方式，Sora能够捕捉视频中的动态变化和时间序列。
3. 统一格式：通过将视频数据转化为时空片段，Sora能够以统一的格式处理各种视觉输入。这种统一的表示方法简化了模型的训练过程，并提高了生成视频的质量。

这种策略使得Sora能够灵活地处理各种视频格式，同时保持生成视频的高质量和视觉连贯性。通过这种方法，Sora在视频生成领域展现了其强大的能力和潜力。

03 视频压缩技术

Sora的视频压缩技术旨在降低视频数据的维度，以便生成一个在时间和空间上都进行了压缩的潜在表示。这一技术基于变分自编码器（VAE）或其变体，如向量量化的VAE（VQ-VAE）。然而，直接将任意尺寸的视觉数据映射到固定大小的潜在空间中存在挑战，特别是当不进行图像调整和裁剪时。

为了应对这一挑战，Sora可能采用了以下两种实现方法：

1. 空间区块压缩：这种方法涉及将视频帧分割成固定大小的区块，然后将这些区块编码到潜在空间中。这种处理方式适用于不同分辨率和宽高比的视频，因为它通过处理单个区块来编码整个视频帧。这些空间标记随后按时间顺序排列，形成结合了空间和时间信息的潜在表示。
2. 空间-时间片段压缩：这种方法旨在同时封装视频数据的空间和时间维度，提供一个全面的表示。它通过考虑帧之间的运动和变化来捕捉视频的动态特性。三维卷积（3D convolution）是实现这种整合的有效方法。

这两种方法都涉及到使用预设的卷积核参数，但由于视频输入的特性差异（如不同的持续时间和分辨率），这可能导致潜在空间的维度不一致。为了解决这个问题，可以采用与空间片段压缩类似的方法，这同样适用且有效。

Sora在设计时可能倾向于使用固定大小的片段，以确保简单性、可扩展性和训练稳定性。然而，也可以使用不同尺寸的片段来保持整体帧或视频在潜在空间中的维度一致，尽管这可能会带来位置编码的问题，并在生成不同尺寸潜在片段的视频时给解码器带来挑战。

04 时空潜码片段

通过片段打包技术，可以使不同分辨率的图像或视频维持其原始的宽高比

Sora模型采用了PNP（Patch 'n' Pack）技术，这是一种能够将来自不同图像的多个片段整合到一个序列中的技术。这种方法受到了自然语言处理中处理变长输入的打包技术的启发，通过丢弃（dropping）部分词元来适应输入长度的变化。在Sora的视频压缩网络中，首先需要完成的是片段化和词元嵌入步骤。Sora可能还会进一步将这些潜在的特征片段化，以适应扩散变换器的词元需求，类似于扩散变换器本身的操作。

无论是否进行第二次片段化，Sora都需要解决如何高效打包这些词元，并决定哪些词元应当被丢弃的问题。OpenAI可能采用了一个极长的处理窗口来整合视频中的所有信息片段（Token），尽管这种方法计算成本较高。这是因为多头注意力机制在处理时，其计算成本会随着序列长度的增加而呈二次方增长。

具体来说，Sora可以将长视频中提取的时空潜在片段（Spacetime Latent Patches）组织在一个序列中，而将多个短视频的信息串联组合在另一个序列中。这种处理方式允许Sora在保持视频内容的高质量和连贯性的同时，有效地处理不同长度的视频数据。

神经网络架构

仅仅为SORA模型结构猜测，非实际结构

Diffusion Transformer

Sora模型利用扩散模型的原理，通过逐步预测并去除噪声，从噪声补丁中恢复出原始的“干净”视频补丁。这种方法在语言建模、计算机视觉和图像生成等多个领域已经证明了其有效性和扩展性。

为了生成更长的视频，Sora采用了一种创新的训练策略，即基于上下文帧来预测未来帧。这种策略允许模型在没有外部分类器引导的情况下，自主生成高质量的视频内容。通过首先确定关键帧，然后在这些关键帧之间进行插值，Sora能够实现高时间分辨率的视频生成。这种方法不仅提高了视频的空间分辨率，通过扩散模型将视频内容的空间分辨率提升四倍，而且保持了视频的时间连贯性和流畅性。

这种分步骤的视频生成方法不仅提升了视频的整体质量，还显著提高了计算效率。通过这种方式，Sora能够在生成高清晰度视频的同时，保持视频内容的全局连贯性，这对于视频内容的创作和编辑具有重要的实际意义。

提示工程技巧

在Sora这样的AI模型中，提示（prompt）工程是一种关键技术，它允许用户通过精心设计的输入来引导模型创造出符合特定期望的内容。Sora模型特别擅长结合文本、图片和视频提示来生成内容，这不仅能够吸引观众的注意，还能精确地捕捉和理解用户的意图。

01 文本提示技巧

优秀的文本提示设计在于精确选择每一个词汇、详细说明每一个细节，以及深刻理解这些因素如何影响模型的最终输出。

• 蓝色高亮部分描述了 Sora 生成的元素，如展现一位时尚女性的形象；而黄色部分则强调了模型如何解释动作、场景和角色造型，展示了一个精心构思的文本提示是如何被转化为一段生动、充满动感的视频故事的。

02 图像提示

利用图像提示，Sora 能够将静态图片转化为充满故事性的动态视频，这一过程中既利用了视觉信息也利用了文本信息。

• 红色框体突出显示了每个场景的核心元素——多样化设计的怪物、拼成“SORA”的云朵，以及在装饰华丽的大厅中面对巨大潮浪的冲浪者。

03 视频提示技巧

这样不仅可以确保模型明确了解到具体的创作目标，比如要展示的特定物体和视觉风格，还能在最终的视频作品中加入创新的变化。

• (a) 视频扩展，模型将视频序列向原始片段的相反方向推进，(b) 视频编辑，根据文本提示对视频中的特定元素，比如场景进行改变，以及 (c) 视频连接，通过两个不同的视频提示将视频片段无缝结合，创造出一个连贯的故事。每个步骤都受到一个视觉焦点的引导，用红色框标出，保证视频内容的连贯性和准确性。

😁Sora的能力演示

01 三维一致性

Sora模型的一个显著特点是其能够生成包含动态摄像机运动的视频。这意味着在生成的视频中，摄像机可以模拟真实的移动和旋转效果，使得人物和场景元素在三维空间中以一种连贯和一致的方式移动。这种能力使得Sora在视频内容创作方面更加先进，因为它能够创造出更加真实和引人入胜的视觉体验。通过这种方式，Sora不仅能够捕捉静态场景的细节，还能够处理和表现复杂的动态交互，从而在视频生成领域提供了一种新的创作工具。

02 长时连贯性和物体同一性

在视频生成领域，维持长视频的时间连贯性是一个关键挑战。OpenAI开发的Sora模型在这方面取得了显著进展。Sora能够较好地处理短期和长期的依赖关系，这意味着它能够在视频中保持人物、动物和物体的一致性，即使它们在画面中被遮挡或离开。此外，Sora还能在视频的不同镜头中生成同一角色，并确保角色的外观在整个视频播放过程中保持一致。这些能力显著提高了视频内容的质量和观看体验，尽管在某些情况下，模型可能仍需改进以确保完全的时间连贯性。

03 物理交互

Sora模型展现了在模拟影响世界状态的行为方面的能力，尽管这些模拟可能相对简单。例如，它能够生成视频内容，其中一位画家在画布上作画，留下的笔触会随着时间的推移而持续存在。这些例子表明Sora在理解和生成具有物理交互和时间连续性的复杂场景方面取得了一定的成功。然而，这些模拟的准确性和复杂性可能仍有提升空间，特别是在处理更复杂的物理交互和长期时间依赖关系时。

04 模拟虚拟世界

Sora模型不仅能够模拟现实世界中的物理交互，还能模拟人造过程，例如视频游戏。它能够控制Minecraft中的玩家角色，并以高保真度渲染游戏世界及其动态变化。通过使用包含“Minecraft”的文本提示，Sora可以无需特定训练即可激活并展示这些能力，这称为zero-shot学习。

这些能力展示了视频模型在模拟物理和数字世界方面的潜力，包括其中的物体、动物和人类行为。这种技术的进步为未来的内容创作，特别是科幻电影的制作，提供了新的可能性。随着视频模型技术的不断发展，我们可能会看到更加逼真和复杂的虚拟场景被创造出来，从而推动娱乐产业的创新。

05 图像生成能力

Sora模型不仅能够生成视频内容，还具备生成图像的能力。为了实现这一点，OpenAI采用了一种技术，将高斯噪声以patch的形式排列在空间网格中，这些patch在时间上对应于视频的单帧。通过这种方法，Sora能够生成不同尺寸的图像，最高分辨率可以达到2048x2048像素。这表明Sora在图像生成方面具有高度的灵活性和高质量的输出能力，使其在视觉内容创作领域具有广泛的应用潜力。

🥰Sora的应用前景

01 技术亮点

Sora模型的亮点在于其在多个领域的深远影响和应用潜力：

1. 提升模拟能力：Sora通过大规模训练，展现出在模拟物理世界方面的强大能力，包括物体的持久性、简单的世界互动以及动态摄像机运动。它甚至能够模拟数字环境如Minecraft，显示出在模拟物理和数字世界复杂性方面的潜力。
2. 激发创造力：Sora允许用户通过文本描述快速生成逼真或风格化的视频，加速设计过程，为艺术家、电影制作人和设计师提供了一个高效的创意探索工具。
3. 推动教育创新：Sora可以将教学内容从文本转换为视频，提高学生的学习效率和参与度。它为教育领域提供了一种新的、动态的教学辅助工具，适用于各种学科和教学场景。
4. 增强可访问性：Sora通过将文字转换为视觉内容，为视障人士等群体提供了新的创作和交流方式，促进了内容创作的包容性。
5. 促进新兴应用的发展：Sora的应用前景广阔，从营销广告的动态内容创建到游戏开发中的定制视觉效果，它为各种行业提供了创新的可能性。

这些亮点表明，Sora不仅在技术上取得了突破，而且在实际应用中具有广泛的潜力，能够推动多个领域的创新和发展。

02 应用场景

Sora模型在多个领域的应用前景和影响如下：

1. 电影产业：
   • Sora能够通过文本输入自动生成电影风格视频，这标志着电影制作新时代的到来，降低了电影制作的门槛，使得更多人有机会参与电影创作。这种技术的发展预示着电影制作将更加开放和多样化，更好地适应观众的需求。
2. 教育革新：
   • 视频扩散模型如Sora为教育领域带来了革命性的变化，使得教育内容可以更加个性化和动态。教师可以利用这些模型将教学计划转化为吸引人的视频，提高学生的学习效率和参与度。这种技术的应用有助于教育内容的创新和教学方法的改进。
3. 游戏行业：
   • Sora在游戏开发中的应用可以创造出更加真实和沉浸式的游戏体验。通过实时生成动态视频内容和音效，游戏世界可以更加生动和反应灵敏，为玩家提供前所未有的互动体验。这将改变游戏的开发、玩法和故事叙述方式。
4. 医疗保健：
   • 在医疗领域，Sora等视频扩散模型有助于识别和理解复杂的医疗影像，如细胞凋亡、皮肤病变和人体运动异常。这些模型的集成可以优化诊断流程，提供个性化治疗方案，并在医疗实践中考虑伦理和隐私保护。
5. 机器人技术：
   • Sora等模型在机器人领域的应用可以提升机器人的感知和决策能力。通过理解和生成复杂的视频序列，机器人可以更好地与环境互动，执行复杂任务。这种技术的发展为机器人学带来了革命性的进展，使得机器人能够更自然地导航和与环境互动。

总的来说，Sora模型的出现为多个行业带来了创新的可能性，推动了技术的发展和应用，同时也带来了新的挑战，如确保技术的安全性、公平性和伦理性。随着这些技术的不断进步，我们可以期待在这些领域看到更多的创新和变革。

😘Sora的变现思路

Sora模型的推出为普通人提供了多种赚钱的机会，以下是一些可能的途径：

1. 售卖Sora账号或邀请码：如果Sora的访问受到限制，用户可能愿意为获取账号或邀请码付费。
2. 自媒体内容创作：利用Sora生成独特的视频内容，吸引观众并建立自媒体平台，通过广告、赞助或会员制等方式盈利。
3. 知识付费教程：制作关于如何使用Sora的教程，通过在线课程平台或个人网站销售。
4. 小说视频推文：将小说内容转化为视频，为小说作者或出版社提供服务，或在社交媒体上推广小说。
5. 直播带货：在直播中展示Sora生成的视频，推广与Sora相关的付费产品或服务。
6. 开发工具和网站：创建围绕Sora的应用程序或网站，提供额外的功能或服务，吸引用户付费使用。
7. 电商：围绕Sora相关的搜索词进行电商活动，销售相关产品或服务。
8. 视频素材销售：将Sora生成的视频上传到素材网站，通过版权许可或销售视频素材获利。
9. 代制作视频：为客户提供定制化的视频生成服务，根据需求生成特定内容的视频。
10. 售卖高质量的视频生成prompt：创作有效的文本提示，帮助用户更好地利用Sora生成所需视频，通过售卖这些提示获利。
11. 套壳服务：提供Sora的接口或服务的封装，使得非技术用户也能轻松使用Sora的功能。

这些机会展示了Sora模型在商业应用中的潜力，同时也表明了AI技术如何为个人和企业提供新的收入来源。然而，这些商业活动应当遵守相关法律法规，尊重知识产权，并确保用户的隐私和数据安全。

🤪Sora的参考链接

DiT网络结构

• https://github.com/facebookresearch/DiT

Sora技术报告

• https://openai.com/research/video-generation-models-as-world-simulators

Sora技术综述

• https://arxiv.org/abs/2402.17177v1

Sora内测链接

• https://openai.com/form/red-teaming-network