PapersWithCode 榜首 | AI 动画生成框架 AnimateDiff 开源，更丝滑的动画制作体验，附在线应用教程

AnimateDiff ：更优质的动画生成体验

近年来，AIGC 宛如 AI 海洋中最不可或缺的波涛，逐渐凝成滔天的巨浪，突破壁垒、扑向海岸，并酝酿着下一波潮水高涨。以 Stable Diffusion 这股翻腾最为汹涌的波涛为代表的文生图模型飞速发展，使得更多非专业用户也能通过简单的文字提示生成高质量的图片内容。然而，文生图模型的训练成本往往十分高昂，为减轻微调模型的代价，相应的模型定制化方法如 DreamBooth, LoRA 应运而生，使得用户在开源权重的基础上，用少量数据和消费级显卡即可实现模型个性化和特定风格下的图像生成质量的提升。这极大推动了 HuggingFace, CivitAI 等开源模型社区的发展，众多艺术家和爱好者在其中贡献了许多高质量的微调模型。不觉间，平静的海洋洪水滔天，海滩上留下数不清的色彩斑斓的鹅卵石，便是爱好者们精心调制的 AI 画作。

与动画相比，静态图像的表达能力是有限的。随着越来越多效果惊艳的微调模型的出现和视频生成技术的发展，人们期待着能够赋予这些定制化模型生成动画的能力。在最新开源的 AnimateDiff 中，作者提出了一种将任何定制化文生图模型拓展用于动画生成的框架，可以在保持原有定制化模型画面质量的基础上，生成相应的动画片段。为色彩斑斓的鹅卵石，增添一些动态的光泽。

项目主页：

https://github.com/guoyww/animatediff

text-to-image (left) -> text-to-animation (right)

为避免破坏原有文生图微调模型生成能力，AnimateDiff 在文生图模型中插入动作建模模块，并在视频数据上学习合理的动作先验。在训练过程中，首先对模型结构进行了扩展使之可以接受视频格式数据；同时在参数更新时保持原有文生图模型权重不变，使得训练后的网络权重可以即插即用地驱动不同版本的定制化微调模型，而无需针对相应模型做任何优化。在推理时，插入动作建模模块直接到相应定制化模型中，组合后的模型对采样的噪声序列去噪，生成相应的动画片段。

与现有方法相比，AnimateDiff 由于从大量视频中学习了合理的动作先验，生成的动画在连续性上表现更优。不同于现有大部分视频生成框架，由于锁定了文生图模型的权重，生成画面的质量相比原有模型并没有明显降低。

框架技术解读

AnimateDiff App：输入简单的指令，

创造独一无二的动画场景

随着 AnimateDiff 的开源， GitHub Star 也一度飞涨，在 ML 领域著名的论文和代码资源网站 PapersWithCode 上以 4.42stars/小时的涨星速度，连续数天在 Trending Research 榜单排名第一。

PapersWithCode Trending 榜单首位

为方便用户以更低的成本和更简化的操作，真实地体验模型的能力。在 OpenXLab 浦源内容平台，作者搭建了一个简单易用的 AnimateDiff 应用——

OpenXLab 浦源内容平台 AnimateDiff

无需下载和部署，简单四步，浏览器内即可在线体验：

第一步：进入应用链接 https://openxlab.org.cn/apps/detail/Masbfca/AnimateDiff（点击文末“阅读原文”可直达）

第二步：先后选择 Base DreamBooth Model 与 Motion Module （可跳过此步，直接使用默认配置，也可自己调整）

第三步：填写 Prompt 和 Negative Prompt

示例：Prompt masterpiece, best quality, 1girl, solo, cherry blossoms, hanami, pink flower, white flower, spring season, wisteria, petals, flower, plum blossoms, outdoors, falling petals, white hair, black eyes Negative Prompt worst quality, low quality, nsfw, logo （也可参考作者在应用中提供的更多示例）

第四步：点击 Generate，等待一分钟左右，获得生成的动画视频

AnimateDiff 应用界面

视频教程，助你快速上手

浦源内容平台（https://openxlab.org.cn/apps）是面向 AI 研究员、开发者和使用者的一站式应用开发平台，同时也提供包括模型免费托管和数据集下载等服务。目前，平台已和诸多高校老师、AI 顶会作者、社区用户建立联系，共建 AI 应用，欢迎大家进入平台交互式地体验各种有趣的Demo，或发挥灵感，创建属于你的 AI 应用。