ComfyUI轻松一键视频转动漫的AI视频-AnimateDiff

AnimateDiff

DiffSynth Studio是一个扩散引擎。我们重组了包括文本编码器、UNet、VAE等在内的架构，在提高计算性能的同时保持了与开源社区模型的兼容性。我们提供了许多有趣的功能。享受扩散模型的魔力！

项目地址：https://github.com/modelscope/DiffSynth-Studio.git

到目前为止，DiffSynth Studio 支持以下模型：

CogVideo、FLUX、ExVideo、Kolors、Stable Diffusion 3、Stable Video Diffusion、Hunyuan-DiT、RIFE、ESRGAN、Ip-Adapter、AnimateDiff、ControlNet、Stable Diffusion XL、Stable Diffusion

文本转视频-CogVideoX-5B

CogVideoX-5B由智普发布。我们提供了一个改进的管道，支持文本到视频、视频编辑、自缩放和视频插值。示例/视频合成左侧的视频是使用原始文本到视频管道生成的，而右侧的视频是编辑和帧插值后的结果。

https://github.com/user-attachments/assets/26b044c1-4a60-44a4-842f-627ff289d006

长视频合成

我们训练了扩展的视频合成模型，可以生成128帧。

https://github.com/modelscope/DiffSynth-Studio/assets/35051019/d97f6aa9-8064-4b5b-9d49-ed6001bb9acc

https://github.com/user-attachments/assets/321ee04b-8c17-479e-8a95-8cbcf21f8d7e

带阴影

以平铺风格渲染逼真的视频，并启用视频编辑功能。

https://github.com/Artiprocher/DiffSynth-Studio/assets/35051019/b54c05c5-d747-4709-be5e-b39af82404dd

https://github.com/Artiprocher/DiffSynth-Studio/assets/35051019/20528af5-5100-474a-8cdc-440b9efdd86c

视频风格化

没有视频模型的视频风格化。

https://github.com/Artiprocher/DiffSynth-Studio/assets/35051019/59fb2f7b-8de0-4481-b79f-0c3a7361a1ea

图像合成

突破扩散模型的限制，生成高分辨率图像！

集成到comfyui中

ComfyUI节点

安装方式：可以直接从github上下载。也可以在ComfyUI-Manager中安装

https://github.com/Kosinkadink/ComfyUI-Advanced-ControlNet.git

https://github.com/FizzleDorf/ComfyUI_FizzNodes.git

https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved.git

https://github.com/AIFSH/ComfyUI-DiffSynth-Studio.git

https://github.com/ltdrdata/ComfyUI-Manager.git

https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite.git

模型安装

工作流配置

可以直接使用ComfyUI-DiffSynth-Studio中的工作流

启动ComfyUI

导入工作流开始训练

注意：需要将ControlNetPathLoader 组件中选对模型

视频转动漫效果

电脑配置：32G内存，RTX4060 ti

视频25秒，转至时间1小时30分钟。