VideoCrafter | 图文生成视频

VideoCrafter1: Open Diffusion Models for High-Quality Video Generation

• paper https://arxiv.org/pdf/2310.19512.pdf
• code https://github.com/ailab-cvc/videocrafter

image-20231108102745812

Abstract

• 商用的Text2Video模型可以生成高质量的视频，但是不开源，无法研究
• VideoCrafter开源了2个模型，Text2Video和Image2Video，其中I2V可以生成1024X576高分辨率的电影质量的视频，在质量上超过其它开源模型，而且是业内第一个开源的的I2V模型。（I2V模型输入为text和reference image）

Contributions

• T2V模型可以生成高分辨率高质量视频，训练集集为2千万视频和6亿张图像
• I2V模型可以很好的保留参考图像的内容、结构和风格

Related Work

• Video Diffusion Models (VDMs)
• ImagenVideo
• DragNUWA

Methodology

Overview

image-20231108104712911

包括2个关键部分：video vae 和 video diffusion

• video vae 负责降低采样维度
  • 视频数据X0喂给VAE编码器E，映射到隐层Z0，其可以以低维表示压缩的视频表征
  • Z0通过解码器D反映射会视频数据空间，进行重构X0'
  • VAE采用的是Stable Diffusion的VAE，将每一帧独自投影，不包含时间信息

image-20231108111414839

• video diffusion
  • 对视频隐层Z0进行去噪，最后通过VAE解码器在像素空间生成视频
  • 采用3D U-Net架构，包含了时间维度

Denoising 3D U-Net

• 每一个block包含卷积层、空间变换ST、时间变换TT

image-20231108112046340

• 控制信号包括语义控制（文本提示）和动作速度控制（FPS帧率）

image-20231108112244180

image-20231108112640660

• 时间步T和帧率FPS分别通过sinusoidal embedding（正弦嵌入）映射为向量，再通过2层的MLP映射为学习嵌入，最后通过逐元素相加融合
• 语义控制通过CA交叉注意力注入到网络中，其中 φi(zt) ∈ RN×di ϵ represents spatially flattened tokens of video latent, ϕ denotes the Clip text encoder, and y is the input text prompt.

Text-Aligned Rich Image Embedding

image-20231108110036296

• 文本提示聚焦在语义水平特征，而不是细节外表特征
• 在I2V模型中，需要额外集成条件输入，即图像提示。为了将图像信息用于视频模型中，需要将图像特征投影到文本对齐的嵌入空间，这样才能兼容（就是同一个特征空间）
• Text Encoder 是 CLIP的文本编码器，其全局语义字符 fcls 和图像字幕对齐，主要在语义水平表征视频内容，同时很少捕捉细节。因此，需要利用来自CLIP image ViT （clip image encoder）的最后一层的全部面片patch的token Fvis = {fi}K i=0
• 为了和文本嵌入对齐，采用learnable投影网络 P 对 Fvis 映射 到 目标图像嵌入 Fimg = P(Fvis)
• 将文本嵌入Ftext和图像嵌入Fimg通过CA层融合，用于计算内部特征Fin

image-20231108114344516

Experiments

• 开源里面，性能较好，但是和商用的Gen2在视觉质量和动作质量上有差距

image-20231108114424527

• 在五边形战士里，仅次于Gen2

image-20231108114431546

• 图像条件输入控制对比

image-20231108114758612

• T2V

image-20231108114824763

• I2V

image-20231108114657469

image-20231108115035248

Conclusions

• 开源了还可以
• 论文对比从没输过，实测效果却一般

image-20231108115147302

image-20231108115209613

image-20231108115243336

References

• https://github.com/Picsart-AI-Research/Text2Video-Zero 这个I2V效果更好