首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >项目推荐:LivePortrait - 让静态照片“活”起来

项目推荐:LivePortrait - 让静态照片“活”起来

作者头像
wayn
发布于 2025-06-09 08:06:25
发布于 2025-06-09 08:06:25
23000
代码可运行
举报
文章被收录于专栏:wayn的程序开发wayn的程序开发
运行总次数:0
代码可运行

LivePortrait 是由 KwaiVGI 团队开发的一项前沿技术,旨在通过深度学习实现高效、逼真的人像动画生成。使得用户能够通过简单的驱动视频或动作模板,将静态图片“活化”为具有丰富表情和姿态变化的动态人像。

本文将详细介绍 LivePortrait 的功能特点、安装步骤、使用方法以及适用场景,并提供清晰的操作示例,帮助开发者快速上手这一强大工具。

一、LivePortrait 简介 📖

技术亮点

  • 高保真动画生成:支持从单张静态图像生成高质量的动态人物形象。
  • 高效的推理速度:在现代 GPU 上可实现接近实时的动画生成。
  • 灵活的控制方式
    • 支持使用驱动视频(如面部动作视频)或动作模板文件.pkl)进行控制。
    • 提供图像缝合(Stitching)与姿态重定向(Retargeting)两种模式,适应不同应用场景。
  • 跨平台支持
    • 支持 LinuxWindows 系统,兼容 NVIDIA GPU。
    • macOS(Apple Silicon)也提供部分支持,但性能较低。

二、安装与配置指南 ⚙️

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
硬件要求:
内存(RAM):至少 16GB
显卡(GPU):NVIDIA GPU,支持 CUDA 计算能力 ≥ 6.0(如 RTX 30 系列或更高)

1. 克隆仓库并创建环境

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
git clone https://github.com/KwaiVGI/LivePortrait
cd LivePortrait

# 创建 conda 环境
conda create -n LivePortrait python=3.10
conda activate LivePortrait

根据你的 CUDA 版本安装 PyTorch:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# 示例(请根据实际版本选择)
pip install torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 --index-url https://download.pytorch.org/whl/cu118

然后安装依赖项:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
pip install -r requirements.txt

Mac 用户注意:搭载 Apple Silicon 的设备需使用 requirements_macOS.txt 文件安装依赖。X-Pose 依赖项不支持 macOS,因此您可以跳过其安装。人类模式照常工作,但不支持动物模式

2. 下载预训练模型权重

推荐使用 HuggingFace CLI 下载预训练权重:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
huggingface-cli download KwaiVGI/LivePortrait --local-dir pretrained_weights --exclude "*.git*" "README.md" "docs"

若无法访问 HuggingFace,可使用镜像网站 hf-mirror:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download KwaiVGI/LivePortrait --local-dir pretrained_weights ...

下载完成后确保目录结构如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
pretrained_weights
├── insightface
│   └── models
│       └── buffalo_l
│           ├── 2d106det.onnx
│           └── det_10g.onnx
├── liveportrait
│   ├── base_models
│   │   ├── appearance_feature_extractor.pth
│   │   ├── motion_extractor.pth
│   │   ├── spade_generator.pth
│   │   └── warping_module.pth
│   ├── landmark.onnx
│   └── retargeting_models
│       └── stitching_retargeting_module.pth
└── liveportrait_animals
    ├── base_models
    │   ├── appearance_feature_extractor.pth
    │   ├── motion_extractor.pth
    │   ├── spade_generator.pth
    │   └── warping_module.pth
    ├── retargeting_models
    │   └── stitching_retargeting_module.pth
    └── xpose.pth

三、使用教程 🚀

快速上手(人类模型)👤 👤

运行以下命令即可生成默认示例:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# 对于Linux和Windows用户
python inference.py

# 对于搭载Apple Silicon的macOS用户(Intel未测试)。注意:这可能比RTX 409020PYTORCH_ENABLE_MPS_FALLBACK=1 python inference.py

输出结果保存在 animations/s6--d0_concat.mp4 中,包含原始输入、驱动视频和生成动画的拼接效果。

自定义输入参数:

或者,您可以通过指定-s-d参数来更改输入:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# 输入图像 + 驱动视频
python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d0.mp4

# 输入视频 + 驱动视频(动态编辑)
python inference.py -s assets/examples/source/s13.mp4 -d assets/examples/driving/d0.mp4

查看所有参数选项:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
python inference.py -h

快速上手(动物模型) 🐱🐶

动物模型仅支持 Linux 和 Windows 系统,并需要 NVIDIA GPU。

首先构建 X-Pose 所需的自定义算子:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
cd src/utils/dependencies/XPose/models/UniPose/ops
python setup.py build install
cd - # 等同于 cd ../../../../../../../

然后运行动物模型推理:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
python inference_animals.py -s assets/examples/source/s39.jpg -d assets/examples/driving/wink.pkl --driving_multiplier 1.75 --no_flag_stitching

如果脚本成功运行,您将得到一个名为 animations/s39--wink_concat.mp4 的输出 mp4 文件。

驱动视频自动裁剪 📢📢📢

使用您自己的驱动视频时,我们推荐: ⬇️

  • 将其裁剪为1:1的宽高比(例如,512x512或256x256像素),或通过--flag_crop_driving_video启用自动裁剪。
  • 专注于头部区域,类似于示例视频。
  • 最小化肩部运动。
  • 确保驱动视频的第一帧是具有中性表情的正面面部。

建议对驱动视频进行裁剪以提升效果:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d13.mp4 --flag_crop_driving_video

可选参数调整裁剪比例和偏移:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
--scale_crop_driving_video 1.2
--vy_ratio_crop_driving_video 0.5

Gradio 图形界面 🤗

LivePortrait 提供了基于 Gradio 的图形界面,方便非程序员用户使用:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# 对于Linux和Windows用户(以及搭载Intel的macOS??)
python app.py # 人类模型模式

# 对于搭载Apple Silicon的macOS用户,不支持Intel,这可能比RTX 409020PYTORCH_ENABLE_MPS_FALLBACK=1 python app.py # 人类模型模式

支持参数:

  • --server_port:指定端口
  • --share:生成公网链接分享
  • --flag_do_torch_compile:启用编译优化(仅限 NVIDIA GPU)
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# 启用torch.compile以进行更快的推理
python app.py --flag_do_torch_compile

四、总结 ✅

LivePortrait 是一个极具潜力的人像动画生成项目,凭借其高效的推理架构、灵活的控制方式和良好的跨平台支持,非常适合用于虚拟主播、AI 换脸、数字人等领域。

无论是研究人员还是内容创作者,都可以通过简单几步快速部署并生成高质量的人像动画。如果你希望打造个性化的虚拟形象,或者探索 AI 驱动的视觉创作,LivePortrait 绝对值得一试!

📌 GitHub 地址:https://github.com/KwaiVGI/LivePortrait 📌 HuggingFace 页面:https://huggingface.co/KwaiVGI/LivePortrait

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2025-06-05,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 waynblog 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、LivePortrait 简介 📖
    • 技术亮点
  • 二、安装与配置指南 ⚙️
    • 1. 克隆仓库并创建环境
    • 2. 下载预训练模型权重
  • 三、使用教程 🚀
    • 快速上手(人类模型)👤 👤
      • 自定义输入参数:
    • 快速上手(动物模型) 🐱🐶
    • 驱动视频自动裁剪 📢📢📢
    • Gradio 图形界面 🤗
  • 四、总结 ✅
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档