Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >字节跳动最新研究AI项目:一张图片组合一组动作就可以生成毫无违和感的视频!

字节跳动最新研究AI项目:一张图片组合一组动作就可以生成毫无违和感的视频!

作者头像
Python兴趣圈
发布于 2023-12-11 09:11:15
发布于 2023-12-11 09:11:15
91600
代码可运行
举报
文章被收录于专栏:翩翩白衣少年翩翩白衣少年
运行总次数:0
代码可运行

你敢信,1张人物图片 + 1张动作动画,就可以生成一段视频。网友直呼:“主播/视频UP主可能快要下岗了!”

(模型视频来源于网络)

本周,字节跳动联合新加坡国立大学发布了一款开源项目 MagicAnimate,在GitHub开源网站上发布不到4天,就收揽了 6.4k Star!受到了一大批科技大佬和互联网从业者的关注,并有网友在抖音上发布了试用效果,简直杠杠的!

接下来小编带大家一起来看一看这一款由字节跳动、新加坡国立大学合作研发的宝藏AI视频工具

项目介绍

MagicAnimate 是一款使用扩散模型实现的时域一致的人体图像动画工具。

它可以通过对人体图像进行扩散模型的运算,实现高质量、自然流畅的人体动画效果。MagicAnimate 具有高度的可控性和灵活性,可以通过微调参数来实现不同的动画效果。

它适用于人体动画创作、虚拟角色设计等领域。

你可以可以采用任何具体人像的图像照片+动作视频,去生成一个具有自己风格的人物动作,以下是网友采用网络上一张照片再加上跑步动作生成的。

(效果图来源于网络)

在线体验

官方团队在HuggingFace中开放了在线体验的模型Spaces。

模型在线体验地址:https://huggingface.co/spaces/zcxu-eric/magicanimate

具体使用步骤也非常简单,只需3个步骤即可:

  • • 先上传一张静态人物图片
  • • 在上传想要生成的动作demo视频
  • • 最后调整参数,点击“Animate”即可生成

本地搭建使用

如果想要在本地计算机搭建模型使用,需要先下载以下 2 个预训练基础模型和 1 个MagicAnimate模型。

  • • stable-diffusion-v1-5;
  • • sd-vae-ft-mse;
  • • MagicAnimate

Python 语言依赖需要python版本在3.8及以上, CUDA>=11.3, ffmpeg音视频处理工具

快捷安装命令:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
pip install -r requirements.txt

在单个 GPU 上运行推理:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
bash scripts/animate.sh

使用多个 GPU 运行推理:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
bash scripts/animate_dist.sh

在单 GPU 上启动本地 gradio 演示:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
python3 -m demo.gradio_animate

如果您有多个 GPU,请启动本地 gradio 演示:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
python3 -m demo.gradio_animate_dist

然后在本地浏览器中打开gradio demo即可体验。

总结

MagicAnimate 的主要应用领域:

1、未知领域动画:MagicAnimate可以为油画和电影角色等未知领域图像制作跑步或做瑜伽的动画。

2、结合T2I扩散模型:将MagicAnimate与DALLE-3生成的参考图像结合,制作各种动作的动画。

3、多人动画:根据给定的运动,为多个人制作动画。

MagicAnimate 产品的主要特色之一是它的高质量和自然流畅的动画效果。使用扩散模型处理人体图像,能够生成逼真的人体动动效果,使得动画更加栩栩如生。

另一个重要特点是MagicAnimate的可控性和灵活性。用户可以根据需要微调参数,实现不同的动画效果,使其适应不同的创作需求和风格。

与阿里的Animate Anyone相比,画面质量,人物一致性上、手部和面部动作 MagicAnimate 差一些,但MagicAnimate支持多人。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-12-09,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Python兴趣圈 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
MagicAnimate:一张照片,让TikTok小姐姐跳舞
前几日,阿里研究团队构建了一种名为 Animate Anyone 的方法,只需要一张人物照片,再配合骨骼动画引导,就能生成自然的动画视频。不过,这项研究的源代码还没有发布。
公众号机器学习与AI生成创作
2023/12/11
7370
MagicAnimate:一张照片,让TikTok小姐姐跳舞
预训练模型助力,真实动画视频生成 | 开源专题 No.92
SadTalker 是一个基于音频驱动的单幅图像对话头像动画生成项目。它可以将单幅人像图像与音频结合,生成逼真的视频对话头像。该项目的主要功能和核心优势包括:
小柒
2024/06/25
1720
预训练模型助力,真实动画视频生成 | 开源专题 No.92
被误解的「中文版Sora」背后,字节跳动有哪些技术?
这几年,视频生成领域的技术迭代持续加速,很多科技公司也公布了相关技术进展和落地成果。在此之前,Pika、Runway 都曾推出过类似产品,但 Sora 放出的 Demo,显然以一己之力抬高了视频生成领域的标准。
机器之心
2024/03/18
1480
被误解的「中文版Sora」背后,字节跳动有哪些技术?
只需一张图片、一句动作指令,Animate124轻松生成3D视频
近一年来,DreamFusion 引领了一个新潮流,即 3D 静态物体与场景的生成,这在生成技术领域引发了广泛关注。回顾过去一年,我们见证了 3D 静态生成技术在质量和控制性方面的显著进步。技术发展从基于文本的生成起步,逐渐融入单视角图像,进而发展到整合多种控制信号。
机器之心
2023/12/21
4390
只需一张图片、一句动作指令,Animate124轻松生成3D视频
【腾讯云HAI域探秘】“赋予艺术生命:通过腾讯云HAI和MagicAnimate呈现动态蒙娜丽莎“
AI 视频生成领域近期算是非常热闹,个人也是非常的感兴趣,奈何电脑不给力,在搭建的过程中总是提示各种各样的问题 , 不过天无绝人之路, 最近 腾讯云高性能应用服务(Hyper Application Inventor,HAI) 活动正在如火如荼的进行着, 因此决定挑战一下, 看下在HAI 上搭建 AI 动画生成框架 MagicAnimate 是否会有不一样的收获.
全栈若城
2024/02/29
2140
【腾讯云HAI域探秘】“赋予艺术生命:通过腾讯云HAI和MagicAnimate呈现动态蒙娜丽莎“
4个惊艳的AI项目,开源了!
三维参数导引下可控一致的人体图像动画生成项目。只需要一张照片,就能让照片里的人物动起来。
Jack_Cui
2024/04/03
1.8K0
4个惊艳的AI项目,开源了!
【腾讯云HAI域探秘】“赋予艺术生命:通过腾讯云HAI和MagicAnimate呈现动态蒙娜丽莎“
AI 视频生成领域近期算是非常热闹,个人也是非常的感兴趣,奈何电脑不给力,在搭建的过程中总是提示各种各样的问题 , 不过天无绝人之路, 最近 腾讯云高性能应用服务(Hyper Application Inventor,HAI) 活动正在如火如荼的进行着, 因此决定挑战一下, 看下在HAI 上搭建 AI 动画生成框架 MagicAnimate 是否会有不一样的收获.
全栈若城
2023/12/15
5051
Champ首发开源:人体视频生成新SOTA,5天斩获1k星,demo可玩
近日,由阿里、复旦大学、南京大学联合发布的可控人体视频生成工作 Champ 火爆全网。该模型仅开源 5 天 GitHub 即收获 1k 星,在 Twitter 更是「火出圈」,吸引了大量博主二创,浏览量总量达到 300K。
机器之心
2024/04/12
3600
Champ首发开源:人体视频生成新SOTA,5天斩获1k星,demo可玩
一张图片,一键跳舞 - 这是ViggleAI的完美首秀
这个好玩的东西其实前几天我就想发出来的,但是我一直觉得它跟愚人节最配,毕竟真的能整活,所以一直等到今天,正好前两天他们也发了2.0模型,刚好。
数字生命卡兹克
2025/04/14
860
一张图片,一键跳舞 - 这是ViggleAI的完美首秀
后期狂喜!一张照片丝滑替换视频主角,动作幅度再大也OK|Meta&新加坡国立大学
不管是风格转换还是主题/背景转换,这种视频编辑任务的主要挑战都是如何从源视频中提取运动轨迹传输到新视频、覆盖到新元素上,同时确保时间一致性。
量子位
2023/12/12
3960
后期狂喜!一张照片丝滑替换视频主角,动作幅度再大也OK|Meta&新加坡国立大学
4张图片就可以微调扩散模型
稳定扩散模型因其从文本描述生成高质量、多样化图像的能力而获得了极大的关注。但是这些预训练模型在生成高度定制或个性化主题的图像时可能会有所不足。
deephub
2024/02/21
5760
4张图片就可以微调扩散模型
TikTokDance5K 数据集助力 DreamDance,利用 2D 姿态丰富 3D 线索,仅用骨架动作序列动画化人体图像!
人类图像动画是指根据一系列动作控制信号,从静态的人类图像生成动态且逼真的视频。该领域由于其在电影制作、社交媒体和在线零售等多个行业的广泛应用而受到了广泛关注。尽管生成式人工智能迅速发展,但人类图像动画仍然具有挑战性,因为它需要对帧内连贯性和帧间一致性有全面的理解。
AIGC 先锋科技
2025/02/20
1760
TikTokDance5K 数据集助力 DreamDance,利用 2D 姿态丰富 3D 线索,仅用骨架动作序列动画化人体图像!
[AIGC服务] LivePortrait | 视频控制的数字人动画
Face Vid2vid是一个基于视频驱动的肖像动画生成框架。它的工作原理是从驱动视频中提取运动特征,并将这些特征应用于静态肖像图像上,以生成连贯的动画效果。Face Vid2vid初步阶段包括以下几个关键组件:
iResearch666
2024/07/29
4190
[AIGC服务] LivePortrait | 视频控制的数字人动画
HumanDiT 姿势引导框架来袭,支持多分辨率,长序列视频生成精准又高保真 !
近年来,生成逼真的人类运动视频受到了广泛关注,特别是在生成式人工智能的进步之后。与图像生成相比,视频生成面临更大的挑战,因为它不仅需要高质量的视觉效果,还需要帧与帧之间平滑的时间一致性,以保持视觉连贯性[68]。虚拟人类、动画电影和沉浸式体验等应用推动了可靠、高质量运动视频生成方法的需求。
AIGC 先锋科技
2025/03/17
2270
HumanDiT 姿势引导框架来袭,支持多分辨率,长序列视频生成精准又高保真 !
腾讯混元视频生成再升级,发布图生视频、音频与动作驱动等能力
腾讯混元发布图生视频模型并对外开源,同时上线对口型与动作驱动等玩法,并支持生成背景音效及2K高质量视频。
腾讯开源
2025/03/07
5200
腾讯混元视频生成再升级,发布图生视频、音频与动作驱动等能力
谷歌发布“Vlogger”模型:单张图片生成10秒视频
其中,前者负责将音频波形作为输入,生成人物的身体控制动作,包括眼神、表情和手势、身体整体姿势等等。
量子位
2024/03/21
2680
谷歌发布“Vlogger”模型:单张图片生成10秒视频
AI读心升级版!NUS、港中文华人团队新作,高清视频1秒生成,准确率超SOTA 45%
这次来自新加坡国立大学和中国香港中文大学的两位在读博士生提出了一个名叫MinD-Video的AI模型,它可以根据收集的fMRI数据重建任意帧速率的高质量视频。
新智元
2023/08/05
2130
AI读心升级版!NUS、港中文华人团队新作,高清视频1秒生成,准确率超SOTA 45%
一张图片+ 一条音频,照片开口说话唱歌,多角色、情绪控制都拿捏了。
腾讯混元联合腾讯音乐,搞了个新模型 HunyuanVideo-Avatar,能让照片直接“活”过来。
AI进修生
2025/06/08
730
一张图片+ 一条音频,照片开口说话唱歌,多角色、情绪控制都拿捏了。
极低成本,复现GPT-4o图像风格化一致性!NUS推出OmniConsistency
本文由 NUS ShowLab 主导完成。第一作者宋亦仁为新加坡国立大学 ShowLab@NUS 在读博士生,研究方向是视觉生成和多模态,在 CVPR、SIGGRAPH、NeurIPS 等国际顶级会议上发表多篇研究成果。共同一作刘成为 NUS 重庆研究院四年级本科生,研究方向是视觉生成。项目负责作者为该校校长青年教授寿政。
机器之心
2025/06/10
650
极低成本,复现GPT-4o图像风格化一致性!NUS推出OmniConsistency
鹅厂最新AI工具刷屏!杨幂寡姐多风格写真秒秒钟生成,LeCun点赞 | 可免费体验
前脚字节阿里的工具火了,现在腾讯这个新照片生成应用PhotoMaker直接刷屏,瞧这阵仗……
量子位
2024/01/17
3371
鹅厂最新AI工具刷屏!杨幂寡姐多风格写真秒秒钟生成,LeCun点赞 | 可免费体验
推荐阅读
MagicAnimate:一张照片,让TikTok小姐姐跳舞
7370
预训练模型助力,真实动画视频生成 | 开源专题 No.92
1720
被误解的「中文版Sora」背后,字节跳动有哪些技术?
1480
只需一张图片、一句动作指令,Animate124轻松生成3D视频
4390
【腾讯云HAI域探秘】“赋予艺术生命:通过腾讯云HAI和MagicAnimate呈现动态蒙娜丽莎“
2140
4个惊艳的AI项目,开源了!
1.8K0
【腾讯云HAI域探秘】“赋予艺术生命:通过腾讯云HAI和MagicAnimate呈现动态蒙娜丽莎“
5051
Champ首发开源:人体视频生成新SOTA,5天斩获1k星,demo可玩
3600
一张图片,一键跳舞 - 这是ViggleAI的完美首秀
860
后期狂喜!一张照片丝滑替换视频主角,动作幅度再大也OK|Meta&新加坡国立大学
3960
4张图片就可以微调扩散模型
5760
TikTokDance5K 数据集助力 DreamDance,利用 2D 姿态丰富 3D 线索,仅用骨架动作序列动画化人体图像!
1760
[AIGC服务] LivePortrait | 视频控制的数字人动画
4190
HumanDiT 姿势引导框架来袭,支持多分辨率,长序列视频生成精准又高保真 !
2270
腾讯混元视频生成再升级,发布图生视频、音频与动作驱动等能力
5200
谷歌发布“Vlogger”模型:单张图片生成10秒视频
2680
AI读心升级版!NUS、港中文华人团队新作,高清视频1秒生成,准确率超SOTA 45%
2130
一张图片+ 一条音频,照片开口说话唱歌,多角色、情绪控制都拿捏了。
730
极低成本,复现GPT-4o图像风格化一致性!NUS推出OmniConsistency
650
鹅厂最新AI工具刷屏!杨幂寡姐多风格写真秒秒钟生成,LeCun点赞 | 可免费体验
3371
相关推荐
MagicAnimate:一张照片,让TikTok小姐姐跳舞
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验