Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >字节跳动最新研究AI项目:一张图片组合一组动作就可以生成毫无违和感的视频!

字节跳动最新研究AI项目:一张图片组合一组动作就可以生成毫无违和感的视频!

作者头像
Python兴趣圈
发布于 2023-12-11 09:11:15
发布于 2023-12-11 09:11:15
91600
代码可运行
举报
文章被收录于专栏:翩翩白衣少年翩翩白衣少年
运行总次数:0
代码可运行

你敢信,1张人物图片 + 1张动作动画,就可以生成一段视频。网友直呼:“主播/视频UP主可能快要下岗了!”

(模型视频来源于网络)

本周,字节跳动联合新加坡国立大学发布了一款开源项目 MagicAnimate,在GitHub开源网站上发布不到4天,就收揽了 6.4k Star!受到了一大批科技大佬和互联网从业者的关注,并有网友在抖音上发布了试用效果,简直杠杠的!

接下来小编带大家一起来看一看这一款由字节跳动、新加坡国立大学合作研发的宝藏AI视频工具

项目介绍

MagicAnimate 是一款使用扩散模型实现的时域一致的人体图像动画工具。

它可以通过对人体图像进行扩散模型的运算,实现高质量、自然流畅的人体动画效果。MagicAnimate 具有高度的可控性和灵活性,可以通过微调参数来实现不同的动画效果。

它适用于人体动画创作、虚拟角色设计等领域。

你可以可以采用任何具体人像的图像照片+动作视频,去生成一个具有自己风格的人物动作,以下是网友采用网络上一张照片再加上跑步动作生成的。

(效果图来源于网络)

在线体验

官方团队在HuggingFace中开放了在线体验的模型Spaces。

模型在线体验地址:https://huggingface.co/spaces/zcxu-eric/magicanimate

具体使用步骤也非常简单,只需3个步骤即可:

  • • 先上传一张静态人物图片
  • • 在上传想要生成的动作demo视频
  • • 最后调整参数,点击“Animate”即可生成

本地搭建使用

如果想要在本地计算机搭建模型使用,需要先下载以下 2 个预训练基础模型和 1 个MagicAnimate模型。

  • • stable-diffusion-v1-5;
  • • sd-vae-ft-mse;
  • • MagicAnimate

Python 语言依赖需要python版本在3.8及以上, CUDA>=11.3, ffmpeg音视频处理工具

快捷安装命令:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
pip install -r requirements.txt

在单个 GPU 上运行推理:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
bash scripts/animate.sh

使用多个 GPU 运行推理:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
bash scripts/animate_dist.sh

在单 GPU 上启动本地 gradio 演示:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
python3 -m demo.gradio_animate

如果您有多个 GPU,请启动本地 gradio 演示:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
python3 -m demo.gradio_animate_dist

然后在本地浏览器中打开gradio demo即可体验。

总结

MagicAnimate 的主要应用领域:

1、未知领域动画:MagicAnimate可以为油画和电影角色等未知领域图像制作跑步或做瑜伽的动画。

2、结合T2I扩散模型:将MagicAnimate与DALLE-3生成的参考图像结合,制作各种动作的动画。

3、多人动画:根据给定的运动,为多个人制作动画。

MagicAnimate 产品的主要特色之一是它的高质量和自然流畅的动画效果。使用扩散模型处理人体图像,能够生成逼真的人体动动效果,使得动画更加栩栩如生。

另一个重要特点是MagicAnimate的可控性和灵活性。用户可以根据需要微调参数,实现不同的动画效果,使其适应不同的创作需求和风格。

与阿里的Animate Anyone相比,画面质量,人物一致性上、手部和面部动作 MagicAnimate 差一些,但MagicAnimate支持多人。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-12-09,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Python兴趣圈 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
CodeBuddy优雅入场!没有最强只有更强
在代码的世界里,键盘的敲击声曾是开发者思维的唯一外化,而今,一种新的“协作旋律”正在改变这一切,AI代码助手正从工具进化为开发者的“第二大脑”。从自动补全一行代码到理解项目全局逻辑,从生成测试用例到优化算法性能,这些智能助手不仅让编码效率呈指数级提升,更在重塑软件开发的本质:当机器学会“理解”需求、“创造”代码,甚至预判错误,程序员的角色正从“码农”蜕变为“架构师”。
闫同学
2025/05/13
3332
2025 年实用、全面的 VS Code 插件推荐!
VS Code是一款由微软开源免费、轻量级、功能强大的源代码编辑器。其轻量级体现在基础安装简洁,仅含核心编辑功能。功能强大则源于它支持丰富的语言环境插件拓展,这种模块化设计让VS Code在源代码开发工具中独占鳌头,它能够轻松应对多种语言开发。俗话说的好工欲善其事必先利其器,选用合适的插件能显著提升开发效率。以下是大姚精选的一些实用VS Code插件拓展,希望能对你有所帮助,大家有更好的插件推荐可在文末留言🤞。
追逐时光者
2025/06/08
6500
2025 年实用、全面的 VS Code 插件推荐!
程序员不能不知道的13个AI开发工具
随着人工智能的进步,开发行业已经发展到了新的水平。 目前,人工智能工具在开发者中很受欢迎,因为它正在迅速重塑开发行业。
从大数据到人工智能
2023/10/18
5.4K0
程序员不能不知道的13个AI开发工具
提高编码效率的7种AI工具,让你轻松生成复杂代码!
ChatGPT是一个优秀的人工智能工具,可以根据自然语言提示自动生成代码。然而,对于程序员来说,它可能无法完全满足开发者的需求。下面我来给大家介绍7种更专注于编码的人工智能工具。
make a bug
2023/07/15
4K0
提高编码效率的7种AI工具,让你轻松生成复杂代码!
我在腾讯用AI写代码
本文采访了13位来自不同产品团队的一线开发者,他们都在用腾讯云 AI 代码助手写代码,使用时间超过1年,在此他们与我们分享使用腾讯云 AI 代码助手的真实感受。
腾讯云代码助手 CodeBuddy
2025/01/14
2610
氛围式编程什么鬼!?
Vibe Coding(氛围式编程)是一种革命性的软件开发方法,由AI专家Andrej Karpathy在2025年初提出并推广。这种方法让开发者利用大型语言模型(LLMs)通过自然语言描述来生成代码,从而改变了程序员的角色——从手动编写代码转变为引导和优化AI生成的解决方案。
腾讯云开发者
2025/04/23
3030
氛围式编程什么鬼!?
2024年值得你关注的9款AI工具,提升你的编码效率
随着2024年的到来,这是一个绝佳的机会来回顾一下那些对开发者们极为有用的人工智能(AI)工具。这些工具可以帮助我们在新的一年中提升开发流程。
前端达人
2024/01/03
2.3K0
2024年值得你关注的9款AI工具,提升你的编码效率
10.4K Star厉害!支持14种IDE的代码补全神器
开源日记
2024/05/06
2830
10.4K Star厉害!支持14种IDE的代码补全神器
数十亿行代码训练,GitHub原生AI代码生成工具上线,网友:要终结编程?
GitHub Copilot 是一个 AI 代码合成器,并不是搜索引擎:它提出的绝大多数代码建议都是新生成的,此前从未出现过。
肉眼品世界
2021/07/13
5480
数十亿行代码训练,GitHub原生AI代码生成工具上线,网友:要终结编程?
【AI是在帮助开发者还是取代他们?】AI与开发者:合作与创新的未来
在软件开发领域,生成式人工智能(AIGC)正在改变开发者的工作方式。无论是代码生成、错误检测还是自动化测试,AI工具正在成为开发者的得力助手。然而,这也引发了对开发者职业前景和技能需求变化的讨论。AI究竟是在帮助开发者还是取代他们?
Francek Chen
2025/01/23
1120
【AI是在帮助开发者还是取代他们?】AI与开发者:合作与创新的未来
人工智能在软件开发领域应用现状
江湖上一直流传着这样的传闻:“程序员们很快就要失业了,因为人工智能马上就能写出完美的代码了”。人工智能是以软件形式存在的,编写了这些强大软件的码农们,如果被自己编写的代码所取代,来写出新一代的代码,那会是一个神奇而又悲伤的故事。我们今天就来看看人工智能在软件开发领域里的现状,我们距离传奇还有多远?
yuanyi928
2020/10/19
2.3K0
VS Code:让你的编程效率翻倍的利器
在当今快节奏的软件开发环境中,选择合适的编程工具已成为提升开发效率的关键因素。无论是前端开发、后端编程还是全栈工程,一个功能强大且易于使用的代码编辑器都能显著提高工作效率,减少不必要的时间消耗。在众多编程工具中,Visual Studio Code(简称VS Code)凭借其卓越的性能、丰富的功能和强大的扩展生态系统,成为了全球开发者的首选工具之一。
LucianaiB
2025/06/09
820
AI编程工具合集
在当今快速发展的技术时代,人工智能(AI)已经成为软件开发领域中不可或缺的一部分。AI编程不仅仅是一种技术趋势,它已经彻底改变了我们设计和实现软件的方式。从自动化的数据分析到智能的用户交互,AI编程正在推动着软件开发的边界,使其更加高效、智能和个性化。
正在走向自律
2024/12/18
3240
AI编程工具合集
AI 编程神器 CodeBuddy 体验报告:对话式开发 + 智能补全,真香!
在当今 AI 技术蓬勃发展的编程领域,各类智能编程工具不断涌现,为开发者们带来了全新的编程体验。腾讯云推出的 CodeBuddy 便是其中一款极具创新性的工具,它凭借强大的功能和出色的性能,在众多编程辅助工具中脱颖而出。
章为忠学架构
2025/05/13
4740
AI 编程神器 CodeBuddy 体验报告:对话式开发 + 智能补全,真香!
CodeBuddy Craft 使用体验:提升开发效率的智能编程助手
CodeBuddy Craft 是一款新兴的 AI 编程辅助工具,旨在帮助开发者提高编码效率、减少重复劳动并提升代码质量。作为一款基于人工智能的编程助手,它能够理解上下文、生成代码片段、提供智能建议,并与主流 IDE 无缝集成。
摘星.
2025/05/20
1320
CodeBuddy Craft 使用体验:提升开发效率的智能编程助手
2024年开发者必备:15款提升效率的VSCode插件精选分享
在这个软件主导的世界里,如何提高编程效率,成为了每位开发者必须面对的课题。正如史蒂夫·麦康奈尔(Steve C McConnell)所说:“等待一位高效的程序员变得可用,比等待第一个可用的程序员变得高效要好。” 这句话强调了软件工程师角色中效率的重要性。
前端达人
2023/12/19
9.5K0
2024年开发者必备:15款提升效率的VSCode插件精选分享
一文读懂如何基于 GenAI 提升编码效能
面对日新月异的技术创新以及差异化的业务场景挑战,传统的编码方式已经开始出现水土不服,难以完全应对日益增长的诉求。与此同时,新兴的通用 GenAI (人工智能技术)具有极具潜力来满足这一需求。
Luga Lee
2024/01/29
6080
一文读懂如何基于 GenAI 提升编码效能
【揭秘】AI代码助手:效率提升10倍,但程序员真的会被取代吗?
GitHub Copilot 推出后,开发人员很快就尝试了它 - 但如果您需要人工智能帮助编写和调试代码,它并不是唯一的选择。这是五位代码助理的阵容。
IT咸鱼
2025/05/20
1240
【揭秘】AI代码助手:效率提升10倍,但程序员真的会被取代吗?
解锁下一代开发范式:IntelliJ Idea AI插件全景实战与未来展望
随着大语言模型(LLM)技术的爆发式发展,编程工具正经历从“辅助工具”到“智能伙伴”的质变。据开发者社区统计,2025年已有超80%的开发者将AI插件深度融入日常工作流,而IntelliJ IDEA作为Java生态的领军IDE,凭借其开放的插件生态,成为AI技术落地的核心战场。本文将从实战角度拆解主流AI插件,探索其如何重构代码编写、调试、协作的全流程,并展望未来趋势。
有一只柴犬
2025/03/10
7710
解锁下一代开发范式:IntelliJ Idea AI插件全景实战与未来展望
利用AI工具实现多栈开发:从后端到前端的实践分享
随着人工智能技术的飞速发展,越来越多的开发者开始利用AI工具提升开发效率,特别是在多栈开发场景下,AI工具的作用尤为明显。
opencoder
2024/12/03
5250
推荐阅读
相关推荐
CodeBuddy优雅入场!没有最强只有更强
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验