Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >AI视频年大爆发!Gen-2/Pika成时代爆款,2023年AI视频生成领域的现状全盘点

AI视频年大爆发!Gen-2/Pika成时代爆款,2023年AI视频生成领域的现状全盘点

作者头像
新智元
发布于 2024-02-26 11:36:49
发布于 2024-02-26 11:36:49
4290
举报
文章被收录于专栏:新智元新智元

新智元报道

编辑:桃子

【新智元导读】2023年,也是AI视频元年。过去一年究竟有哪些爆款应用诞生,未来视频生成领域面临的难题还有哪些?

过去一年,AI视频领域我们见证了,Gen-2、Pika等爆款产品的诞生。

来自a16z的Justine Moore,详细盘点了人工智能视频生成领域的现状、不同模型比较,以及还未解决的技术挑战。

接下来,一起看看这篇文章都讲了什么?

AI视频生成大爆发

2023年是AI视频取得突破的一年。不过,今年过去了一个月,暂未有公开的文本到视频的模型。

短短12个月,数十种视频生成产品受到了全球数以万计的用户的青睐。

不过,这些AI视频生成工具仍相对有限,多数只能生成3-4秒的视频,同时质量往往参差不齐,角色一致性等问题尚未解决。

也就是说,我们还远不能制作出一个只有文字提示,甚至多个提示的皮克斯级别的短片。

然而,我们在过去一年中在视频生成方面取得的进步表明,世界正处于一场大规模变革的早期阶段——与我们在图像生成方面看到的情况类似。

我们看到,文本到视频的模型在不断改进,图像到视频,以及视频到视频等分支也在蓬勃发展。

为了帮助了解这一创新的爆炸式增长,a16z追踪了到目前为止最需要关注的公司,以及该领域仍然存在的潜在问题。

今天,你可以在哪里生成AI视频?

21个视频生成产品

今年到目前为止,a16z已经跟踪了21种公开产品。

虽然你可能听说过Runway、Pika、Genmo和Stable Video Diffusion,但还有许多其他的东西需要探索。

这些产品大多来自初创公司,其中许多都是从Discord bots,有以下几个优势:

- 不需要构建自己面向消费者的界面,只需专注于模型质量

- 可以利用Discord每月1.5亿活跃用户的基础进行分发

- 公共渠道为新用户提供了一种简便的方式,让他们获得创作灵感(通过查看他人的创作)

然而,随着技术成熟,我们开始看到越来越多的AI视频产品建立自己的网站,甚至是App。

随着Discord提供了一个很好的平台,但在纯生成之上添加的工作流而言,却是有限的,并且团队对消费者体验的控制很少。

值得注意的是,还有很大一部分人不使用Discord,因其觉得界面混乱让人困惑。

研究和技术

谷歌、Meta和其他公司在哪里?

在公开的产品列表中,他们显然没有出现--尽管你可能已经看到了他们发布的关于Emu Video、VideoPoet 和 Lumiere等模型的帖子。

到目前为止,大型科技公司基本上都不选择公开自家的AI视频产品。

取而代之的是,他们发表了各种相关的视频生成的论文,而没有选择视频演示。

比如,谷歌文本生成视频的模型Lumiere

这些公司有着巨大的分销优势,其产品拥有数十亿用户。

那么,他们为什么不放弃发布视频模型,而在这一新兴类别市场中夺取巨大份额。

最主要的原因还是,法律、安全和版权方面的担忧,往往使这些大公司很难将研究转化为产品,并推迟推出。如此一来,让新来者有机会获得先发优势。

AI视频的下一步是什么?

如果你曾使用过这些产品,便知道在AI视频进入主流产品之前,仍然有很大的改进空间。

有时会发现,AI视频工具可以将提示内容生成视频的「神奇时刻」,但这种情况相对较少见。更常见的情况是,你需要点击几次重新生成,然后裁剪或编辑输出,才能获得专业级别的片段。

这一领域的大多数公司都专注于解决一些核心的问题:

- 控制性:你能否同时控制场景中发生的事情,(比如,提示「有人向前走」,动作是否如描述的那样?)关于后一点,许多产品都增加了一些功能,允许你对镜头zoom或pan,甚至添加特效。

- 「动作是否如描述的那样」一直较难解决:这涉及到底层模型的质量问题(模型是否理解提示的含义并能按要求生成),尽管一些公司正在努力在生成前提供更多的用户控制。

比如,Runway的motion brush就是一个很好的例子,它允许用户高粱图像的特定区域并确定其运动方式。

时间一致性:如何让角色、对象和背景在帧之间保持一致,而不会变形为其他东西或扭曲?

在所有公开提供的模型中,这是一个非常常见的问题。

如果你今天看到一段时间连贯的视频,时长超过几秒,很可能是视频到视频,通过拍摄一段视频,然后用AnimateDiff prompt travel之类的工具来改变风格。

- 长度——制作长时间的短片与时间连贯性高度相关。

许多公司会限制生成视频的长度,因为他们不能确保几分钟后依然视频保持一致性。

如果当你看到一个超长的AI视频,要知道它们是由一堆短片段组成的。

尚未解决的问题

视频的ChatGPT时刻什么时候到来?

其实我们还有很长的路要走,需要回答以下几个问题:

1 当前的扩散架构是否适用于视频?

今天的视频模型是基于扩散模型搭建的:它们基本原理是生成帧,并试图在它们之间创建时间一致的动画(有多种策略可以做到这一点)。

他们对3D空间和对象应该如何交互没有内在的理解,这解释了warping / morphing。

2 优质训练数据从何而来?

与其他模态模型相比,训练视频模型更难,这主要是因为视频模型没有那么多高质量的训练数据可供学习。语言模型通常在公共数据集(如Common Crawl)上进行训练,而图像模型则在LAION和ImageNet等标记数据集(文本-图像对)上进行训练。

视频数据更难获得。虽然在YouTube和TikTok等平台上不乏公开可访问的视频,但这些视频没有标签,也不够多样化。

3 这些用例将如何在平台/模型之间进行细分?

我们在几乎每一种内容模态中看到的是,一种模型并不是对所有用例都「取胜」的。例如,MidTrik、Idegraph和Dall-E都有不同的风格,并擅长生成不同类型的图像。

如果你测试一下今天的文本到视频和图像到视频模式,就会发现它们擅长不同的风格、运动类型和场景构成。

提示:Snow falling on a city street, photorealistic

Genmo

Runway

Stable Video Diffusion

Pika Labs

谁将主导视频制作的工作流程?

而在许多产品之间,来回是没有意义的。

除了纯粹的视频生成,制作好的剪辑或电影通常需要编辑,特别是在当前的范例中,许多创作者正在使用视频模型来制作在另一个平台上创建的照片的动画。

Midjourney的图像开始,在Runway或Pika上制作动画,然后在Topz上进行升级的视频并不少见。

然后,创作者将视频带到CapCut或Kapwing等编辑平台,并添加配乐和画外音,通常是在Suno和ElevenLabs等其他产品上生成的。

参考资料:

https://a16z.com/why-2023-was-ai-videos-breakout-year-and-what-to-expect-in-2024/

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-02-10,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 新智元 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
席卷全球的大数据发展趋势需要什么?
大数据成为时代发展一个必然的产物,而且大数据正在加速渗透到我们的日常生活中,从衣食住行各个层面均有体现。大数据时代,一切可量化,一切可分析。
成都加米谷大数据
2021/04/16
3060
席卷全球的大数据发展趋势需要什么?
银行的大数据应用
“大数据”一词据称最早于1980年出现在美国著名未来学家阿尔文·托夫勒所著的《第三次浪潮》一书中,他在书中将“大数据”称为“第三次浪潮的华彩乐章”。在笔者看来,大数据的应用效果主要取决于两部分,一是大数据的技术部分,二是对数据质量和价值有重要影响的数据治理部分,二者应当并重。本书分别介绍下这两条线的发展历程。
用户6900693
2020/04/10
1.5K0
大数据、人工智能与云计算的融合与应用
引言 人工智能、大数据与云计算三者有着密不可分的联系。人工智能从1956年开始发展,在大数据技术出现之前已经发展了数十年,几起几落,但当遇到了大数据与分布式技术的发展,解决了计算力和训练数据量的问题,开始产生巨大的生产价值;同时,大数据技术通过将传统机器学习算法分布式实现,向人工智能领域延伸;此外,随着数据不断汇聚在一个平台,企业大数据基础平台服务各个部门以及分支机构的需求越来越迫切。通过容器技术,在容器云平台上构建大数据与人工智能基础公共能力,结合多租户技术赋能业务部门的方式将人工智能、大数据与云计算进行
加米谷大数据
2018/06/04
2.2K0
《驾驭大数据》读书笔记
花费一个礼拜的时间把驾驭大数据这本书看完了,书不是很厚,200多页。(写读书笔记又花费了我一个礼拜的时间……………) 就像前言里讲的那样,书里并没有涉及到太多余技术相关的内容,感觉比较遗憾, 书一共分为了4个部分 第一部分 大数据的兴起 第二部分 驾驭大数据:技术,流程以及方法 第三部分 驾驭大数据:人和方法 第四部分 整合:分析文化 第一部分 大数据的兴起 什么是大数据,大数据为什么重要 大数据有两个比较好的定义,一个是根据麦肯锡全球数据数据分析研究所的定义:大数据是指大小超出了典型数据库软件工具收集,储
magicsoar
2018/02/06
7100
从数据仓库到大数据平台再到数据中台
现在各种新名词层出不穷,顶层的有数字城市、智慧地球、智慧城市、城市大脑;企业层面的有数字化转型、互联网经济,数字经济、数字平台; 平台层面的有物联网,云计算,大数据,5G,人工智能,机器智能,深度学习,知识图谱;技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等,总之是你方唱罢他登场,各种概念满天飞…
python与大数据分析
2022/03/11
6250
从数据仓库到大数据平台再到数据中台
一文读懂大数据:Hadoop,大数据技术及相关应用
你想了解大数据,却对生涩的术语毫不知情?你想了解大数据的市场和应用,却又没有好的案例和解说?别担心,这本来自Wikibon社区的小书想要帮你。
IT阅读排行榜
2018/08/15
5420
一文读懂大数据:Hadoop,大数据技术及相关应用
大数据学习方法:大数据采集,大数据分析,大数据存储就该这样学!
Scribe是Facebook开源的日志收集系统,在Facebook内部已经得到大量的应用。它够从各种日志源上收集日志,存储到一个中央存储系统上,以便于进行集中的统计分析处理。 Scribe为日志的“分布式收集,统一处理”提供了一个可扩展的、高容错的方案。(老师收学生信息表,需要班长代理收集的例子)。
全栈程序员站长
2022/08/19
8840
大数据学习方法:大数据采集,大数据分析,大数据存储就该这样学!
【案例】农业银行大数据平台项目——海量数据复杂运算处理
数据猿导读 随着数据量的不断增大、接入的系统越来越多,系统加工效率逐步降低,满足内部数据分析和监管机构的监管数据不断增加的需求,农业银行在2013年开始建设完全自主可控的大数据平台。 本篇案例为数据猿
数据猿
2018/04/24
8.2K0
【案例】农业银行大数据平台项目——海量数据复杂运算处理
大数据平台架构:数据平台建设的几种方案
随着大数据在越来越多的企业当中落地,企业要开展大数据相关的业务,那么首先要搭建起自身的数据平台。而企业搭建大数据平台,往往需要结合成本、业务、人员等各方面的因素,来规划数据平台建设方案。今天我们就来聊聊数据平台建设的几种方案。
成都加米谷大数据
2020/10/14
3K0
大数据平台架构:数据平台建设的几种方案
01数据产品经理从零到一:数据产品能力模型构建
笔者正在由电商产品经理转型数据产品经理,为了提升自己学习的效率,尝试以这种输出驱动输入的模式,将自己学习的思路和学习内容分享给大家,也希望可以与其他数据产品经理多多交流。
用户2559057
2018/08/27
1.4K0
01数据产品经理从零到一:数据产品能力模型构建
【案例】恒丰银行——基于大数据技术的数据仓库应用建设
数据猿导读 恒丰银行探索采用大数据技术构建统一的企业级数据管理平台,重构数据仓库应用,减少数据重复加工与存储,促进信息管理应用的数据融合共享,提高数据处理总体效率,提升数据分析和应用创新能力,正逐步取得预期的成效。 本篇案例为数据猿推出的大型“金融大数据主题策划”活动(查看详情)第一部分的系列案例/征文;感谢 恒丰银行 的投递 作为整体活动的第二部分,2017年6月29日,由数据猿主办,互联网普惠金融研究院合办,中国信息通信研究院、大数据发展促进委员会、上海大数据联盟、首席数据官联盟协
数据猿
2018/04/24
3.8K0
【案例】恒丰银行——基于大数据技术的数据仓库应用建设
大数据开发:基于Hadoop的数仓设计
企业级的大数据平台,Hadoop至今仍然占据重要的地位,而基于Hadoop去进行数据平台的架构设计,是非常关键且重要的一步,在实际工作当中,往往需要有经验的开发工程师或者架构师去完成。今天的大数据开发分享,我们就来讲讲,基于Hadoop的数仓设计。
成都加米谷大数据
2021/01/07
1K0
大数据开发:基于Hadoop的数仓设计
什么是大数据,大数据的处理流程,主要分为哪几步?[通俗易懂]
大数据,big data,《大数据》一书对大数据这么定义,大数据是指不能用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。
全栈程序员站长
2022/07/26
1.3K0
什么是大数据,大数据的处理流程,主要分为哪几步?[通俗易懂]
大数据时代,传统数据仓库技术是否已经过时?
传统的数据仓库架构一般有由源系统、ODS、EDW、Data Mart几部分组成。源系统就是业务系统、管理系统、办公系统等等;ODS是操作数据存储;EDW是企业级数据仓库,Data Mart是数据集市。
物流IT圈
2019/07/16
2.8K0
大数据时代,传统数据仓库技术是否已经过时?
洞察|2016年大数据技术发展趋势概述
对大规模数据集进行分析能够帮助我们掌握隐藏模式、客户偏好、未知关联性、市场趋势以及其它极具价值的业务信息。在此基础之上,企业能够实现成本削减、促进决策制定并提供更多有针对性的产品与服务。而在今天的文章
灯塔大数据
2018/04/08
7620
洞察|2016年大数据技术发展趋势概述
2016年大数据和分析市场的21个趋势预测
导读:随着社交媒体、移动化和云计算的发展,数据分析及相关的技术已经作为一款具有颠覆性的技术在这个数字时代占有了一席之地了。在过去的2015年中,我们已经看到对大数据的分析利用正被一股强大的利用新的数据
灯塔大数据
2018/04/10
7390
2016年大数据和分析市场的21个趋势预测
大数据技术概述
大数据(Big Data):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决,海量数据的存储和海量数据的分析计算问题。
Francek Chen
2025/01/22
1.6K0
大数据技术概述
【ETL工程】大数据技术核心之ETL
抛开大数据的概念与基本知识,进入核心。我们从:数据采集、数据存储、数据管理、数据分析与挖掘,四个方面讨论大数据在实际应用中涉及的技术与知识点。 核心技术 架构挑战: 1. 对现有数据库管理技术的挑战。 2. 经典数据库技术并没有考虑数据的多类别(variety)、SQL(结构化数据查询语言),在设计的一开始是没有考虑到非结构化数据的存储问题。 3. 实时性技术的挑战:一般而言,传统数据仓库系统,BI应用,对处理时间的要求并不高。因此这类应用通过建模,运行1-2天获得结果依然没什么问题。但实时处理的要求,是区
陆勤_数据人网
2018/02/27
3.3K0
【ETL工程】大数据技术核心之ETL
数读 | 大数据与Hadoop不得不说的事
大数据在近些年来越来越火热,人们在提到大数据遇到了很多相关概念上的问题,比如云计算、Hadoop等等。那么,大数据是什么、Hadoop是什么,Hadoop和大数据有什么关系呢? 大数据概念早在1980年,著名未来学家阿尔文·托夫勒提出的概念。2009年美国互联网数据中心证实大数据时代的来临。随着谷歌MapReduce和GoogleFileSystem(GFS)的发布,大数据不再仅用来描述大量的数据,还涵盖了处理数据的速度。目前定义:大数据(bigdata),或称巨量资料,指的是所涉及的资料量规模巨大到无法透
CDA数据分析师
2018/02/23
6590
25个大数据术语,你知道几个?了解几个?
如果你初来乍到,大数据看起来很吓人!根据你掌握的基本理论,让我们专注于一些关键术语以此给你的约会对象、老板、家人或者任何一个人带来深刻的印象。 让我们开始吧: 1.算法。“算法”如何与大数据相关?即使
企鹅号小编
2018/02/02
7250
25个大数据术语,你知道几个?了解几个?
推荐阅读
相关推荐
席卷全球的大数据发展趋势需要什么?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档