AI圈这两年最火、火药味也最浓的路线之争,莫过于图灵奖得主 Yann LeCun 死磕的 JEPA(Joint-Embedding Predictive Architecture,联合嵌入预测架构),和以 Sora、DiT(Diffusion Transformers) 为代表的生成式视频路线。
LeCun 在各种技术峰会和社交平台上不止一次公开炮轰,说靠像素预测视频来构建“世界模型”是彻底浪费算力的死胡同,甚至直言“如果你用生成式模型去预测真实物理世界,你的模型注定会死在算力账单和物理幻觉上”。另一边,以 OpenAI 以及国内一众视频大模型厂商为代表的生成派则坚信“大力出奇迹”,认为只要把视频画面还原得足够逼真,物理规律自然会在海量参数中“涌现”出来。
两派大佬吵得不可开交,底层技术分歧到底在哪?如果剥开那些高深莫测的学术包装,说白了,这就是“画画派”和“物理派”的根本冲突,更是两种截然不同的智能演化哲学。
这是两者最核心、也是最不可调和的刀刃向内之争。
以 Sora 为代表的生成式路线,本质上是在像素空间(或极浅层的 VAE 压缩空间)做重建。它的工作流非常直观:你给它看前半段视频,加上一段提示词,模型需要通过逐步去噪(Denoising)的方式,一帧一帧地把后面画面里的每一根头发丝、每一片树叶的纹理、甚至水面上反光的波纹都完整渲染出来。
为了达到“以假乱真”的视觉效果,生成式模型把超过 80% 的参数量和算力,全砸在了高频纹理细节和光影渲染上。
但在 LeCun 看来,这事儿纯属瞎耽误工夫,甚至违背了生物智能的基本常识。
你可以闭上眼睛想一想:当你看着一辆汽车在马路上行驶,或者看着一只猫跳上桌子时,你的大脑里会去精确渲染马路牙子上每一粒石子的纹路吗?会去计算猫毛在微风中每一根的飘动轨迹吗?根本不会。
真实物理世界充满了大量不可预测、且对决策毫无意义的随机噪声。风吹过池塘,水面波纹怎么晃、树叶怎么颤,这在物理上属于混沌系统,根本算不准,也没有必要算准。
JEPA 架构的叛逆之处就在这里:它干脆一刀切掉了像素解码器(Decoder),完全不生成任何肉眼可见的图像或视频。
在 JEPA 的世界里,原始视频帧 $x$ 和未来的目标视频帧 $y$,会先分别经过编码器(Encoder),被压缩成高度抽象的特征向量 $s_x$ 和 $s_y$。模型所有的预测和推演,全部发生在高度抽象的潜空间里。
它只关心“这辆车正在往左变道”、“那个杯子重心不稳要倒了”、“机械臂抓手距离物块还有5厘米”这种高维的语义和物理状态变化。至于杯子是什么花纹、背景墙纸是什么颜色,编码器在第一关就已经把它们当成噪音过滤掉了。
既然不生成像素听起来这么省算力,为什么当年大家不直接全搞 JEPA,反而让 Diffusion 架构统治了视觉领域好几年?
因为在工程实现上,放弃像素重建会立刻触发一个让所有算法工程师头皮发麻的致命难题——表示坍缩(Representation Collapse)。
这背后的逻辑非常直白:神经网络本质上是个极其“偷懒”的优化器,哪里误差小就往哪里钻。
对于生成式模型而言,它根本不怕坍缩。因为它的损失函数(Loss Function)死死咬住像素级误差(比如 MSE 均方误差):你生成的画面必须和真实视频帧一模一样。模型只要敢偷懒输出一张灰屏,误差瞬间飙升,梯度直接把它拽回来。像素,就是生成式模型最天然、最严苛的监督信号。
但 JEPA 把像素解码器砍掉了,它只在抽象的潜空间里比对“预测特征向量 $\hat{s}_y$”和“真实未来特征向量 $s_y$”之间的距离。
这时候,偷懒的神经网络很快就会发现一个绝妙的作弊捷径:“既然你只要求预测值和真实值在特征空间里相等,那我干脆把编码器训练成一个‘瞎子’——不管输入什么视频画面,编码器统统输出一串全零向量 [0, 0, ..., 0]**!”**
你看,如果所有画面都被编码成全零向量,那预测器也只需要闭着眼睛输出全零向量,两者的预测误差永远是完美的 0.0000。训练 Loss 降得飞快,但模型实际上什么都没学会,彻底变成了一块算力废铁。
为了死死按住这个“坍缩怪兽”,LeCun 团队在 I-JEPA 和 V-JEPA 中引入了基于能量的模型(EBM)思想和极其精巧的非对称架构设计:
如果把两者的核心训练逻辑剥离出来,写成最精简的 PyTorch 伪代码,你能一眼看出它们在计算图和算力分配上的巨大鸿沟:
import torch
import torch.nn as nn
import torch.nn.functional as F
# ==========================================
# 路线 A:生成式视频路线 (以 Sora / DiT 为代表)
# 核心逻辑:压缩 -> 潜空间加噪去噪 -> 必须还原出高清像素
# ==========================================
def generative_video_step(video_frames, text_embed, vae, dit_model):
# 1. 将原始视频压缩进 VAE 潜空间(保留了大量视觉纹理信息)
with torch.no_grad():
clean_latents = vae.encode(video_frames)
# 2. 随机采样时间步 t 并注入高斯噪声
noise = torch.randn_like(clean_latents)
noisy_latents = add_noise(clean_latents, noise, timesteps)
# 3. DiT 主干网络预测噪声或速度场(计算量巨大)
pred_noise = dit_model(noisy_latents, timesteps, text_embed)
# 4. 损失函数强迫模型关注每一个像素块的还原精度
loss = F.mse_loss(pred_noise, noise)
return loss
# ==========================================
# 路线 B:联合嵌入预测架构 (以 Meta V-JEPA 为代表)
# 核心逻辑:高比例掩码 -> 纯潜空间预测特征 -> 彻底抛弃像素解码器
# ==========================================
def vjepa_step(video_frames, context_encoder, target_encoder, predictor, mask_indices):
# 1. 目标分支:输入完整视频,但切断梯度,仅通过 EMA 动量更新防坍缩
with torch.no_grad():
target_features = target_encoder(video_frames)
# 提取被掩码区域的真实高维特征作为“标准答案”
target_masked_rep = apply_mask(target_features, mask_indices)
# 层归一化防止特征幅值爆炸或坍缩
target_masked_rep = F.layer_norm(target_masked_rep, target_masked_rep.shape[-1:])
# 2. 上下文分支:只把未被掩码的残缺视频喂给编码器
visible_video = remove_masked_patches(video_frames, mask_indices)
context_features = context_encoder(visible_video)
# 3. 预测器:根据可见特征和掩码位置标记,在潜空间直接“脑补”缺失特征
pred_masked_rep = predictor(context_features, mask_indices)
# 4. 损失函数:仅在抽象特征空间算 L1 距离,完全不关心像素长什么样
loss = F.l1_loss(pred_masked_rep, target_masked_rep)
return loss从代码里可以看得非常清楚:生成式路线在推理和训练时,必须背着沉重的 VAE Decoder 和全分辨率噪声采样包袱;而 V-JEPA 的预测器(Predictor)甚至可以做得很轻量,因为它只需要在特征维度上做状态转移推演。
为了把这两条技术路线的差异彻底拉齐,我们可以从五个工程与算法维度做个直白的横向拆解:
对比维度 | 生成式视频路线 (Sora / DiT) | 联合嵌入预测架构 (V-JEPA) |
|---|---|---|
核心任务定位 | 像素级视频生成、视觉渲染与风格迁移 | 抽象表征预测、时序动态与物理规律理解 |
不确定性处理 | 靠扩散模型多次随机采样,生成多条不同的视频画面 | 引入潜变量 $z$ 吸收不可控噪声,预测单一确定的抽象状态 |
训练与推理算力 | 极高,海量算力消耗在高频像素纹理与帧间连贯性去噪 | 相对克制,算力集中于高层语义提取与运动轨迹推演 |
直接产出物 | 肉眼直接可见的高清视频流 | 无法直接观看的特征向量(必须挂载下游任务头才能用) |
主攻落地场景 | 影视特效、广告创意、游戏资产生成、短剧制作 | 具身智能运动规划、自动驾驶决策、工业数字孪生仿真 |
在技术社区里聊路线之争,最忌讳非黑即白。现在无论是吹 Sora 已经理解物理世界,还是吹 JEPA 马上实现通用人工智能(AGI),其实都带着浓厚的阵营滤镜。站在工程落地的视角看,这两条路目前都有各自绕不过去的死穴。
先说生成式路线的最大硬伤:“物理幻觉”与极低的时间跨度。
只要训练数据里没覆盖到的边缘场景(Corner Case),生成式视频模型就能一本正经地给你渲染出“人直接穿墙而过”、“杯子掉在地上先弹起来再碎掉”或者“汽车在碰撞瞬间凭空消失”的逼真画面。对于拍电影、做广告来说,这叫“艺术创意”,大不了重新抽卡生成一次;但如果你拿这种模型去控制一辆在高速上跑着两吨重的自动驾驶汽车,或者指挥工厂里的重型机械臂,一次“物理幻觉”就是车毁人亡的重大事故。此外,像素级生成极其消耗显存,目前大多数视频模型只能维持几秒到几十秒的画面连贯性,根本支撑不起长周期的物理规划。
再看 JEPA 路线的痛点:缺乏直观的可解释性与“黑盒评估难”。
生成式模型好不好,普通人看一眼视频画面,穿没穿模、合不合理,三秒钟就能给出判断。但 JEPA 不生成图像,它输出的是一串几千维的浮点数向量。人类工程师根本无法直接用肉眼看出它到底“脑补”对了没有,必须先冻结它的骨干网络,再在后面接一个分类器、动作预测头或者强化学习策略网络,跑完整个下游任务才能验证效果。而且,脱离了像素级的强监督约束后,特征空间的训练非常依赖超参数和正则化技巧,一旦没调好,模型学出来的特征很容易流于表面,抓不住精细的物理接触力变化。
回过头看,Sora 和 JEPA 的分歧,本质上是“视觉表现派”和“因果推演派”的分道扬镳。
如果你想做内容创作、影视娱乐、游戏渲染,生成式视频路线就是当之无愧的降维打击,它把人类的想象力直接变成了像素;但如果我们谈论的是真正意义上的“世界模型”——那个能让机器人学会叠衣服、让无人车在暴雨夜安全避障、让 AI 真正理解牛顿力学和因果律的智能底座——砍掉冗余像素、在抽象潜空间里做状态推演的 JEPA 思路,显然更接近生物大脑演化的底层逻辑。
甚至在未来两三年,这两条路线未必是你死我活的替代关系,极有可能会走向融合:用 JEPA 这种高能效的架构在潜空间里做长周期的物理推演与行动规划,只在需要向人类汇报或做视觉交互的最后一公里,才挂载一个轻量级的生成式渲染器把结果“画”出来。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。