从ChatGPT到惊艳世界的DeepSeek，再到2025年底的Gemini 3、GPT-5.2等，所有这些顶级模型背后都是这个幽灵。

我不认为游戏已经结束了，我不相信这就是最终架构，只要无脑 scaling 就行。我相信迟早会有新的突破出现，到时候回头看，大家又会发现：“哎呀，我们要早点醒悟就...

当大模型从通用技术探索深入产业场景，搜索、广告与推荐系统作为连接用户需求与业务价值的核心链路，正迎来全链路智能重构。那么，生成式推荐真正落地后的关键挑战是什么？...

当这句话出自 Ilya Sutskever 之口时，整个 AI 社区都无法忽视。作为 Safe Superintelligence Inc. 的创始人，他在最新...

在自动驾驶领域，VLA 大模型正从学术前沿走向产业落地的 “深水区”。近日，特斯拉（Tesla）在 ICCV 的分享中，就将其面临的核心挑战之一公之于众 ——“...

在语言和专用科学多任务数据集上的预训练能够平滑收敛，这表明大语言模型（LLMs）的 scaling law 可以超越语言范畴，延伸至物理世界。那么 Scalin...

在大语言模型（LLM）部署的时代，如何高效地管理计算资源、应对动态负载并优化成本，成为了每个AI工程师必须面对的挑战。随着LLM应用的普及，用户请求模式变得日益...

这几天，一篇关于向量嵌入（Vector Embeddings）局限性的论文在 AlphaXiv 上爆火，热度飙升到了近 9000。

在深度学习领域，混合精度训练已成为加速模型训练的核心技术之一。这项技术通过巧妙结合FP16（半精度浮点数）和FP32（单精度浮点数）两种数据格式，在保证模型精度...

其问题归根在于缩放位置上面，接下来我们一起解决此问题。 首先点击Setting->User interface->Display->Scaling缩放设置为2(...

在大语言模型后训练阶段，强化学习已成为提升模型能力、对齐人类偏好，并有望迈向 AGI 的核心方法。然而，奖励模型的设计与训练始终是制约后训练效果的关键瓶颈。

【新智元导读】最近，一款全新的奖励模型「POLAR」横空出世。它开创性地采用了对比学习范式，通过衡量模型回复与参考答案的「距离」来给出精细分数。不仅摆脱了对海量...

此外，他们的实验还表明，2-simplicial Transformer 相对于 Transformer 具有更有利的参数数量 scaling 指数。这表明，与...

后训练拓展（Post-training scaling）利用微调（fine-tuning）、剪枝（pruning）、蒸馏（distillation）和强化学习等...

2024 年底，Ilya Sutskever 断言「我们所知的预训练时代即将终结」，让整个人工智能领域陷入对 Scaling What 的集体追问之中。

强化学习（RL）到底是语言模型能力进化的「发动机」，还是只是更努力地背题、换个方式答题？这个问题，学界争论已久：RL 真能让模型学会新的推理技能吗，还是只是提高...

本文由来自香港城市大学、麦吉尔大学（McGill）、蒙特利尔人工智能实验室（MILA）、人大高瓴人工智能学院、Salesforce AI Research、斯坦...

如果你把这个方法放到 scaling 图上，你会发现它根本不能 scale。真实机器人数据的获取是在拿人力当燃料，这比用化石燃料更糟糕。而且，一个机器人每天只有...

一种常用方法是把单独预训练好的模型组合起来，比如把训练好的视觉编码器连接到LLM的输入层，再进行多模态训练。

你能想象未来的诺贝尔奖颁奖典礼上，站在领奖台上的不是人类科学家，而是一个机器人吗？