老婆问我什么是预训练阶段

那天晚上，我正窝在沙发上刷手机，老婆突然凑过来问我："你天天看这些AI的东西，我问你个事儿，什么叫预训练啊？我看好多文章都提这个词，但是没一个能让我看懂的。"

我放下手机，想了想该怎么解释。说实话，很多技术文章写得确实让人头大，满篇都是术语，好像生怕别人看懂似的。但预训练这事儿，其实没那么玄乎。

"你还记得咱儿子刚学说话那会儿吗？"我问她。

老婆愣了一下："记得啊，怎么了？"

"那你想想，咱教他说话的时候，是怎么教的？"

小孩学说话，其实就是最原始的"预训练"

老婆回忆了一下说："也没怎么刻意教啊，就是平时跟他说话，他听着听着就会了。"

"对嘛！"我一拍大腿，"这就是预训练的精髓。"

你想啊，咱们从来没拿着课本一个字一个字教孩子，说"这个字念'妈'，这个字念'爸'"。孩子从出生开始，就泡在语言的环境里。爷爷奶奶聊天他在听，爸爸妈妈吵架他也在听，电视里放动画片他还在听。没人告诉他什么是主语谓语宾语，也没人跟他讲语法规则，但听着听着，他就能开口说话了。

更神奇的是什么？他不光会说，还能自己造句。你从来没教过他"我想吃那个红色的苹果"这句话，但他能自己说出来。

这是怎么做到的？因为他听了太多太多的话，大脑自己就总结出规律来了。"吃"后面一般跟食物，"想"后面一般跟动作，"红色的"一般用来形容东西。这些规律，没人明着教，但他自己就学会了。

AI的预训练，其实就是这么回事。

给AI看海量的文本，让它自己琢磨

"那AI是怎么学的呢？"老婆追问。

"道理一样，就是给它看特别特别多的文字。"

多到什么程度？这么说吧，我这辈子能看的书加起来，可能也就几千本。但AI在预训练阶段，看的东西是整个互联网的量级。网页、书籍、论文、新闻、论坛帖子、百科全书……只要是文字，都给它看。

而且不是让它看一遍就完了，是反反复复地看，反反复复地琢磨。

老婆说："那得看到什么时候去？"

我说："你别心疼它，它又不累。一台大型服务器，跑个几周甚至几个月，专门干这一件事——看文字。"

这里头有个关键词叫"无监督学习"。啥意思呢？就是没人在旁边盯着它，告诉它"这句话是对的""那句话是错的"。它就自己看，自己琢磨，自己找规律。

这听起来好像有点不靠谱对吧？没人教，它能学会什么？

下一个词预测：一个简单但绝妙的训练方法

这就要说到预训练里最核心的一个技巧了——下一个词预测。

老婆听到这儿有点懵："预测下一个词？什么意思？"

我说："你跟我玩个游戏。我说半句话，你来接后半句。"

"床前明月——"

老婆脱口而出："光。"

"举头望明——"

"月。"

"今天天气真——"

老婆想了想："好？不错？"

"你看，你能接上来对不对？但我从来没教过你'床前明月'后面要接'光'，你是怎么知道的？"

老婆说："因为这诗我从小就会背啊，听了无数遍了。"

"对！这就是关键。你听了太多遍，大脑里就形成了一种'预期'。当'床前明月'出现的时候，'光'这个字就自动浮现了。AI的预训练，用的就是这个原理。"

具体是怎么操作的呢？

假设有一句话："今天我去超市买了一些新鲜的蔬菜。"

在训练的时候，AI会把这句话拆开来练习：

• 给它看"今天"，让它猜下一个词是什么。
• 给它看"今天我"，让它猜下一个词是什么。
• 给它看"今天我去"，让它猜下一个词是什么。
• 给它看"今天我去超市"，让它猜下一个词是什么。

一开始，AI肯定猜不准。就像一个外国人刚学中文，你给他看"今天我去"，他可能瞎猜一个"太阳"出来。

但是猜错了怎么办？系统就会告诉它：不对，答案应该是"超市"。然后AI就会微微调整一下自己内部的参数，让自己下次遇到类似的情况，更有可能猜"超市"这样的地点词。

这个过程重复个几亿次、几十亿次之后，AI就变得很厉害了。

猜词游戏背后，藏着对世界的理解

老婆说："就这？猜来猜去能学会什么？"

我说："你可别小看这个猜词游戏，这里头学问大着呢。"

你想啊，要想猜准下一个词，AI必须搞懂很多事情。

比如说，有这么一句话："她把鸡蛋打进锅里，然后用锅铲轻轻地______。"

要填这个空，AI得知道什么？它得知道鸡蛋打进锅里是在做饭，锅铲是用来翻炒东西的，所以这里应该填"翻炒"或者"搅动"之类的词。

这就意味着，AI通过猜词，其实在学习常识：鸡蛋是一种食材，锅是做饭的工具，锅铲是用来翻东西的。没人直接告诉它这些，但为了猜对词，它必须自己把这些道理给搞明白。

再举个例子："张三是李四的父亲，那么李四是张三的______。"

要填对这个空，AI必须理解什么是父子关系，关系是可以反过来表述的，"儿子"是"父亲"的反义概念。

你看，一个简单的填空题，背后是对语言和世界的深层理解。

做了几十亿道填空题之后会怎样？

老婆若有所思："所以AI是靠刷题刷出来的？"

我说："可以这么理解，但这个题量是真的夸张。"

咱们上学的时候，做个几万道数学题，就能参加高考了对吧？AI做的"填空题"是几百亿、几千亿道。每一句话都能拆成好多道题，而它要读的文本是整个互联网。

做完这些题之后，AI就不光会填空了。它内部形成了一种东西，专业点的说法叫"语言模型"，通俗点说，就是它对语言产生了一种"语感"。

这种语感包括什么呢？

它知道句子是有结构的，不能语序混乱。它知道不同的词有不同的搭配习惯，"喝水"可以，"喝桌子"不行。它还知道不同场合要用不同的表达方式，跟领导说话和跟朋友聊天，用词是不一样的。

更厉害的是，它还学到了很多事实性的知识。什么时候过春节，太阳从哪边升起，北京是中国的首都……这些内容在互联网上反复出现，AI看多了，自然就记住了。

为什么叫"预"训练？

老婆又问了一个好问题："那为啥叫预训练？这个'预'字是什么意思？"

我说："这就好比是学开车的过程。"

你考驾照之前，教练会带你在驾校里转。练倒库，练侧方停车，练坡道起步。这些是基础功，练完了，你就有了基本的驾驶能力。

但这个时候你还不能真正上路对吧？因为驾校的环境太简单了，真实的马路上有各种情况，你还得适应。

预训练就相当于在驾校里练基本功。AI通过海量阅读，学会了语言的基本规律，有了"开口说话"的能力。但这个时候它还比较傻，你问它问题，它可能答非所问，或者给你胡说八道。

接下来还有别的训练阶段，比如"微调""对齐"之类的，就相当于让它上路实践，教它怎么真正帮助人类解决问题。

不过那是后话了，今天咱就先说预训练这一步。

这个方法为什么这么有效？

老婆听到这儿，基本明白是怎么回事了，但她还有点疑惑："可是光看文字，就能学会这么多东西，这也太神奇了吧？"

我说："这就是人类智慧的结晶。"

你想啊，人类的语言不是凭空造出来的。每一句话，都是对现实世界的某种描述。我们说"太阳从东边升起"，这背后是真实的自然规律。我们说"水烧开了会变成蒸汽"，这背后是物理原理。

语言是世界的镜子。当AI读了足够多的语言，它其实是在通过镜子去理解世界。虽然它没有眼睛，没办法真正看见太阳升起，但它读了无数关于太阳升起的描述，就能知道太阳升起这件事。

而且，这个方法有一个巨大的优点：不需要人工标注。

啥意思呢？以前训练AI，需要人工给数据打标签。比如给它看一张猫的照片，得有个人在旁边说"这是猫"。看一张狗的照片，得有人说"这是狗"。你想想，这得多费劲？几万张还好说，几亿张照片谁给你标？

但下一个词预测不一样。任何一段文字，自己本身就是答案。"今天我去超市"后面接什么？答案就藏在原文里："买了"。不需要任何人额外标注，AI可以自己跟自己对答案。

这就让训练规模可以无限扩大。互联网上有多少文字？几乎是无穷无尽的。这些数据全都可以拿来用，不用花一分钱请人标注。

举个更贴近生活的例子

老婆说："我好像懂了，但你能再给我举个生活里的例子吗？"

我想了想，说："你追剧的时候，是不是有时候能猜到后面的剧情？"

老婆笑了："那可不，有些狗血剧，看个开头就知道结尾。"

"这就对了！你为什么能猜到？因为你看过太多类似的电视剧了。霸道总裁遇到灰姑娘，后面肯定是误会、分离、再重逢。反派在关键时刻一定会露出破绽。女主角被欺负了，男主角一定会出来帮她。"

"这些套路你都看过好多遍了，所以你看到开头，就能预测后面的走向。这不就是'下一个剧情预测'吗？"

AI也是一样的。它看了海量的文本，里面有各种各样的套路和模式。看多了，它就能预测后面会出现什么。

当然，AI比你厉害的地方在于，它看的不是几百部电视剧，是几百亿段文字。各种领域、各种风格、各种语言，它全都见过。所以它的预测能力，比任何单个人类都要强大。

预训练的本质：让AI泡在语言里

说了这么多，老婆问我："那你能不能用一句话总结一下，预训练到底是干嘛的？"

我想了想，说："预训练，就是让AI泡在人类的语言海洋里，让它自己摸索出语言的规律和知识。"

就像孩子学说话一样，不需要课本，不需要老师手把手教，只要足够多的语言输入，自然就会了。

只不过，人类小孩可能需要两三年才能说出完整的句子，而AI有强大的算力加持，可以在几周内读完整个互联网，达到一个非常高的水平。

预训练完成之后，AI就拥有了语言能力的"地基"。它能造句，能理解句意，能进行简单的推理。后面不管你想让它干什么——聊天、写文章、回答问题、翻译——都要在这个地基上继续建造。

写在最后

老婆听完，点了点头："原来是这么回事。以前看那些文章，什么大规模语言模型、自监督学习、transformer架构，看得我头晕。你这么一说，还真没那么复杂。"

我说："其实很多技术原理都没那么玄乎，就是写文章的人喜欢掉书袋，非得用一堆术语把人绕晕。说白了，预训练就是两件事：一是看特别多的文字，二是玩猜词游戏。就这么简单。"

当然，具体实现的时候，里面有很多工程上的细节和技巧。但核心思路，真的就这么朴素。

下次再有人跟你聊什么预训练、大模型，你就可以告诉他："哦，就是那个猜词游戏嘛，跟小孩学说话差不多。"保准对方对你刮目相看。