为什么ChatGPT会突然火了起来？

今天我们来简单解析ChatGPT的发展，并讨论为什么ChatGPT会突然火了起来？未来趋势及局限性。

预训练语言模型之GPT

GPT-1

使用了BooksCorpus数据集，GPT-1证明了Transformer对学习词向量的强大能力，在GPT-1得到的词向量基础上进行下游任务的学习，能够让下游任务取得更好的泛化能力。

GPT-2

GPT-2的最大贡献是验证了通过海量数据和大量参数训练出来的词向量模型有迁移到其它类别任务中而不需要额外的训练。

GPT-3

沿用了GPT-2的结构，但是在网络容量上做了很大的提升，且实现了很强的泛化能力。

GPT-3采用了 96 层的多头transformer，头的个数为 96 ；词向量的长度是 12,888 ；上下文划窗的窗口大小提升至 2,048 个token等

GPT系列从1到3，通通采用的是transformer架构，可以说模型结构并没有创新性的设计。在微软的资金支持下，这更像是一场赤裸裸的炫富：1750亿的参数，31个分工明确的作者，超强算力的计算机（ 285,000 个CPU， 10,000 个GPU），1200万的训练费用，45TB的训练数据。

这种规模的模型是一般中小企业无法承受的，而个人花费巨金配置的单卡机器也就只能做作微调或者打打游戏了。甚至在训练GPT-3时出现了一个bug，OpenAI自己也没有资金重新训练了。

GPT-3.5

2022年3月15日，OpenAI发布了名为“text-davinci-003”的新版GPT-3，该模型被描述为比以前版本的GPT更强大。引入了 RLHF（基于人类反馈的强化学习）：利用人类的标注数据对进行有监督训练，针对模型的多个回答进行排序标注，形成奖惩机制，让模型去拟合人的偏好，从而实现最佳的输出效果。

GPT-4

GPT-4的训练数据集是基于GPT-3和GPT-3.5的训练数据集构建的，并在两者基础上增加了多模态数据集。并在多个基准任务上取得了非常好的成绩，包括图像字幕、图文问答、代码生成和法律推理。优秀的图文分析和逻辑推理能力铸就了GPT-4的护城河。

ChatGPT 为什么会突然火起来

ChatGPT能在历史上第一次两个月1亿活跃用户，挡都挡不住，为什么？

它封装了世界上所有知识。

它有足够强的学习和推理能力，GPT-3能力在高中生和大学生之间，GPT-4不光是进斯坦福，而且是斯坦福排名很靠前的人。

它的领域足够宽，知识足够深，又足够好用。自然语言最大的突破是好用。扩展性也足够好。

提高生产力和效率、改善用户体验、供新的娱乐和创作工具、教育辅助等...

，时长01:09

@赛文乔伊

ChatGPT的未来趋势是什么？

1. 提升理解和生成文本的能力：

虽然现在的ChatGPT模型已经相当强大，但是它还是会出现理解错误或者生成文本的质量不一的情况。因此，进一步提升模型的理解和生成文本的能力将会是一个主要的发展趋势。

2. 增加与环境的交互能力：

当前的ChatGPT主要以文本为基础进行交互，未来可能会增加与环境的交互能力，比如更好地理解和解析图像，甚至是视频。这会使得ChatGPT可以在更多的场景下被使用。

3. 个性化和定制化：

随着人工智能的发展，个性化和定制化将成为一个重要的趋势。ChatGPT可能会更加了解每一个用户的需求和喜好，从而生成更符合用户需求的回答。比如，一个用户可能更喜欢详细的答案，而另一个用户可能更喜欢简洁的答案。

4. 更广泛的应用领域：

目前，ChatGPT主要用于在线聊天和生成文章，但是它的潜在应用领域远远超过这些。例如，它可以用于教育领域，帮助学生解答问题；可以用于医疗领域，帮助医生进行初步的诊断；也可以用于娱乐领域，例如生成剧本或者电影剧情。

ChatGPT的局限性

GPT-4在其未经大量语料训练的某些领域缺乏“人类常识”和引申能力”。

在很多领域可以“创造答案”，但当用户寻求正确答案时，GPT-4也有可能给出有误导的回答。

GPT-4需要非常大量的算力（芯片）来支持其训练和部署。

GPT-4还没法在线地把新知识纳入其中。

GPT-4仍然是黑盒模型。

目前还未能对GPT-4的内在算法逻辑进行分解，因此并不能保证GPT-4不会产生攻击甚至伤害用户的表述。

GPT-4仍存在社会和道德风险。

由于GPT-4这类大型语言模型仍然存在根本性的黑盒特征。GPT-4仍然可以生成有偏见的、虚假的和仇恨的文本；仍然可以被黑客攻击（例如Prompt越狱）以绕过它的安全防护墙。

GPT-4仍存在幻觉和推理错误。

尽管OpenAI声称GPT-4相对于以前的模型可以显着减少幻觉（在其内部评估中得分比GPT-3.5高40%）。GPT-4仍然可能会产生有害的建议（尽管GPT-4更有可能拒绝回答）、错误代码或不准确的信息，因此，GPT-4暂不应该用于错误成本高的区域。

GPT-4存在泄露隐私可能。

GPT-4可从各种内部许可和公开可用的数据源中学习，其中可能包括大量公开有效的个人信息。包括互联网上学习到有重要影响力人物（例如名人和公众人物）的大量隐私信息。