赵何娟：我们准备好面对GPT大模型的瓶颈期了吗？

我最近几个月都在忙着全球市场调研和钛媒体海外办公室的筹建，所以发布视频有一搭没一搭，但没想到我这样任性的博主，也能收到很多用户的催更和问询了，比如很多人在问我GPT-5为何还没发布啊，硅谷最近有爆发什么新的创业应用方向吗等等。

我能感受到大家很着急很焦虑，但我们现在需要更多的是耐心不是着急。几个月前我就在一个公开演讲里预言，大家期望的今年作为大模型应用爆发元年可能不会来到，说爆发还为时尚早，只能算开始。

大模型这几个月的发展验证了我的说法。包括硅谷最近在技术圈也一直流传一个说法那就是GPT-5的内部测试失败了，今年已不大可能推出。因为基于Transformer的GPT类模型已经进入了扩展瓶颈，且除了聊天和一些比如编程、文本、设计、办公等工作流辅助类应用，很难全面应用于市场，而这些GPT-4o已经足够支撑。原有架构再升级短期内很难有质的突破。这些瓶颈包括模型自身架构扩展能力，也包括数据瓶颈，甚至也包括安全和伦理需求的应对瓶颈，还有因为应用局限带来的市场需求本身的瓶颈。

而一贯更善于追随的中国大模型和应用创业者们又是否为此做好了变道的准备？

这个瓶颈期会有多长，还很难判断，但无论是三个月、半年还是一年或更长，可能对于我们来说都会是比较难熬的一段时间。

好消息是，基于美国一些科技媒体的报道猜测，还有我从多方面了解的信息，OpenAI可能正在考虑推出一个新的模型方向产品，不再局限于Transformer的架构，或被命名为“Orion”（也有人说或被命名GPT-NEXT），Orion是猎户座（Orion）的拉丁名称，象征着力量、探险和发现，具有强烈的探索未知的神话意义，NASA的猎户座飞船（Orion spacecraft）也以此命名，用于未来载人深空探索任务。

如果最终真的以此代号命名，或许暗示了OpenAI将此作为AI真正新纪元的开始，而非此前的GPT。但目前对于这一代号，OpenAI官方是既没有承认也没有否认的状态。Orion模型也是OpenAI内部代号为“草莓”（Strawberry）系统项目的一部分，有报道称在内部演示草莓系统，Orion模型的推理能力已经远高于GPT，幻觉极错误率却远低于GPT。

根据多方面的信息，我总结了几点Orion可能和GPT模型的不同，Orion虽然仍可以被归类为大语言模型（LLMs），但它可能在技术架构上与现有的GPT系列有显著的不同。以下是一些可能的技术差异和演进方向：

1. 基础架构的演进

• 新型架构：Orion可能采用更新的模型架构，不再局限于GPT系列使用的Transformer架构。它可能引入更高效的模型组件或完全新的神经网络设计，以提升模型的计算效率、推理能力和生成质量。
• 模块化设计：Orion可能采用更加模块化的设计，使其更容易集成不同类型的数据源（例如文本、图像、音频等），从而实现多模态处理能力。这与现有的GPT模型相比可能是一个重要的区别。

2. 多模态能力

• 跨模态学习：Orion可能不仅仅是一个语言模型，而是一个能够处理和生成多种数据形式的模型，例如图像、声音和视频。这种多模态能力可能通过融合不同类型的数据来增强模型的理解和生成能力，使其适用于更广泛的应用场景。
• 联合训练：Orion可能采用联合训练方法，让模型在多个模态上同时学习，从而在理解上下文和生成内容时更加全面和准确。这可能是与传统GPT模型的关键区别，后者主要专注于文本数据。

3. 安全性与可控性

• 增强的控制机制：在安全性和可控性方面，Orion可能引入更多的内置控制机制，以避免生成有害或不适当的内容。这可能包括新的过滤算法、增强的上下文理解能力，以及更高层次的可解释性功能。
• 动态调整能力：Orion可能具备更强的动态调整能力，根据用户的需求和反馈实时调整模型的输出风格和内容，这是GPT系列目前在某些方面仍做不到的。

4. 优化计算与能源效率

• 计算效率：Orion可能会采用新的技术来提升计算效率，例如稀疏激活、压缩技术或其他形式的优化，以在保持模型性能的同时减少计算资源的消耗。这可能使得Orion比GPT模型在实际应用中更具成本效益。
• 能源效率：在能源消耗上，Orion可能更加注重优化，考虑到环境影响和资源限制，这一点在未来的AI发展中会变得越来越重要。

5. 应用场景的扩展

• 行业定制化：Orion可能更专注于行业定制化应用，提供针对不同行业需求的优化模型，而不仅仅是一个通用的大语言模型。这种定制化可能涉及更深入的行业知识整合和特定领域的数据训练。
• 交互性增强：Orion可能在交互性上有显著提升，能够更好地理解用户意图和需求，提供更自然和智能的交互体验。

总之，Orion作为大语言模型的发展方向，可能会在架构、功能和应用场景上进行显著的拓展和改进。

至于未来Orion和GPT会是什么关系，是短期的应对瓶颈期的权宜之计，还是长期对GPT的替代，亦或是两种模型路线各自升级的并存，可能都要有待于在OpenAI的发展中确定了，我们只能拭目以待。