马斯克AI公司发布大模型Grok-1权重与架构 拥有3140亿参数

腾讯科技讯 3月18日消息，据国外媒体报道，美国当地时间上周日，埃隆·马斯克（Elon Musk）旗下人工智能初创公司xAI发布了其大语言模型Grok-1的基本模型权重和网络架构。

xAI在官方网站上宣称，Grok-1是由该公司从头开始训练、拥有3140亿参数的混合专家模型。

xAI表示，这是Grok-1预训练阶段的原始基础模型检查点（Checkpoint，指在特定时间点保存模型状态的操作，以便在未来某个时间点恢复模型状态），该阶段于2023年10月结束。这意味着该模型没有针对任何特定的应用程序（例如对话）进行微调。

xAI正在Apache 2.0许可下发布权重和架构。该模型的细节包括：

——在大量文本数据上训练的基础模型，没有针对任何特定任务进行微调

——3140亿参数混合专家模型，在给定Token上活动的权重为25%

——2023年10月，xAI使用JAX和Rust之上的自定义训练堆栈从头开始训练