今天凌晨,马斯克xAI的Grok,果然如期开源了.....
此次xAI正式发布了3140亿参数混合专家模型Grok-1的权重和架构。这也使得Grok-1成为当前参数量最大的开源大语言模型。
根据介绍,Grok 的架构是在2023年10月使用自定义训练堆栈在 JAX 和 Rust 上开发的,采用了创新的神经网络设计方法。
而Andrew Kean Gao将 Grok-1 与其他开源模型参数量进行了对比,Grok-1 是 Llama-65B 的4倍多。
对此,小扎刚刚也对Grok做出了评价,「并没有给人留下真正深刻的印象,3140亿参数太多了,你需要一堆H100,不过我已经买下了」。
此外,马斯克还不忘嘲讽OpenAI一番,「告诉我们更多关于OpenAI的「open」部分...」
领取专属 10元无门槛券
私享最新 技术干货