马斯克大模型超算计划备受瞩目

本报记者 刘 扬

马斯克计划造大模型超级计算机的消息近日备受关注，特别是有关该超算要在明年秋天之前运行并为新版本人工智能大模型Grok提供算力支持引发猜测。马斯克这一做法将会对人工智能领域造成哪些影响？又给中国大模型发展带来哪些启示呢？

据路透社报道，美国富豪马斯克最近告诉投资者，他的人工智能初创公司xAI正计划建造一台超级计算机，为其下一版本的人工智能聊天机器人Grok提供算力。

据报道，马斯克表示，他希望在 2025年秋季之前让拟议的超级计算机运行，并表示xAI可以与甲骨文公司合作来开发这台大型计算机。

马斯克向投资者所做的演示称，完成后，连接的芯片组——英伟达的旗舰H100 GPU数量——将至少是当今最大GPU集群的4倍。

马斯克在今年稍早表示，训练Grok2模型需要大约2万块英伟达H100，而Grok3模型及更高版本将需要10万块英伟达H100。

中国科学院计算技术研究所研究员张云泉对《环球时报》记者表示，当大模型的运算规模达到1万块GPU，甚至10万块时，就需要通过发展大模型专用超算来突破能耗墙、可靠性墙、并行墙等算力瓶颈。这是大模型发展到一定程度的必然趋势。

目前OpenAI与微软以及谷歌等巨头都在发展大模型超算项目，希望通过搭建几十万块甚至百万块GPU抢占全球最强大模型的技术制高点。

在回答大模型超算与通用超算之间存在什么区别的提问时，张云泉表示，主要是计算的算法、精度和工作负载以及需要的软件栈不同。

北邮人机交互与认知工程实验室主任刘伟接受《环球时报》记者采访时表示，若马斯克准备把算力及大模型等与AI相关的产业关键节点都自己做，可能会对AI行业产生以下影响：马斯克成功地控制了这些关键节点，可能会导致AI产业的集中化程度提高，进而会对竞争环境产生影响，减少其他公司进入市场的机会。并且，控制大量的数据和算力可能引发数据隐私和安全方面的担忧，确保数据的合法使用和保护用户隐私将成为重要问题。若出现这种情况，其他公司可能会面临更大的竞争压力，尤其是那些依赖于与马斯克竞争的关键技术或服务的公司。另外，还可能会促使行业制定更严格的规范和监管，以确保AI技术的合理使用和保护公众利益。与此同时，鉴于马斯克在技术领域丰富的经验和资源，他的投入可能会加速AI技术的发展，推动新的创新和突破。

张云泉表示，他在今年两会提案中提到，在西方高端GPU对我国“卡脖子”的背景下，短期内突破大模型算力瓶颈，中国有一条路可走：利用过去二十多年积累的先进超算技术，研发大模型专用超算，克服大模型算力瓶颈问题，使我国可以紧紧咬住全球大模型最先进水平，不至于掉队。▲