Cerebras将构建拥有数十亿个计算核心AI巨型集群

芯片制造商Cerebras正在对其世界上最大的芯片进行升级，以创建可能是有史以来最大的人工智能计算集群。

一个合理大小的“晶片级集群”，正如Cerebras所说，可以将16个CS-2连接成一个集群，创建一个具有1360万个核的计算系统，用于自然语言处理（NLP）。但不仅仅如此，集群甚至可以更大。

Cerebras公司的首席执行官Andrew Feldman称:“我们最多可以将192个CS -2连接成一个集群。”

这家人工智能芯片制造商在人工智能硬件峰会上宣布了这一消息，该公司在会上发表了一篇关于整合巨型集群背后技术的论文。该公司最初在去年的Hot Chips上对该技术进行了预览，但在本周的展会上对这一想法进行了扩展。

Cerebras公司表示，拥有85万个核心的一个晶圆大小的CS-2系统训练出了包含200亿个参数的人工智能(AI)自然语言处理模型，这是在单个芯片上训练出的最大的人工智能自然语言处理模型。Cerebras的目标是在更短的时间内训练更大的模型。

“我们已经在CS -2集群上运行了最大的NLP网络。当我们加入CS-2s时，我们看到了线性性能。这意味着当你从一架CS -2变成两架CS -2时，训练时间会缩短一半。”

更大的自然语言处理模型有助于更精确地训练。目前最大的模型超过10亿个参数，而且还在不断扩大。谷歌的研究人员提出了具有5400亿个参数的新NLP模型和可扩展到1万亿参数的神经模型。

每个CS-2系统可以支持超过1万亿参数的模型，并且其可以处理高达100万亿参数的模型。CS-2这样的系统集群可以配对训练更大的AI模型。

Cerebras公司推出了一种名为“SwarmX”的系统，它将连接集群中的CS-2系统。执行模型依赖于一种称为“权重流”的技术，该技术将内存、计算和网络分解为单独的集群，从而使通信变得简单。

AI计算取决于模型的大小和训练速度，而分解可以让用户根据他们想要解决的问题调整计算需求的大小。在每个CS-2系统中，模型参数存储在一个称为MemoryX的内部系统中，它在系统中更像是一个内存元素。在85万个计算核心上进行计算。

SwarmX互连是一个独立的系统，将CS-2系统的大量集群连接在一起。SwarmX在集群级别上运行，这几乎类似于MemoryX在单个CS-2系统上的运行——它将集群中的内存和计算元素分解，并能够扩大可用的计算核数量，以解决更大的问题。

“SwarmX将MemoryX连接到CS-2s集群。这些集群的配置和操作非常简单，而且它们产生线性的性能扩展。”Feldman说。SwarmX使用100GbE的多通道传输。

Feldman说:“这些集群一起……产生线性性能扩展，一个16或32个CS-2集群训练一个万亿参数模型的时间比今天的GPU集群训练800亿个参数模型的时间要短。”

购买两台CS-2系统可能会让客户多花数百万美元，但Cerebras在演示中声称，这种系统比集群GPU模型更便宜，后者无法有效地扩大规模，并消耗更多的能量。Cerebras认为，GPU核心需要在数千个核心上相同地运行，以获得协调的响应时间。计算还需要分布在一个复杂的核心网络中，这可能是耗时和低效率的功耗。