12月9日IBM公布最新光互连技术研究,通过CPO模块实现高速光纤连接,大幅缩短电气连接长度,提高互连带宽密度和能效。该研究可能显著改善数据中心训练和运行生成式AI模型的方式。
光纤技术可以高速长距离传输数据,当前数据中心外部通信网络使用光纤通信,但机架内部大多仍采用铜电线通信。这种方式可能造成GPU间的数据等待耗时,及增加能耗和成本。
IBM通过优化光学链路技术和高带宽密度光学结构,在CPO模块中设计组装聚合物光学波导(PWG)组件及每个光通道传输多个波长等技术,增加芯片边缘光纤数量,提升芯片的beachfront density。每根光纤每秒可传输数TB数据,与电互连相比,有望将芯片间的带宽提升80倍。进而提高数据中心通信的带宽,最大限度地减少 GPU 停机时间,同时大幅加快AI处理速度。
降低生成式AI的扩展成本。与电互连相比能耗降低 5 倍以上,同时将数据中心互连电缆的长度从一米延长到数百米。
模型训练更快。使用CPO训练大模型速度比传统电线快5倍,CPO可以将训练标准LLM从3个月缩短到3周,同时可通过升级模型大小和扩容GPU数量提高性能。
显著提高了数据中心的能源效率。
领取专属 10元无门槛券
私享最新 技术干货