北大/阶跃星辰/曦智InfiniteHBD：基于硅光OCS收发器构建LLM训练数据中心级高带宽域

本文来自于北京大学、阶跃星辰以及曦智科技发表在ACM SIGCOMM 2025上发表的论文《InfiniteHBD: Building Datacenter-Scale High-Bandwidth Domain for LLM with Optical Circuit Switching Transceivers》。

该论文聚焦大语言模型（LLM）训练中“高带宽域（HBD）”的核心痛点：当前HBD架构（交换机中心、GPU中心、交换机-GPU混合）普遍面临 scalability受限、成本高昂、故障弹性差的三重矛盾——例如NVIDIA NVL-72成本随规模超线性增长，Tesla Dojo单节点故障会导致全HBD拓扑失效，Google TPUv4仍存在64-TPU立方体级故障爆炸半径。为解决这些问题，论文提出以OCS收发器(OCSTRx)为中心的HBD架构InfiniteHBD，通过在标准QSFP-DD 800Gbps收发器中嵌入硅光子（SiPh）基光交换（OCS）模块，实现连接性与动态切换的统一；搭配可重构K跳环拓扑与HBD-DCN协同编排算法，最终达成数据中心级扩展能力、节点级故障隔离、近零GPU浪费率。评估显示，InfiniteHBD成本仅为NVL-72的31%，GPU浪费率较TPUv4低14倍，模型浮点运算利用率（MFU）较传统NVIDIA DGX系统提升3.37倍，为万亿参数LLM训练提供了近理想的高带宽基础设施解决方案。

1. 引言

随着大语言模型（LLM）规模的持续扩张，从早期的AlexNet到千亿参数级的Gemini，模型训练所需的计算量以每4-5倍/年的速度增长（Epoch AI, 2024）。LLM训练依赖多维度并行策略，按通信负载可分为两类：一类是通信密集型并行（如张量并行TP、专家并行EP），需TB级带宽支撑；另一类是低通信并行（如数据并行DP、流水线并行PP、上下文并行CP、序列并行SP），仅需数百Gbps带宽。数据中心网络（DCN）通常提供200-800Gbps带宽，可满足低通信并行需求；而高带宽域（HBD）作为支撑通信密集型并行的核心基础设施，需提供Tbps级带宽，其设计效率直接决定模型浮点运算利用率（MFU）——LLM训练的关键性能指标。

然而，现有HBD架构面临扩展性、成本与故障弹性的根本性矛盾，主要分为三类：

- 交换机中心HBD（如NVIDIA GB200 NVL-36/72/576）：通过高性能交换机构建无阻塞网络，支持高性能任意对任意通信，但交换机与链路的大量使用导致成本超线性增长，扩展性受限，且单交换机故障会引发“交换机级故障爆炸半径”，导致所有连接GPU带宽降级；同时，有限的HBD规模会引发严重资源碎片，例如NVL-36运行TP-16任务时，即使节点健康也会有至少11%的GPU因无法整除而闲置。

- GPU中心HBD（如SiP-Ring、Tesla Dojo）：通过GPU间直连构建环或网格拓扑，成本随规模线性增长且扩展性高，但存在“全HBD级故障爆炸半径”——单GPU故障会破坏整个拓扑（如SiP-Ring的环变线），导致健康GPU带宽降级；同时，仅能高效支持Ring-AllReduce，任意对任意通信性能低下。

- 交换机-GPU混合HBD（如Google TPUv4）：结合GPU直连与交换机链路，将TPU组织为4³立方体并通过光电路交换（OCS）连接，成本与扩展性处于中间水平，但仍存在“立方体级故障爆炸半径”（单TPU故障导致64-TPU立方体失效）及“交换机级故障爆炸半径”（OCS交换机故障影响所有连接立方体），且OCS交换机成本与制造复杂度高。

为解决上述问题，本文提出InfiniteHBD——一种以收发器为中心的HBD架构，通过在收发器中嵌入硅光子（SiPh）基光电路交换（OCS）模块，实现连接性与动态切换的统一，达成数据中心级扩展性、节点级故障隔离与全带宽利用率，为LLM训练提供近理想的HBD解决方案。

2. 理想HBD的关键属性

通过对LLM训练并行策略与性能需求的分析，研究团队提炼出理想HBD的三大核心属性，为InfiniteHBD设计提供理论依据：

2.1 大且灵活的TP尺寸是关键

对于密集型LLM（如Llama 3.1-405B），MFU随TP尺寸增大显著提升。当GPU数量从1024扩展至131072时，最优TP尺寸从16增至64，此时MFU相较于固定TP-8（传统NVLink架构常用配置）提升3.37倍。对于稀疏混合专家（MoE）模型（如1T参数GPT-MoE），尽管专家并行（EP）的通信量理论上更低，但EP存在“专家不平衡问题”——当专家令牌分配不平衡系数（(max-min)/max）从0增至30%时，MFU从31.5%降至28.8%；而TP通过将专家均匀分片至GPU，可规避该问题，且在大TP尺寸下MFU甚至优于EP。因此，HBD无需支持EP所需的任意对任意通信，仅需优化TP的Ring-AllReduce通信，且需支持大且动态调整的TP尺寸。

2.2 需具备高资源利用率与故障弹性

实际AI集群的故障以节点为单位发生，因此“节点级故障隔离”是理想目标——单节点故障仅影响自身，不扩散至其他节点。同时，HBD需最小化资源碎片：当HBD规模较小时，不同HBD的独立碎片会叠加，例如2个32-GPU HBD在TP-16任务下若各有1个GPU故障，会浪费30个GPU；而合并为64-GPU HBD仅浪费14个GPU。因此，HBD需支持大规模扩展以降低碎片，同时通过故障隔离减少故障导致的资源浪费。

2.3 优化Ring-All Reduce通信

TP的Ring-AllReduce通信具有“相邻通信局部性”——仅需与逻辑邻居节点交互，无需远距离连接；而EP的AllToAll通信需求可通过TP替代满足。这一特性简化了HBD拓扑设计，无需构建复杂的全连接结构，仅需支持动态环拓扑即可覆盖主流LLM训练场景。

3. InfiniteHBD设计方案

InfiniteHBD的核心创新是“收发器级统一连接与切换”，通过三大关键设计实现近理想HBD特性：硅光子基OCS收发器（OCSTrx）、可重构K跳环拓扑（Reconfigurable K-Hop Ring）、HBD-DCN协同编排算法。

3.1 硅光子基OCS收发器（OCSTrx）

OCSTrx是InfiniteHBD的硬件核心，通过在标准QSFP-DD 800Gbps收发器中集成OCS功能，实现低成本、低功耗的动态连接。其设计细节如下：

- 技术选型：采用硅光子（SiPh）技术构建Mach-Zehnder干涉仪（MZI）开关矩阵，而非传统MEMS技术——SiPh结构更简单、成本更低、功耗更小，且通过热光效应（TO effect）控制相位臂，重配置延迟仅60-80μs（远低于MEMS OCS的毫秒级延迟）。OCSTrx基于65nm CMOS工艺流片，芯片面积小于136.5mm²，核心模块功耗仅3.2W。

- 功能设计：每个OCSTrx连接节点内的2个GPU，提供三条通信路径：两条外部路径（连接其他节点）、一条环回路径（节点内GPU间直连）。三条路径采用时分复用，同一时间仅激活一条，可动态分配全800Gbps带宽至单一路径，避免链路带宽浪费。

- 硬件特性：在25℃室温下，核心模块插入损耗为3.3dB（范围2.5-4.0dB）；结合外围电路（8.5W）后总功耗低于12W，符合QSFP-DD 800Gbps transceiver规范；在-5℃至75℃温度范围内，误码率（BER）接近零，仅在75℃低OMA下偶发误差，满足工业级可靠性要求。

3.2 可重构K跳环拓扑

基于OCSTrx的动态连接能力，InfiniteHBD构建可重构K跳环拓扑，实现“动态环构建”与“节点级故障隔离”，拓扑设计分为节点内与节点间两层：

- 节点内拓扑：遵循OCP UBB 2.0标准，每个节点（以4-GPU节点为例）配置多组OCSTrx，每组OCSTrx连接一对GPU（分别对应upper/lower SerDes）。通过激活OCSTrx的环回路径，可在物理线型连接的节点间构建GPU级动态环——例如节点N1与N3的OCSTrx激活环回路径后，可形成8-GPU（N1的4个GPU+N3的4个GPU）环拓扑。构建过程中仅需使用每个节点的2组OCSTrx，剩余OCSTrx可替换为DAC链路以平衡成本与可靠性。

- 节点间拓扑：基于“通信局部性”与“故障非局部性”原则，将全连接拓扑剪枝为K跳环——每个节点通过OCSTrx连接±1、±2、…、±K跳的节点（K≤节点内GPU数），节点度为2K，成本与布线复杂度随节点数线性增长。在Ring-AllReduce通信中，仅激活2条链路用于数据传输，其余链路作为备份；当某节点（如N2）故障时，其邻居节点（N1、N3）可激活备份链路（N1-N3）绕过故障节点，实现“近节点级故障爆炸半径”。理论分析表明，当K=3时，多节点连续故障的概率呈指数衰减，故障导致的GPU浪费率上限可降至0.28%（4-GPU节点、TP-32任务场景）。

3.3 HBD-DCN协同编排算法

为优化端到端训练性能，InfiniteHBD设计HBD-DCN协同编排算法，减少DCN中的跨机架（ToR）流量，避免拥塞。算法分为部署阶段与运行时阶段：

- 部署阶段：在DCN（如Fat-Tree拓扑）中，将InfiniteHBD节点按“跨ToR连接”部署——若每个ToR下有r个节点，节点Nn连接Nn±r（主链路）与Nn±2r（备份链路），形成物理连接与DCN流量局部性匹配的拓扑，为后续编排奠定基础。

- 运行时阶段：采用二进制搜索策略优化约束条件，核心目标是“TP组本地化”与“跨ToR流量最小化”。算法输入包括DCN/HBD拓扑、故障节点集、任务规模与并行策略，输出满足任务需求的GPU放置方案：首先放宽TP组在聚合交换机（Aggregation-Switch）域内的对齐约束，再放宽域间交叉约束，通过迭代调整约束数，确保在满足任务规模的同时，跨ToR流量在7%节点故障下仍接近零，且在90%任务负载下跨ToR流量仅1.72%（远低于贪心算法的10%）。

4. 评估结果

InfiniteHBD的评估涵盖硬件测试、小规模集群验证与大规模仿真，基线包括理想模型Big-Switch、NVIDIA NVL系列（NVL-36/72/576）、Google TPUv4、SiP-Ring，仿真基于3K-GPU集群348天的真实故障轨迹（开源于https://github.com/stepun-ai/InfiniteHBD-Trace）。

4.1 硬件评估（OCSTrx）

- 重配置延迟：实测OCSTrx的硬件重配置延迟为60-80μs，排除网络协议层重连等软件延迟，远低于传统集中式OCS交换机（毫秒至分钟级）。

- 插入损耗与功耗：25℃下核心模块插入损耗平均3.3dB，50℃与85℃下损耗略有上升但仍在4.0dB以内；核心模块功耗3.2W，结合外围电路后总功耗≤12W，符合QSFP-DD规范。

- 误码率：在-5℃与25℃下BER为零；50℃时仅在OMA<0.5mW时偶发BER；75℃时OMA<0.75mW时出现BER，但均满足工业级阈值要求。

4.2 小规模集群评估

构建32-GPU小规模集群，采用固定光模块形成物理环拓扑，测试通信性能：

- 延迟优化：对于小包通信，GPU间直连链路较NVLink交换机设计降低约13%的延迟。

- AllReduce带宽利用率：16-GPU环拓扑的AllReduce带宽利用率达77.11%，32-GPU环拓扑达77.26%，仅略有下降；对比NVIDIA H100 8-GPU机器（无SHARP加速时利用率81.77%），性能接近且扩展性更优。

4.3 大规模仿真

4.3.1 故障弹性

- GPU浪费率：运行TP-32任务时，InfiniteHBD的GPU浪费率仅0.53%，较NVL-72（10.04%）低20倍，较TPUv4（7.56%）低14倍；即使在7%节点故障下，浪费率仍保持在1%以内，接近理想模型Big-Switch。

- 任务等待时间：对于TP-64大任务，InfiniteHBD的故障等待时间远低于SiP-Ring与TPUv4；而NVL系列因11%的备份开销，在TP-8/16小任务下等待时间最长。

- 最大支持任务规模：2880-GPU集群中，InfiniteHBD（K=2/K=3）与NVL-576可支持最大任务规模接近集群上限，而SiP-Ring随TP尺寸增大效率显著下降。

4.3.2 成本与功耗

- 成本效率：InfiniteHBD（K=2）的每GPU每GBps互连成本为3.28美元，仅为NVL-72（10.63美元）的30.86%、TPUv4（5.22美元）的62.84%；NVL-576因多层无阻塞拓扑，成本最高（33.80美元/GPU/GBps）。

- 能效：InfiniteHBD（K=2）的每GPU每GBps功耗为0.06瓦，与TPUv4持平，较NVL-72（0.08瓦）低1.3倍；NVL-576因交换机数量多，功耗达0.46瓦/GPU/GBps。

4.3.3 训练性能与通信效率

- MFU提升：InfiniteHBD的动态环构建能力支持大尺寸TP，Llama 3.1-405B训练的MFU较NVIDIA DGX系统（8-GPU节点）提升3.37倍；GPT-MoE训练中，采用TP替代EP后，即使专家不平衡系数达30%，MFU仍保持28.8%，优于EP的性能衰减。

- 跨ToR流量优化：通过HBD-DCN编排算法，InfiniteHBD在7%节点故障下跨ToR流量接近零，在90%任务负载下跨ToR流量仅1.72%，显著低于基线算法的10%。

5. 讨论

5.1 AllToAll通信支持

InfiniteHBD的环拓扑对EP所需的AllToAll通信效率较低，可通过优化改进：将备份链路连接至n±2ⁱ跳节点，采用二进制交换算法（Binary Exchange），将复杂度降至O(p log₂p)。该算法中，OCSTrx的快速重配置（60-80μs）可与计算重叠；当K=2且p<8时，性能接近理想Bruck算法。但该方案需GPU支持流量转发，增加拓扑构建与故障恢复复杂度，目前未实际部署。

5.2 多维度并行挑战

InfiniteHBD原生优化单维度TP并行，支持多维度并行需两种方案：

- 独立互连：每组OCSTrx连接至不同的节点间拓扑，隔离并行维度，但带宽固定导致效率损失。

- 时分多维度：利用OCSTrx的主备链路构建不同拓扑，通过快速切换支持多维度并行，但会降低故障弹性。

5.3 与EPS的对比

电子分组交换（EPS）也可实现多路径选择，但需额外光模块与高吞吐量交换芯片，系统成本与功耗显著高于OCSTrx，因此InfiniteHBD的光电路交换方案更具优势。

6. 结论

针对现有HBD在LLM训练中的 scalability、成本与故障弹性问题，本文提出InfiniteHBD——一种以收发器为中心的HBD架构，通过硅光子基OCSTrx、可重构K跳环拓扑与HBD-DCN协同编排算法，实现数据中心级扩展、节点级故障隔离与近理想资源利用率。借助 3000-GPU 集群的真实故障轨迹与自研模拟器，该工作验证了故障场景下，InfiniteHBD 的 GPU 利用率接近理想模型水平；相较于现有设计，其展现出更优的成本与能效；同时，该设计还能有效控制数据中心网络（DCN）中的跨机架（ToR）流量。InfiniteHBD是一套接近理想的高带宽域解决方案，为高带宽域（HBD）提供了高效的扩展方案，也为下一代万亿参数大语言模型（LLM）训练基础设施的研发提供了新的思路。