是德科技黑皮书：如何测试 AI数据中心网络架构

该黑皮书聚焦 AI网络架构测试方法，指出 LLM 训练中网络架构对数据传输效率至关重要，需具备数据移动、可扩展性等能力。文档围绕作业完成时间、性能隔离、负载均衡、拥塞控制四大测试方法展开，介绍测试拓扑、步骤、变量及结果分析，使用 Keysight AresONE-M 等工具模拟 AI 工作负载，通过不同集体操作和数据大小验证网络性能，强调测试对优化 AI 数据中心基础设施的重要性。

图片

一、AI 网络架构测试背景与核心能力

LLM 训练挑战：大规模 GPU 节点间数据传输易成瓶颈，网络架构需支持高效数据移动、低延迟、可扩展性及容错性，确保训练效率。LLM 训练中网络架构的核心瓶颈是大规模 GPU 节点间的大象流（大流量低熵）传输，易导致链路拥塞和长尾延迟，影响训练效率。例如，4 节点 All-Reduce 操作需传输 24GB 数据（4GB 集体数据 ×6 次迭代），若网络负载均衡不佳，单链路流量可占总带宽 70% 以上。

图片

核心能力：包括数据移动、节点间通信、资源分配、监控调试等，支撑分布式训练中数据并行（DP）、流水线并行（PP）、张量并行（TP）等模式。

二、AI 模型训练与并行通信基础

训练流程：

数据准备：收集预处理文本、图像等数据，分词归一化后拆分为训练 / 验证 / 测试集。

模型定义：设计神经网络等架构，设置学习率、批量大小等超参数。

模型训练：通过前向传播计算输出，反向传播更新参数，迭代至收敛。

并行通信：

集体操作类型：All-Reduce（梯度聚合）、All-Gather（特征聚合）、All-to-All（全节点数据交换）等。

关键指标：算法带宽（集体大小 / 时间）、总线带宽（算法带宽 × 补偿因子）、理想比率（总线带宽 / 理论吞吐量）。

三、四大测试方法论详解

1. 作业完成时间（JCT）测试 目标：验证无拥塞场景下网络最大性能，测试不同集体操作（如 All-Reduce Ring、All-to-All）的完成时间与带宽。 关键配置： 拓扑：2 个 NPU 主机（各 4 个 NPU/NIC），环形算法模拟节点 0-7 通信。 数据范围：16MB-200GB，步长 2 倍递增。 工具：Keysight CB 工具自动执行测试用例。

图片

1. 性能隔离测试 目标：模拟多租户场景下资源竞争，验证拥塞控制机制（PFC+ECN）对性能的影响。 关键配置： 拓扑：4 个 NPU 主机，2 个并发作业（如 All-Reduce Ring 与 All-to-All 混合）。 数据大小：4GB（主作业）+4GB（背景流量）。 拥塞控制：启用 PFC（优先级流控）和 ECN（显式拥塞通知）。 结果：单背景作业时主作业性能下降约 30%，PFC+ECN 可减少长尾延迟但无法完全消除竞争影响。

图片

图片

1. 负载均衡测试 目标：评估 ECMP（等价多路径）模式下流量分布，对比 5-tuple 哈希与随机喷雾（Spray）算法。 关键配置： 拓扑：2 个 NPU 主机（各 4 个 NPU/NIC），连接至 2 台 ToR 交换机。 集体操作：All-to-All（200MB 数据），测试并行 QP（队列对）数量对分布的影响。

图片

图片

1. 拥塞控制测试

目标：验证 PFC、ECN 及两者结合在拥塞场景下的可靠性。PFC（优先级流控）：适用于大流量场景（如 > 1GB），通过暂停非关键流量实现无损传输，但可能引入队列积压导致长尾延迟（如 8GB 数据延迟 153ms）。ECN（显式拥塞通知）：适用于小数据或实时场景（如 <1MB），通过标记拥塞队列触发发送端降速，但大数据时反馈不及时可能导致丢包率上升（>1GB 时丢包率 > 1%）。

关键配置：

拓扑：8 节点全连接，模拟过载网络（如 8:1 收敛比）。

数据大小：16MB-8GB，启用 PFC 头 room（100000）或 ECN 阈值（10000）。

结果：

PFC：大流量场景有效避免丢包，但长尾延迟较高（如 8GB 数据 P50 延迟 153ms）。

ECN：小数据场景响应快，但大数据时因反馈延迟导致丢包率上升（>1GB 时丢包率 > 1%）。

PFC+ECN：综合性能最佳，理想比率保持 95% 以上，长尾延迟降低 30%。

图片

图片

四、测试工具与拓扑

工具链：

Keysight AresONE-M：硬件级流量生成与分析，支持 RoCEv2 协议。

Collective Benchmarks（CB）：自动化测试套件，预定义多租户、拥塞等测试用例。

拓扑设计：

Spine-Leaf 架构：通过 ECMP 实现多路径负载均衡，ToR 交换机连接 NPU 主机模拟真实数据中心。

端口映射：将物理端口绑定至虚拟 Rank ID，支持 8-64 节点规模测试。

五、关键挑战与应对

流量特征：LLM 训练以低熵大象流为主，需通过并行 QP（如 4-8 个 / 节点）提升路径熵。

多租户管理：混合负载场景下，PFC+ECN 组合可动态分配带宽，但需优化反馈延迟（<1ms）。

容错性：单个 GPU 故障可导致全局训练中断，需测试网络对故障节点的快速隔离能力（如 10ms 内重路由）。