随着AI大模型参数规模从千亿向万亿发展，单独的计算芯片和存储芯片已无法满足AI大模型对参数量和计算量的需求，成为了制约 AI 技术发展的“算力墙”和“存储墙”两大瓶颈，那么如何构建适配大模型算力的高性能网络，突破现有Scale-Out架构的瓶颈，已成为智算时代亟待解决的关键技术难题。

二、星脉网络AI infra基础设施核心组件

为应对上述挑战，腾讯星脉网络（Astral Network）提出多轨道和端网协同优化方案。

2.1 多轨道（Multi-Rail）网络架构

星脉网络为超大规模GPU集群构建了

：每个服务器均配有 8 个端口速率为 400 Gbit/s 且支持基于融合以太网远端内存直接访问技术 （RoCE） 的网卡 （NIC）。每个双端口网卡通过同轨道的Leaf层交换机与其他服务器的同序号网卡实现互联。如图1所示，第一台服务器的NIC1到第二台服务器的NIC1的流量通过Rail 1交换机传输。

通过二层 （Spine） 交换机实现一层（Leaf） 交换机的全互联，最终形成一个两层的多轨道网络拓扑。

网卡支持 RoCEv2 协议，网卡支持RoCEv2 协议，并且使能优先级流量控制 （PFC）和动态水线的数据中心拥塞控制机制（DCQCN）实现无损网络。

星脉网络端网协同两大核心组件：运行在 GPU 服务器上的拓扑感知集合通信库 （TCCL）和管理 RoCE 网络中流量路由的全局优化路由器 （GOR）。

图2：星脉网络TCCL和GOR的端网协同

：部署于GPU服务器端，实时感知LLM训练的并行策略与网络的物理拓扑，在通信发生前，进行精细化的静态路径规划即路径预规划。

：作为全局网络拓扑的集中式控制器，实时监控全网状态，负责动态调整流量路径，主动规避拥塞和处理故障。

2.2.1 TCCL：端侧的静态优化与智能执行

当前主流集合通信库（如NCCL）依赖默认的输入服务器顺序决定集合通信路径规划的局限性，TCCL做了三大核心优化：

：TCCL从GOR获取全局网络拓扑信息，在规划AllReduce等集合通信操作时，严格遵循以下原则：

② 在同一轨道和同一Block内通信优先；

③ 最大化本地流量，最小化跨Spine核心层的流量。

：鉴于NVLink和RoCE网络的传输延迟分别为200 ns和4μs，整个集合通信网络的通信受限于RoCE网络。因此，TCCL专门设计了

TCCL，实时识别服务器内部的NVLink通道和外部的RoCE网络通道的带宽和延迟，在在集合通信粒度上动态切片TP  AllReduce，将每个GPU上要传输的消息分为两个部分，分别用于NVLink通道和RoCE网络通道，实现两个通道之间的动态协同，从而最大化的释放和压榨可用带宽资源。

：为了从源头彻底消除ECMP哈希冲突，在建立RoCE QP（Queue Pair）连接前，TCCL利用从GOR上获取交换机的精确哈希算法模型，TCCL会主动为并行的多个大象流计算并分配一组能实现哈希正交（Hash Orthogonal）的源端口号，从而确保经过ECMP哈希计算后的流量，能被均匀地映射到不同的物理链路上。

2.2.2 GOR：全局的动态感知与智能调度

GOR是如何将一次完整的“感知-决策-执行”调度周期压缩到一个LLM训练迭代（约10-30秒）内：

：依赖ECN（显式拥塞通知）进行拥塞检测，通过三级告警阈值实现毫秒级识别。

：一旦触发告警，GOR联动sFlow等工具，对拥塞端口的流量进行采样，通过分析数据包的五元组信息，快速、精准地识别Top-N大象流。

：查询全局有效可达网络拓扑图，结合Telemetry实时采集的链路负载，挑选所有备选ECMP路径。

：确保新路径上所有链路叠加新增流量后链路负载控制在安全阈值（如75%）以下，避免人为产生二次拥塞。

：GOR通过控制通道向源服务器的TCCL下达指令更新特定流的源端口，确保TCCL在下一次传输时使用新端口，流量被无感知地切换至新路径上，整个过程在一次训练迭代内闭环。

2.2.3 GOR与TCCL协同工作机制推演

：GOR控制器基于ECN标记数实时监控，触发毫秒级告警。

：联动 sFlow 采样协同机制，基于五元组精准定位识别大象流

：探测备选路径，模拟器仿真，递归验证。

：GOR通过控制通道向源端服务器的TCCL下发指令，

TCCL 修改源端口引导流量至新路径上。

3.1 与阿里HPN、百度百舸、Meta 主流大模型训练网络架构对比

随着AI集群规模向十万卡乃至百万卡级别演进，以及以MoE（Mixture of Experts）和DeepSeek为代表的新型模型架构的出现，引入了密集All-to-All通信范式，极大地增加了网络流量的复杂性和不可预测性，面对新的挑战，在整个拥塞化解过程所耗费的时间控制在一次训练迭代内闭环下，TCCL和GOR仍需继续发挥端网协同的作用，进一步提升实时处理海量监控数据、完成日益复杂的全局路径计算并秒级下发调度指令的能力。

本文基于腾讯星脉网络公开技术资料，并结合作者在 AI 基础设施领域的持续研究撰写而成。关于万卡集群中 RoCE 参数调优、TCCL 与 NCCL 性能对比、以及阿里 HPN / 百度百舸的详细架构拆解，欢迎关注公众号【AGI小咖】查看系列分析。

万卡集群如何破局哈希极化与拥塞抖动？深度解读腾讯星脉网络的 TCCL+GOR 协同架构

随着大模型参数规模迈向万亿级，万卡 GPU 集群成为训练基础设施的标配，本文深入解析腾讯星脉网络如何通过“多轨道物理架构”与“TCCL+GOR 端网协同”来破解万卡集群中的哈希极化、拓扑盲点与拥塞抖动等核心挑战。

云计算

人工智能

网络与通信

腾讯星脉网络突破AI大模型算力瓶颈，创新性采用多轨道架构与端网协同技术。通过TCCL实现拓扑感知通信优化，GOR实现全局动态调度，有效解决万卡集群网络拥塞问题。相比传统方案，星脉网络在带宽利用率、通信效率方面显著提升，为AI训练提供高性能网络基础设施支撑。

数据中心

服务器

路由器

路由

11.11畅享AI算力 云启新增长

tione

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

万卡集群如何破局哈希极化与拥塞抖动？深度解读腾讯星脉网络的 TCCL+GOR 协同架构

万卡集群如何破局哈希极化与拥塞抖动？深度解读腾讯星脉网络的 TCCL+GOR 协同架构

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐