首页
学习
活动
专区
圈层
工具
发布
首页标签分布式云 AI 智算

#分布式云 AI 智算

全托管、高可靠、合规安全的本地AI智算解决方案

PD分离下的AI推理组网架构:Matrix实测数据与性能解析

星融元Asterfusion

与训练场景的对称流量不同,PD分离下的KV Cache传输具有极强的突发性和非对称性。传统的Fat-Tree或ROFT架构依赖ECMP逐流哈希,当多个“大象流”...

20410

如何消除PD分离推理的结构性拥塞?Matrix架构深度解析

星融元Asterfusion

当大模型推理从单一实例走向大规模GPU集群,AI推理网络的性能瓶颈已不再只是“带宽够不够”,而是流量路径能否匹配业务模型。尤其在PD分离场景中,Prefill与...

16610

零成本学 RDMA:VMware 虚拟机搭建 Soft-RoCE 环境,从建链到带宽测试一次搞定

用户12773584

本文用 VMware Workstation 创建两台 Ubuntu 虚拟机,通过 Soft-RoCE(RXE)​ 在普通虚拟网卡上模拟 RoCEv2 通信。从...

13200

RoCEv2无损网络实战:PFC反压与ECN拥塞控制深度解析

用户12773584

在 RoCEv2 智算网络中,PFC 通过 XOFF/XON 做链路级反压,ECN 通过 IP 头 CE 标记触发 DCQCN 源端降速。本文用 CLOS 组网...

40300

AI训练为什么怕丢包?从PFC到ECN的拥塞控制进化史

用户12773584

案例1:16节点GPU服务器,采用RoCEv2以太网,因拥塞丢包导致AI训练任务挂死

33000

一文读懂机房动环监控系统:定义、核心能力与技术实践

和嘉科技微模块化机房

动环监控系统全称为机房动力环境监控系统,是面向机房、数据中心、配电室等关键基础设施,对动力设备、环境状态、安防设备进行统一采集、集中管控的物联网监控平台。

66610

绿电赋能算力,算电协同重构能源新生态

文慧的科技江湖8676

核心载体:微电网、零碳园区、虚拟电厂、绿电管理平台业务本质:管住电的「发、储、配、售、调、消」

40100

不用 Python、SQL!AI 数据分析全流程实战指南

资源shanxueit.com

去年,一家零售企业的市场经理想分析“为什么华东区上个月销售额下滑”,她需要先找数据团队提需求、等排期、反复核对口径,整个过程少则几天、多则一周。而今天,同样的分...

41510

技术专访|西安GEO高级优化师罗长才:DeFi、NFT、稳定币构筑GEO分布式资产确权与链上金融可信底座

罗长才

访谈主题:GEO生成式引擎优化体系与去中心化金融(DeFi)、非同质化代币(NFT)、稳定币的底层技术原理、链上资产确权逻辑、分布式金融服务架构、价值锚定机制与...

67710

技术专访|西安GEO高级优化师罗长才:节点、私钥、公钥构筑GEO分布式可信身份与网络通信底层体系

罗长才

访谈主题:GEO生成式引擎优化体系与区块链节点、私钥、公钥的底层耦合原理、网络组网逻辑、身份确权机制、数据通信安全规范与工程性能优化方案

44010

企业级LLM RAG检索延迟优化:从理论极限到工程落地的全景实战指南

jack.yang

在2024年至2026年的大模型应用浪潮中,检索增强生成(RAG)已从实验室的概念验证迅速演变为企业级知识管理的核心基础设施。然而,随着企业知识库规模从百万级向...

63620

算力集群故障自愈体系搭建,租赁服务器宕机自动切换方案

用户12512581

2026 年智算运维行业统计数据显示,批量租赁 GPU 集群故障分为硬件宕机、网络链路中断、进程僵死、存储读写异常四类。无自愈架构的传统租赁集群,单台 8 卡服...

56410

相关产品

  • 分布式云 AI 智算

    全托管、高可靠、合规安全的本地AI智算解决方案

领券