首页
学习
活动
专区
圈层
工具
发布

英伟达Blackwell平台为AI推理工作负载带来全新水平的Token优化

(AI云资讯消息)在英伟达竞相构建AI领域新基础设施的过程中,公司最大的关注点始终是提升所部署硬件的效率。随着经Blackwell训练的前沿AI模型陆续面世,英伟达在Token输出与成本控制方面的取得重大进步。在最新发布的博文中,英伟达公司透露正携手企业客户共同扩展Blackwell性能,并展示了相较Hopper架构高达十倍的显著提升。

在探讨Blackwell的Token经济时,英伟达特别提及了贝斯腾(Baseten)、Sully.ai以及专注游戏领域的DeepInfra和Latitude等企业。对于每家公司而言,Blackwell架构都使其得以实现更低延迟、最优推理成本及稳定可靠的响应,这正是该技术栈成为当今主流AI公司首选方案的原因。即便在多智能体工作流与部署专用AI代理的场景中,SentientLabs公司也实现了相较Hopper架构25%至50%的成本效益提升。

英伟达Blackwell AI架构的突破源于其极限协同设计策略,这一方法论与当今的MoE架构高度契合。通过GB200 NVL72,英伟达采用72芯片配置搭配30TB高速共享内存,将专家并行技术推至全新高度,确保Token批次在GPU间持续拆分分发,并使通信量呈非线性增长。这正是Token经济将在Blackwell平台达到巅峰效率的关键原因。

展望Vera Rubin,英伟达计划通过架构革新、针对预填充的CPX等专用机制,将基础设施效能提升至全新维度。AI世界正以势不可挡的速度进化,这警示我们:硬件优化与硬件创新同等重要。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/O5RcRNUP7UZH-y5oOQGQa_8A0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券