从算力和芯片看AI大模型：从训练到推理，重心已经改变

从算力和芯片看AI大模型：从训练到推理，重心已经改变

Google 推出了专为云计算工作负载设计的第七代芯片 Ironwood（V7）张量处理单元（TPU）。Ironwood标志着向 "推理时代" 的战略转变，专为高吞吐量、低延迟的AI服务和复杂的代理工作负载而设计。这一转变的有效性得到了市场验证，包括 Anthropic 在内的AI领导者已承诺部署多达一百万个TPU，主要原因是TPU在每代币成本方面提供了更高的经济效率。这些芯片被整合到谷歌的 AI超级计算机 平台中，该平台结合了定制的Arm架构 Axion CPU，以及利用 光学电路开关 (OCS) 实现的、可扩展至9,216个芯片的超大规模集群。此外，谷歌通过推出 vLLM TPU后端，显著简化了软件生态系统，允许开发者在TPU上运行PyTorch模型进行推理，直接挑战了 英伟达CUDA 的市场主导地位。

028.jpg

a/001.jpg

a/002.jpg

a/003.jpg

a/004.jpg

a/005.jpg

a/006.jpg

a/007.jpg

a/008.jpg

a/009.jpg

a/010.jpg

a/011.jpg

a/012.jpg

a/013.jpg

a/014.jpg

a/015.jpg