昨天,NVIDIA 正式宣布发布全新 H200 Hopper 显卡,该显卡配备了来自美光的全球最快的 HBM3e 显存。值得注意的是,NVIDIA H100显卡是当今业界最受欢迎的人工智能芯片,但该公司的工程师希望为客户提供更高的性能。这就是为什么 HGX H200 是由 H200 显卡提供支持的最新 AI 和 HPC 计算平台。这些显卡在硬件和软件层面均采用最新的 Hopper 优化,并提供当今最快的内存。
公司代表表示,NVIDIA H200显卡搭载了美光的HBM3e解决方案,内存容量高达141GB,带宽高达4.8TB/秒,是NVIDIA A100显卡带宽的2.4倍。 (而且内存也更多)。这种新的内存解决方案使 NVIDIA 在 Llama 2(700 亿个 LLM 参数)等应用中能够将 H100 显卡的 AI 性能提高近一倍。当然,这种乐趣是相当昂贵的,但另一方面,基于人工智能的开发解决方案现在根本无法获得——市场需求太高,而大公司的报价太少。
领取专属 10元无门槛券
私享最新 技术干货