首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

惊艳!01.ai用2000个GPU和300万美元,实现媲美OpenAI 1万GPU+1亿美元的GPT-4效果,成本效益颠覆认知

由于国内的企业无法获得英伟达 Nvidia 等公司的数以万计的高级 AI 芯片——GPU,因此必须以创新技术训练其先进的 AI 模型,使用更少的资源,最大限度地提高效率。

01.ai 的创始人兼负责人李开复本周表示,他的公司仅使用 300 万美元,使用 2000 个 GPU, 训练了一款高级 AI 模型。

据称,竞争对手OpenAI 花费了 8000万~-1 亿美元来训练 GPT-4。据报道OpenAI为 GPT-5 花费了高达 10 亿美元。

OpenAI 使用了 10,000 个 Nvidia A100 GPU 来训练其 GPT-3 模型,并使用了更多的 H100 处理器来训练其 GPT-4 和 GPT-4o 模型。

01.ai 的 Yi-Lightning 在美国加州大学伯克利分校 LMSIS 测量的模型性能中排名第六。

当然,这一成就尤其引人注目,因为该公司令人印象深刻的成本效益。这种明显的差异表明,实现顶级 AI 功能并不总是需要巨大的预算,因为仔细的工程设计和有针对性的优化可以产生类似的结果,而成本和计算资源只是其中的一小部分。

为了提高模型性能,01.ai 专注于通过将计算需求转化为面向内存的任务,构建多层缓存系统,以及设计专门的推理引擎等,优化速度和资源分配,从而减少推理过程中的瓶颈。因此,01.ai 的推理成本大大低于同类模型(每百万个代币 10 美分),大约是同类模型收费的典型费率的 1/30。

“当我们只有 2000 个 GPU 时,团队必须弄清楚如何使用它,”李开复说,“作为 CEO,我必须弄清楚如何确定它的优先级,然后我们不仅要加快训练速度,还必须快速进行推理。因此,我们的推理是通过找出整个过程中的瓶颈来设计的,通过尝试将计算问题转化为内存问题,通过构建多层缓存,通过构建特定的推理引擎,等等。但最重要的是,我们的推理成本是每百万个代币 10 美分。”

与美国人工智能公司相比,中国企业,尤其是 01.ai 企业,面临着重大挑战。一是由于美国的出口限制,企业很难获得更多 GPU资源;二是企业也存在估值劣势,会影响可用资源和投资机会。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OQTg05Ls7sSnh2pgy4KTvxYQ0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券