由于国内的企业无法获得英伟达 Nvidia 等公司的数以万计的高级 AI 芯片——GPU,因此必须以创新技术训练其先进的 AI 模型,使用更少的资源,最大限度地提高效率。
01.ai 的创始人兼负责人李开复本周表示,他的公司仅使用 300 万美元,使用 2000 个 GPU, 训练了一款高级 AI 模型。
据称,竞争对手OpenAI 花费了 8000万~-1 亿美元来训练 GPT-4。据报道OpenAI为 GPT-5 花费了高达 10 亿美元。
OpenAI 使用了 10,000 个 Nvidia A100 GPU 来训练其 GPT-3 模型,并使用了更多的 H100 处理器来训练其 GPT-4 和 GPT-4o 模型。
01.ai 的 Yi-Lightning 在美国加州大学伯克利分校 LMSIS 测量的模型性能中排名第六。
当然,这一成就尤其引人注目,因为该公司令人印象深刻的成本效益。这种明显的差异表明,实现顶级 AI 功能并不总是需要巨大的预算,因为仔细的工程设计和有针对性的优化可以产生类似的结果,而成本和计算资源只是其中的一小部分。
为了提高模型性能,01.ai 专注于通过将计算需求转化为面向内存的任务,构建多层缓存系统,以及设计专门的推理引擎等,优化速度和资源分配,从而减少推理过程中的瓶颈。因此,01.ai 的推理成本大大低于同类模型(每百万个代币 10 美分),大约是同类模型收费的典型费率的 1/30。
“当我们只有 2000 个 GPU 时,团队必须弄清楚如何使用它,”李开复说,“作为 CEO,我必须弄清楚如何确定它的优先级,然后我们不仅要加快训练速度,还必须快速进行推理。因此,我们的推理是通过找出整个过程中的瓶颈来设计的,通过尝试将计算问题转化为内存问题,通过构建多层缓存,通过构建特定的推理引擎,等等。但最重要的是,我们的推理成本是每百万个代币 10 美分。”
与美国人工智能公司相比,中国企业,尤其是 01.ai 企业,面临着重大挑战。一是由于美国的出口限制,企业很难获得更多 GPU资源;二是企业也存在估值劣势,会影响可用资源和投资机会。
领取专属 10元无门槛券
私享最新 技术干货