近日,摩尔线程与无问芯穹在人工智能领域取得重大进展,双方联合宣布成功完成基于国产全功能GPU千卡集群的3B规模大模型“MT-infini-3B”实训。
该模型在摩尔线程夸娥(KUAE)千卡智算集群与无问芯穹的AIStudio PaaS平台上稳定高效地完成了训练任务,展示了国产软硬件结合的新成果。
训练期间,“MT-infini-3B”模型在13.2天内保持全程稳定,未出现中断,集群训练稳定性达到100%,表明夸娥千卡集群在处理大规模模型训练时的可靠性。
此外,千卡训练与单机训练相比,扩展效率超过90%,彰显了高效的并行计算能力。
实训结果中,“MT-infini-3B”在多个基准测试中超越国际标准,性能突出。
无问芯穹联合创始人夏立雪强调,该公司正努力构建一个包含多种模型与芯片的生态系统,旨在提高不同场景下的模型部署效率。
摩尔线程作为首个接入并完成千卡级别大模型训练的国产GPU企业,此次合作具有开创性意义。
摩尔线程的创始人张建中则表示,无问芯穹在夸娥千卡智算集群上的实践,验证了摩尔线程的技术实力,并促进了国内大模型训练的自给自足。
夸娥千卡智算集群具备高性能、高兼容性及扩展性,为大模型训练提供了一流的基础架构。
双方的战略合作还包括无问芯穹大模型开发与服务平台“无穹Infini-AI”与摩尔线程夸娥千卡集群的系统级融合,已成功完成LLama2-70B大模型的训练测试。
该平台支持多种大模型的开发到部署流程,涵盖了包括Baichuan2、ChatGLM系列、Llama2等在内的20多个模型。
展望未来,摩尔线程与无问芯穹将继续深化合作,推进更多适配与测试,以加速国产大模型技术的成熟和普及,为我国人工智能产业的发展增添动力。
摩尔线程作为领先的AI芯片公司,致力于提供强大的计算加速能力,支持包括AIGC、数字孪生、物理仿真等多种应用场景,推动行业智能化转型。
此次合作不仅体现了国产GPU与大模型技术的深度融合,也展示了国产算力产业链上下游合作推进技术创新的积极态势,为实现AGI时代大模型的广泛落地奠定了基础。
领取专属 10元无门槛券
私享最新 技术干货