首页
学习
活动
专区
圈层
工具
发布

日本乐天3.0基于中国AI大模型的框架

3月17日,日本乐天集团于Hugging Face开源了「Rakuten AI 3.0」模型,并宣称其为“日本最大高性能人工智能模型”。

该模型运用了Mixture of Experts(MoE)架构,总参数约671亿,激活参数37亿,上下文长度可达128K,且针对日语及日本文化进行了深度优化。在多项本土基准测试中,该模型表现突出,乐天方面称其能为生态系统降低高达90%的推理成本。

不过,模型上线后,AI社区开发者通过查看Hugging Face页面配置文件、权重tensor尺寸、tokenizer及chat template发现,其底层架构与中国DeepSeek-V3一致,实际是在DeepSeek V3的基础上开展继续预训练与本地化微调工作。

对此,乐天官方新闻称,该模型依托GENIAC项目支持,结合开源社区最佳成果以及自家高质量双语数据进行开发。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OVl_Jq_3uFV0IHhisZl1SYOA0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。
领券