仅4B参数！面壁端侧模型MiniCPM 3.0达到GPT-3.5水平

“ 端侧模型正成为一个备受关注的技术前沿。面壁智能发布的MiniCPM 3.0，以其4B参数量在性能上逼近GPT-3.5，更在端侧部署上实现了技术突破。这款小而强大的模型，不仅为移动设备智能化提供了全新可能，也为人工智能的轻量化和普及性开辟了更广阔的想象空间。”

近日面壁智能发布了旗舰端侧模型“小钢炮”系列的MiniCPM 3.0基座模型。MiniCPM 3.0是一款4B大小的模型，在自然语言理解、知识、代码、数学等能力上可达到GPT-3.5水平。

01—特点

4B参数量的 MiniCPM 3.0 在多数评测集上的效果比肩甚至超越众多 7B-9B 模型。这款可以跑在手机硬件条件下的大模型，有着以下特点：

• 支持工具调用🛠️（Function Calling）和代码解释器💻（Code Interpreter）：Berkeley Function Calling Leaderboard (BFCL) 上取得 9B 规模以下 SOTA，超越 GLM-4-9B-Chat、Qwen2-7B-Instruct。
• 超强的推理能力🧮：数学能力方面，MathBench 上的效果超越 GPT-3.5-Turbo 以及多个 7B-9B 模型。在非常具有挑战性的 LiveCodeBench 上，效果超越 Llama3.1-8B-Instruct。
• 出色的中英文指令遵循能力🤖：英文指令遵循 IFEval、中文指令遵循 FollowBench-zh 效果超越 GLM-4-9B-Chat、Qwen2-7B-Instruct。
• 长文本能力：原生支持 32k 上下文长度，32k 长度内大海捞针全绿。提出 LLM x MapReduce ，理论可处理的上下文长度达到 +∞。
• RAG能力：随模型发布了 MiniCPM RAG 套件。基于 MiniCPM 系列模型的 MiniCPM-Embedding、MiniCPM-Reranker 在中文、中英跨语言检索测试中取得 SOTA 表现；针对 RAG 场景的 MiniCPM3-RAG-LoRA 在开放域问答等多项任务上超越 Llama3-8B、Baichuan2-13B 等模型。

通过量化技术，该模型的内存需求被优化至仅 2GB，就很适合在端侧（移动端）环境中部署。

02—性能评估

在代码能力、功能调用、数学推理、中英文指令遵循多个评测集的表现上，MiniCPM 3.0 以 4B 的小参数量表现优异。多项评测得分接近或者超过 GPT-3.5。

总体而言，面壁智能在MiniCPM 3.0上降低了参数并提升了性能。

长文本能力

在 32k 的上下文长度进行大海捞针测试，结果如下图，在多个长度长文本的测试表现都是全绿：

MiniCPM 3.0 使用了LLMxMapReduce 技术框架，通过将长上下文切分为多个片段，可以让模型并行处理多个片段，并从不同片段中提取关键信息，然后汇总成为最终的答案。

LLMxMapReduce技术是长文本上分神器——它对大模型长文本能力具有普遍增强作用，且在文本不断加长的情况下，仍能保持稳定性能、减少长文本的掉分情况。

翻了一下官方的技术报告，里面也说明了几处不足。

• 受限于模型规模，模型可能出现幻觉性问题。其中由于DPO模型生成的回复内容更长，更容易出现幻觉。这个问题官方会持续进行模型的迭代改进；
• 为了保证在学术研究用途上模型的通用性，官方未对模型进行任何身份认同训练。同时由于使用ShareGPT开源语料作为部分训练数据，模型可能会输出类似GPT系列模型的身份认同信息；
• 受限于模型规模，模型的输出受到提示词（prompt）的影响较大，可能多次尝试产生不一致的结果；
• 受限于模型容量，模型的知识记忆较不准确，后续官方将结合RAG方法来增强模型的知识记忆能力。

更小的参数意味着更低的部署门槛和使用成本，某种程度上有助于解决云侧模型耗能、算力等成本居高不下的问题。

MiniCPM 3.0作为一款多功能的端侧AI模型，不仅可以作为智能个人助理，帮助用户管理日程和处理咨询，还能无缝集成到移动应用和智能家居系统中。

在智能手机和平板电脑上，它提供即时的语言理解和精准的任务执行，显著提升用户交互体验；而在智能家居领域，通过精准理解语音命令，它可以轻松控制家中的各类智能设备，使得生活更智能、更便捷。

在工业生产中，它可以辅助设备监控、故障诊断和生产优化，通过分析复杂的生产数据，帮助企业提高生产效率和产品质量。

农业方面，该模型能够为农户提供精准的种植建议、病虫害识别和气候适应性预测，实现农业生产的智能化和精细化管理。

相较于云端大模型，兼具小尺寸和强性能的端侧模型天然更适合智能硬件产品，因为后者有更高的计算效率、实时反馈、安全隐私等方面的要求。

以机器人为例，端侧模型有机会带来传统技术所无法实现的通用能力，例如通过更长的上下文完成对人的情绪与意图的理解。

不过，以OpenAI为代表的大模型公司，也正在通过剪枝、量化等手段开发小尺寸模型，这是否意味着在可见的未来，通用大模型有可能会全面覆盖小尺寸模型的能力表现？

面壁智能CTO曾国洋表示，从技术路线上来说，端侧模型与云端大模型有一部分是共通的，主要体现在模型的知识密度和能力上，但是面壁智能需要在一些技术上采取更适配端侧模型的路径，才有可能实现以小博大的目的。

在真正落地端侧设备时，端侧模型的优势会得到显现。由于端侧设备对运算资源有极大限制，端侧模型会从模型的训练技巧、数据配比、数据精度等方面做大量工作，而云端大模型整体更注重效果和成本的平衡，大都采取MoE（Mixture of Experts）架构等技术以追求性价比，长期来看，如果仅采取剪枝等传统技术，云端模型难以持续大幅提升模型的知识密度。

03—关于面壁智能

这家创立于2022年的公司，创始成员全部来自清华大学自然语言处理NLP实验室。

2020年底，刘知远、曾国洋（现任面壁智能CTO）带领的面壁早期核心团队发布了首个中文大语言模型CPM-1，三年时间内陆续发布了CPM-2（110亿参数）、CPM-3、CPM-Ant、CPM-Bee等模型。

后来公司开始向商业化转型，并以实现AGI（通用人工智能）为长远目标。去年4月，面壁智能完成了由知乎独家投资的千万人民币级别天使轮融资，这是其迄今为止唯一一轮融资。在国内基础大模型领域竞争中，这家公司需要面对Minimax、百川智能、智谱AI、零一万物和月之暗面等实力强劲的对手。

面壁智能提出了面壁定律，即模型知识密度每8个月提高1倍。

知识密度提升：提出知识密度公式（知识密度 = 模型能力 / 模型参数），并指出随着数据、算力和算法协同发展，模型知识密度持续增强，如过去四年平均每8个月翻倍。

相关资源：

GitHub仓库：

https://github.com/OpenBMB/MiniCPM

HuggingFace模型库：

https://huggingface.co/openbmb/MiniCPM3-4B

知识库：

https://modelbest.feishu.cn/wiki/D2tFw8Pcsi5CIzkaHNacLK64npg

- 完 -