腾讯科技作者 李海丹
9月5日,面壁智能发布了新一代“小钢炮3.0”,在功能支持和上下文处理能力等方面都进行了升级。
相比MiniCPM最新的V2.6版本,3.0版本参数有所下降,从8B参数变为4B,但量化后的内存条件由6GB降到了2GB,并具备在弱网或断网环境下运行能力,支持Function Call和RAG等复杂任务处理。面壁智能发布了RAG三套组件:MiniCPM-Embedding(检索模型)、MiniCPM-Reranker(重排序模型)和面向 RAG 场景的 LORA 插件(生成模型)。
RAG是一种能够让模型在生成内容时,可以引用外部知识库的技术组件。通过RAG,模型可以不再仅依赖于本身的训练数据,能够实时检索到最新和需要的数据。面壁智能CTO曾国洋表示,“大模型+RAG 在行业中极其实用,比如对法律、医疗等依赖专业知识库、对大模型幻觉容忍度极低的垂直行业”。
在各大模型玩家相互追赶的长文本领域,面壁智能在今年4月发布2.0时能力为128K,此次直接升级到了“无限长文本”——引入了“无限变频”LLM与MapReduce长本文分帧处理技术。“无限变频”,更像是一种技术优化后的扩展,而非字面意义上的“无限”。我们可以理解为像给AI增加了记忆扩展功能,够把更长的文本切分成多个部分进行处理,并在需要的时候“回忆”此前的内容。这种能力可以提高AI在处理复杂任务中的表现,比如分析长篇论文、生成完整的长文档或处理海量数据。
LLMxMapReduce技术框架图
目前,端侧AI正逐渐成为各大科技厂商争夺下一代流量入口的关键战场。面壁智能CEO李大海向腾讯科技表示,“端侧模型具备本地运行能力优势,无需上传至云端,提升用户的隐私数据和使用体验,我们也在持续优化端侧模型的隐私数据处理能力。不过具体系统级的安全部署,需要与终端厂商深度合作,仅靠面壁自己是很难完成的。我们会与厂商合作,确保安全方面的部署”。
领取专属 10元无门槛券
私享最新 技术干货