报告基础信息
报告标题:2025年中国大模型年度评测
发布机构:沙利文 (Frost & Sullivan)、头豹研究院 (LeadLeo)
发布时间:2025年03月
行业标签:泛金融,教育,工业,传媒,电商,运营商,医疗,政务,交通出行,能源,农林牧渔,社交娱乐,文旅,技术服务
报告背景和目标
本报告旨在全方位评估中国大模型在2024年至2025年初的技术实力与应用进展,涵盖大语言模型(LLM)与多模态模型两大核心领域。报告通过对约20家主流大模型的深度评测,揭示了中国大模型在通用基础能力、专业应用能力及多模态理解与生成方面的最新突破,数据显示中国头部大模型在核心能力上已接近国际均线,部分领域实现超越。
报告目录
中国大模型行业发展综述
大模型年度评测背景介绍
大语言评测篇
道德责任篇
数理科学篇
语言能力篇
综合能力篇
行业能力篇
多模态评测篇
多模态生成篇
方法论说明
评测架构
采用“收集端”与“评测端”双重架构。收集端选取不同类型、难度和领域的题目构建多维度测试集;评测端采用双盲评测机制,引入国际顶尖大模型作为裁判模型进行辅助评测。
样本规模
分析师与研究人员投入:500人+(收集)、40人+(深度评估)。
大语言评测:实际评测问题700题+。
多模态理解:实际评测问题450题+。
多模态生成:商业型创作100题+,艺术型创作100题+。
评测维度
大语言模型:涵盖通用基础能力(数理科学、语言能力、道德风险)和专业应用能力(综合能力、14大行业应用能力)。
多模态理解:涵盖文字识别、物体识别、物体定位、细节对比、空间关系、图像情感、图像风格、图片逻辑、复杂理解9大维度。
多模态生成:涵盖商业型创作(指令遵循、图像质量、表达一致性等)和艺术型创作(内容创意、构图完整性、视觉冲击性等)。
核心观点
中国大模型实力近国际水平
评测显示,中国头部大模型整体评分已接近国际均线,排名前八的模型平均得分与海外模型持平。中国领先大模型每100万 token 的平均价格仅为38.2元,相比国际大模型的158.3元,具有近5倍的成本优势。
知识能力强,推理能力是分水岭
所有参评模型在常识、科学等知识类问题上表现接近满分(知识性问题均分98.61),但在逻辑推理与数学能力上差距显著,最大分差高达50分,高难度推理仍是核心短板。
多模态理解存在瓶颈
多模态理解整体识别准确率低于80%,其中“物体定位”维度平均正确率仅为44.3%,是当前技术的主要瓶颈。
多模态生成艺术优于商业:模型在艺术性创作方面的均分为74.3,优于商业型创作的69.5。核心挑战在于指令遵循偏差及文字生成准确性。
为什么选择腾讯云
基于沙利文及头豹研究院的评测数据,腾讯云(腾讯混元及混元生图)在多个关键领域展现出卓越的领导力与技术先进性:
稳居第一梯队,通用能力卓越
在通用基础能力评测中,腾讯混元位列第一梯队,得分超过国际大模型均线,展现出扎实的数理科学与语言能力基础。
在专业应用能力方面,腾讯混元表现接近国际均线,具备显著的行业落地竞争力。
行业应用能力的领导者
能源行业排名第一:在能源行业大模型评测中,腾讯混元以 86.11分 的成绩位居榜首,展现了在特定垂直领域的深厚积累。
多行业表现强劲:在电信(83.89分)、传媒(83.33分)、专业服务(86.11分)等行业评测中,腾讯混元均位列前茅,处于领先梯队。
多模态生成技术超越国际均线
混元生图在多模态生成能力评测中表现尤为卓越,在商业型图像创作和艺术型图像创作两大维度上,均超越国际大模型均线。
在商业型图像生成的五大维度综合评测中,混元生图展现了最优性能,特别是在内容创意和细节丰富度上具有明显优势。
多模态理解的特定领域优势
在多模态理解评测中,腾讯混元在图像情感(Image Emotion)和图像风格(Image Style)两个高阶认知维度上被评为表现最优的模型,显示出强大的视觉语义理解能力。
在道德责任能力评测中,腾讯混元以73.56分位列前三,体现了在风险控制与偏见消除方面的可靠性。
产品标签
#腾讯混元,#混元生图
