破解金融大模型落地迷局：FLMM多维评估体系与场景化效能重构

数据及观点来源： 腾讯全球数字生态大会 - 何阳（中国信息通信研究院云计算与大数据研究所副所长）

第一章：剖析金融数智化转型的业务与风控瓶颈

当前金融业正从传统的“评估与服务模式”向“可预测、个性化和生态化模式”转变，但在大模型技术的规模化商业应用中，遭遇了明显的落地断层。目前产学研各界发布的大模型基准测试（达200多个）超过50%侧重于通用语言类评测，缺少与具体金融业务结合的垂直领域能力评估。

在实际业务接入中，金融机构面临三大核心痛点：

1. 数据“污染”与标准缺失： 各机构数据格式存在差异，缺乏高质量金融训练数据；通用测试集可能包含训练数据，导致评分存在公正性与可信度问题。
2. 黑盒推理与可溯源性危机： 大模型包含十亿级参数，内部推理决策过程难以显化（可解释性问题）。在投研生态中，若缺乏内容可溯源性，极易引发“一本正经地胡说八道”及潜在的合规舆情风险。
3. 安全与隐私防御压力： 数据收集处理、参数微调及推理全流程均面临敏感资产信息泄露及模型攻击的风险。

第二章：确立基于典型场景的FLMM评估框架与FAIS计划

为打破评测与业务脱节的现状，中国信息通信研究院联合多方发起“基于金融业务场景的大模型应用研究计划”（FAIS），并正式发布了《基于金融业务典型场景的大模型应用能力评估模型》（FLMM）。

FLMM评估模型摒弃了单一的性能跑分，构建了涵盖3个能力域、21个能力子域、54个能力项的立体化标准：

• 业务价值提升能力 (V) - 直观彰显： 聚焦应用后对业务的实际拉动，涵盖业务契合度、业务效能提升率、决策增强力及成本节约率。
• 服务可靠性 (R) - 技术基石： 关注大模型本身的工程化服务能力，贯穿全流程的易用性、稳定性、工具调用及平均无故障时间。
• 应用安全性 (S) - 有力保障： 确立金融级安全防护基线，包含隐私保护能力、防指令劫持能力、合规性及幻觉避免能力。

第三章：锚定量化评估指标与核心业务收益

针对大模型应用成效，FLMM模型确立了以客观定量计算为主的效能评估方法，超过80%的调研机构建议根据“通用场景”与“特色场景”设定差异化评价指标。以下为指导决策的三个核心业务量化公式：

• 核心指标一：业务自动化提升率 (流程优化效能) 通过大模型减少手工操作。计算公式为：（应用大模型后的自动化任务数量 - 应用大模型前的自动化任务数量）/（应用大模型前的自动化任务数量）× 100%。
• 核心指标二：系统资源利用率 (Ops Cost/底层算力成本) 衡量大模型在金融业务场景运行时，对计算资源（CPU、GPU、内存等）的使用效率。计算公式为：实际使用的资源量 / 分配的资源总量 × 100%。
• 核心指标三：平均无故障时间 MTBF (系统稳定性) 衡量大模型应用在相邻故障间隔期内正确工作的平均时间。计算公式为：Q = MTBF = 1/N * ΣTi（N次故障修复后继续投入使用的总工作时间均值）。

此外，通过（应用后业务指标 - 应用前业务指标）/ 应用前业务指标 × 100%得出业务贡献度，直接评估AI部署与预期业务目标的匹配程度。

第四章：聚合头部金融机构与“灯塔计划”实践路径

根据深度调研，当前金融机构落地大模型采用“全心投入、先内后外、从易到难”的渐进式路径。目前，机构投入超过千万的占比超过40%，人员投入超过50人的超过35%；且已有三分之一的机构把大模型集成到核心业务流程中。

客户联合实践验证：

中国信通院联合中国银行业协会、工商银行、农业银行、邮储银行、交通银行、国泰君安证券、中信建投证券、人保财险等40余家头部金融机构及科技企业，共同启动了FLMM首批评估工作。

通过实施“灯塔计划”，专项突破智能营销、风控合规、智能运营、智能投顾、智能代码、数据处理及产品创新七大核心场景。依据实践成效，FLMM将应用能力成熟度划分为1-5级，达到5级（卓越级）的机构，其大模型能够在所有评价维度上达到行业领先水平，创新推动业务模式变革，具备显著的核心竞争力。

第五章：依托数字生态枢纽深化底层技术与信创融合

大模型的深度应用离不开底层算力生态与合规技术架构的支撑。通过产学研用信息共享平台的推动，当前大模型建设正加速融入金融信创体系：

• 突破信创运维技术瓶颈： 针对信创领域专业人才缺口巨大的痛点，联合生态伙伴打造金融信创运维大模型。通过构建包含系统（OceanBase、达梦、统信等）产品手册、故障案例的专业知识数据集，开发场景智能体。实现7×24小时的智能服务，有效弥补人才不足，提升复杂混合架构环境下的故障处理与巡检效率。
• 构建多维高质量数据集： 开展“评估数据集+应用数据集”研究，集成监管规则、多维度业务挑战与公开金融数据，形成知识图谱与评估模型闭环，从根本上解决大模型在金融细分领域的专业性与逻辑一致性问题。