首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >基于 GB/T 45225-2025 标准建立深度学习算法评估指标体系技术指南

基于 GB/T 45225-2025 标准建立深度学习算法评估指标体系技术指南

原创
作者头像
道普云
发布于 2026-11-13 16:33:36
发布于 2026-11-13 16:33:36
1120
举报
文章被收录于专栏:软件测试技术软件测试技术

深度学习技术已渗透至自动驾驶、医学影像、金融风控、公共安全等关键领域,长期以来,行业对深度学习算法的评估停留在"准确率至上"的单指标思维中。不同团队各自定义评估口径,不同场景之间无法横向比较。GB/T 45225-2025 的发布填补了这一空白,它首次为深度学习算法构建了涵盖 8大质量特性、4级评估等级 的完整评估框架,并给出了从指标选取、权重计算到等级判定的全流程方法论。

本文依据GB/T 45225-2025标准,尝试去整理出一套可落地、可复现、可追溯的深度学习算法评估指标体系。

一、GB/T 45225-2025评估指标体系总览:八大质量特性

标准第4章确立了评估指标体系的顶层架构,包含 8个质量特性,每个特性下设若干评估指标:

添加图片注释,不超过 140 字(可选)

八大质量特性详解与指标计算方法

1、基础性能

指标

定义

适用任务类型

准确率 (Accuracy)

预测正确的样本数占总样本数的比率

分类(二分类/多分类)、情感分析、语音分类

精确率 (Precision)

预测类别为正样本的集合中真实类别为正样本的比率

分类、情感分析

召回率 (Recall)

被正确预测的正样本占全部正样本的比率

分类、情感分析

F1分数

精确率和召回率的调和平均数

分类、情感分析、命名实体识别

错误率 (Error Rate)

预测错误的样本占总样本的比率

分类、情感分析

KL散度

两个概率分布间的差异的非对称性度量

生成模型、分布估计

ROC曲线

不同设定条件下真正率和假正率画出的响应曲线

二分类

PRC曲线

同时显示不同阈值下精确率和召回率的图形方法

分类(尤其是正样本稀少的场景)

CRC曲线

跨多个阈值的总数据中真阳性率和阳性预测百分比

分类

基础性能衡量算法在标准测试条件下的预测能力,是所有评估的起点。

多分类任务的扩展指标:加权平均精确率、加权平均召回率、加权平均F1分数、宏观平均精确率、宏观平均召回率、宏观平均F1分数、微观平均精确率、微观平均召回率、微观平均F1分数。

目标检测/跟踪专用指标:IoU、mAP、AP、置信度、MOTA、MOTP、IDP1、IDP、IDR、MT(主要跟踪目标数量)、ML(主要丢失目标数量)、PT、IDSW。

语义分割专用指标:像素准确率、类别平均像素准确率、类别像素准确率、IoU、MIoU。

语音识别专用指标:平均词错误率、平均词信息丢失率、平均匹配错误率、平均字符错误率、平均词信息保留。

回归任务指标:平均绝对误差、平均均方误差、平均绝对百分比误差、决定系数。

聚类任务指标:轮廓系数、方差比准则、DBI。

2、效率

效率衡量算法在达到给定性能目标时消耗的资源与时间。

时间特性

平均响应时间(公式1):

T = \frac{\sum_{i=1}^{n} T_i}{n}

其中:T为平均响应时间,T_i为第i次测量的响应时间,n为测量次数。

平均周转时间(公式2):

T' = \frac{\sum_{i=1}^{n} (TE_i - TS_i)}{n}

其中:TS_i为作业开始时刻,TE_i为作业结束时刻。

平均吞吐量(公式3):

tp = \frac{\sum_{i=1}^{n} (W_i / Tt_i)}{n}

其中:W_i为第i次观察时间内完成的作业数量,Tt_i为第i次观察的时间周期。

资源利用性

处理器平均占用率(公式4):

OC = \frac{\sum_{i=1}^{n} (Tw_i / TW_i)}{n}

其中:Tw_i为处理器执行给定任务所用时间,TW_i为运行时间。

内存平均占用率(公式5):

OD = \frac{\sum_{i=1}^{n} (R_i / RW_i)}{n}

其中:R_i为执行给定任务所占用的实际内存大小,RW_i为可用内存大小。

3、正确性

正确性衡量算法代码、功能等方面开发设计的正确程度。

功能完备性(公式6):

F = 1 - \frac{F_m}{F_W}

其中:F_m为缺少的功能数量,F_W为指定的功能数量。功能覆盖率越高,算法对需求规格的覆盖越完整。

功能正确性(公式7):

FR = 1 - \frac{F_E}{F_W}

其中:F_E为功能不正确的数量,F_W为考虑的功能数量。

4、兼容性

兼容性衡量算法在相同软硬件环境下与其他产品/系统交换信息或执行所需功能的能力。

共存性(公式8):

CO = \frac{C_m}{C_N}

其中:C_m为可与该算法共存的其他产品数量,C_N为需要共存的产品数量。

硬件兼容性(公式9):

C = \frac{C_{device}}{C_{CN}}

其中:C_device为可兼容的计算处理器数量,C_CN为需要兼容的计算处理器数量。

5、可解释性

可解释性是深度学习算法评估中最具挑战性的质量特性之一,衡量算法对决策结果的解释和理解能力。

解释一致性——异众比率(公式10):

v_r = \frac{\sum f_i - f_n}{\sum f_i}

其中:∑f_i为变量值的总频数,f_n为众数组的频数,n为数组数量。异众比率越小,说明算法决策结果与可解释性方法输出结果的一致性越高。

解释有效性——判定系数R²(公式11):

R^2 = 1 - \frac{\sum_{i=1}^{n} (y_i - \hat{y}_i)^2}{\sum_{i=1}^{n} (y_i - \bar{y})^2}

R²值越接近1,回归拟合效果越好,一般认为超过80%的模型拟合度比较高。

解释因果性——特征贡献分数(公式12):

f_{score} = \frac{\sum f_{topk}}{\sum f_i}

其中:∑f_{topk}为重要性靠前的前k个特征分数之和,∑f_i为全部特征分数和。

解释充分性——离散系数(公式13):

v_s = \frac{\sigma}{X}

其中:σ为数据的标准差,X为数据的平均数。离散系数越低,解释覆盖算法整体功能的充分性越高。

6、鲁棒性

鲁棒性衡量算法面对非对抗增广样本时保持与实验环境中测试性能相当的能力。需特别注意:鲁棒性与安全性评估的对象不同——鲁棒性面向自然扰动,安全性面向恶意对抗样本。

性能波动率(公式14):

PFD = \frac{|P_{original} - P_{perturbed}|}{|P_{original}|}

其中:P_original为原始测试数据集上的性能指标,P_perturbed为经过非对抗扰动后的新数据集上的性能指标。PFD越小,模型面对扰动时稳定性越高。

多扰动综合鲁棒性(公式15):

R = \sum_{i=1}^{N} w_i \times PFD_i

其中:w_i为第i种扰动的权重,N为扰动方法总数。

扰动稳定性(公式16-18):

PSD_\Phi = \min_{x \in X} [dist_\phi(x)]

扰动稳定性衡量模型在经历非对抗扰动后出现性能退化的样本与原始样本之间的最小距离。PSD越大,模型抵御扰动的能力越强。

7、安全性

安全性衡量算法对对抗样本的防范能力,是高风险场景评估的核心特性。

攻击成功率 ASR(公式19):

ASR = \frac{N_{adv}}{N_{all}}

其中:N_all为样本总数,N_adv为预测失败的样本数。ASR越小,模型抵抗对抗攻击的能力越强。

模型窃取程度 MSD(公式20):

MSD = \frac{\sum_{x \in D} \delta(x)}{|D|}

其中:δ(x)为指示函数——当代理模型预测与原始模型预测相同时为1,否则为0。MSD越大,代理模型与原始模型越相似,即模型越容易被窃取。

平均攻击查询次数:生成对抗样本所需的平均模型查询次数。越少意味着模型越容易被攻击。

攻击隐蔽性:对抗样本与原始样本之间的平均相似程度,指标包括均方误差、余弦相似度、L-P范数等。隐蔽性越高,攻击越有效。

8、公平性

公平性衡量算法面向不同群体时保持相同输出质量的能力,在信贷审批、人力资源、司法辅助等场景尤为关键。

敏感属性独立程度 SAID(公式21):

SAID = \max_{a,b \in A, l \in L} \left| \frac{count(\hat{Y}=l | A=a)}{count(A=a)} - \frac{count(\hat{Y}=l | A=b)}{count(A=b)} \right|

SAID越低,模型对不同群体的预测更一致,公平性越高。

模型决策分离程度 MDS(公式22):

衡量真实类别为特定值时,模型在不同敏感属性群体之间做出错误预测的概率的差异。

模型决策充分程度 MDSF(公式23):

衡量模型预测标签为特定值时,在不同敏感属性群体之间正确预测该标签的概率的差异。

二、评估等级体系:四级分级与等级目标

标准第5章定义了四级评估等级,对应算法失效的不同危险严重性:

等级

失效影响描述

等级目标

优越级

失效通常为小规模问题,不影响系统整体性能,可通过超参数优化、数据清洗等微调解决

外部环境发生扰动或不友好输入时,不依赖利益相关方管理配置,能按预期完成工作,不影响算法结果

进阶级

失效对系统性能有一定负面影响但不严重,可能需要数据增强、迁移学习、模型选择等方法

外部环境发生扰动或不友好输入时,通过利益相关方配置及管理,算法能按预期完成工作

条件级

失效对系统性能产生重大影响,可能导致项目失败,需要全面重新设计

在友好环境下按预期工作;扰动或不友好输入时,通过配置管理能按预期工作,不造成重大影响

受限级

失效可能对生命、财产或安全构成直接威胁,可能引发法律问题,需紧急审查和干预

友好环境下可工作;扰动或不友好输入时不能按预期工作,可能造成重大影响

等级判定方法:

评分表等级判定:同时考察算法评估总基准分值和每个质量特性的基准分值,达到对应级别须同时满足两者要求。

边界评估模型等级判定:根据原始数据集(基础性能、效率、正确性、兼容性、公平性、可解释性)和生成数据集(鲁棒性、安全性)下的算法完成情况,自适应绘制评估等级边界图,判定总分值所在等级区间。

三、评估流程:从准备到结论的完整闭环

标准第6章定义了完整的评估流程,分为黑盒评估和白盒评估两条路径,各包含四大步骤。

(一)评估准备阶段

步骤1:输入测试数据集及算法参数

黑盒评估输入:一个或多个测试数据集

白盒评估输入:测试数据集 + 算法测试参数/配置 + 测试约束条件

步骤2:测试数据集质量审查(6项审查)

审查维度

审查内容

完整性

评估数据是否存在缺失值、异常值或未标记的数据点

准确性

与数据采集、标注环节的实际情况进行比对验证,或通过领域专家评估

一致性

评估数据是否具备相同的格式

重复性

评估数据是否存在重复记录或冗余特征

偏差

评估数据是否存在数据分布和标签分布不均的情况

可用性

评估数据是否具备参考文档以及是否受法律或隐私限制

审查通过→进入质量特性选择;审查不通过→结束本次评估。

步骤3:深度学习框架/模型的漏洞检查(仅白盒评估)

框架漏洞检查包括:

模型构建及训练组件是否提供抑制训练流程模板(抑制隐私基类、抑制隐私监视器基类),降低模型逆向攻击风险

模型推理及部署组件是否具备模型安全测试组件(攻击模拟工具如成员推理攻击、信息安全评测指标如隐私泄露程度)

是否提供模型加密解密组件(部署前加密、训练时加密)

模型漏洞检查包括:

训练和测试数据集须满足 GB/T 35273-2020 和 GB/T 40660-2021 的所有要求

全生命周期中确保模型和数据的完整性(身份验证、权限控制)

全生命周期中确保模型和数据的可用性(差分隐私、联邦学习等隐私计算技术)

全生命周期中确保模型和数据的保密性(安全加密、可信执行环境等技术)

根据干预程度进行分类分级管理

保护用户操作记录等数据,防止泄密

步骤4:选择质量特性和评估指标

黑盒评估可选:基础性能、效率、正确性、兼容性等

白盒评估:8个质量特性全部适用,根据评估需求选择

不同任务类型选取不同评估指标(附录A.2给出推荐选取方案)

步骤5:构建评估模型

评估模型由指标参数体系和指标权重体系构成:

第i个质量特性项权重为X_i%,含p_i个评估指标项

第i个质量特性项的第j个评估指标项权重为Y_ij%,含q_ij个评估指标子项

若有更多层级,依次类推(Z_ijk%等)

约束条件:ΣX_i = 1,ΣY_ij = 1,ΣZ_ijk = 1

(二)评估执行阶段

推理阶段的执行

运行一次评估任务包括三个部分:

测试环境部署:硬件(服务器)搭建、软件(操作系统、数据库)搭建、兼容性测试、网络环境部署

被测算法加载:读取或解析被测算法文件(程序包或数据包)

被测算法测试执行:使用选定数据集运行算法文件

评估指标的获取和计算

测试数据集与质量特性及评估指标的关联关系:

测试数据集输出(样本+标签)→ 数据集质量评估、算法结果预测、非对抗样本生成、对抗样本生成

原始数据集输出(样本+预测值)→ 基础性能、效率、正确性、兼容性、公平性、可解释性

非对抗样本生成输出(增广样本+标签)→ 鲁棒性

对抗样本生成输出(对抗样本)→ 安全性

(三)分析评估阶段

分值计算(公式24-25)

最终评估得分(公式24):

T_{total} = \sum_{i=1}^{M} [X_i \times \sum_{j=1}^{N} (Y_{ij} \times S_{ij})] \times 100\%

其中:

M为质量特性项总项数

N为第i个质量特性项的评估指标项总项数

X_i为第i个质量特性项的权重值

Y_ij为第i个质量特性项的第j个评估指标项的权重值

S_ij为第i个质量特性项的第j个评估指标项的得分

指标项得分计算(公式25):

S_{ij} = \sum_{k=1}^{P} (Z_{ijk} \times S_{ijk}) \times 100\%

对于有二级、三级、四级等评估指标子项体系的得分计算方式,依次往下类推。

等级判定

见上文"五、评估等级体系"中的两种判定方法。

(四)评估结论阶段

编制评估报告,应包括:

被测深度学习算法的说明

测试数据集的说明

评估总体结论

各质量特性详细评估结果

四、阈值设定方法论

标准附录A提供了三种阈值设定方法,适用于不同情境:

1、基于历史数据的统计分析

通过收集和分析历史数据,了解各指标的分布情况和变化趋势,基于均值和标准差确定阈值。适用于数据充足且分布规律的指标。

示例:网站访问量的阈值可基于过去一年的平均值和标准差,根据正态分布性质确定,超过阈值的访问量视为异常。

2、基于专家意见的主观判断

当数据缺乏或分布不规律时,依靠领域内专家经验和知识,通过讨论和协商确定阈值。

示例:医学领域中确定某指标的正常范围,可根据医生的专业知识和经验,以及患者的年龄、性别、病史等因素判断。

3、基于业务需求的目标设定

根据特定目标(提高生产效率、降低成本、增加收益等)来设定阈值。

示例:生产过程中根据业务需求设定阈值约束产品质量,偏差时及时调整生产流程。

标准附录A表A.1给出了不同类型深度学习算法在四个评估等级下的阈值设定示例,为实践提供直接参考。

五、权重计算方法论

标准附录B提供了两种客观权重计算方法:

1、熵权法-TOPSIS模型

适用场景:当有多组测试数据集可进行多轮测试时,利用数据自身的信息熵客观赋权。

计算步骤:

计算评估指标在质量特性中的比值(构建比重矩阵P)

计算各项指标的熵值e_j

计算信息冗余度d_j = 1 - e_j

确定权重w_j = d_j / Σd_j

对原始数据进行归一化处理

构造加权矩阵Z

寻找最优方案z_j+和最劣方案z_j-

计算各个样本与最优方案距离D_i+和最劣方案距离D_i-

构造相对接近度C_i = D_i- / (D_i+ + D_i-)

根据相对接近度排序

信息来源: GB/T 45225-2025 附录B第B.1条

2、 CRITIC法

适用场景:需要同时考虑指标变异性和指标间冲突性的客观赋权场景。

计算步骤:

无量纲化处理(正向化处理,消除量纲影响)

指标变异性计算(标准差方法,权重正比于标准差)

指标冲突性计算(相关系数表示,R_j = Σ(1 - r_ij),相关系数越高冲突性越小权重越低)

信息量计算(C_j = S_j × R_j,标准差与冲突性的乘积)

确定客观权重(w_j = C_j / ΣC_j)

如需人工智能检测工具部署方案、人工智能领域CNAS认可成功案例等资料,可私信道普云获取。

六、实操建议:如何落地建立评估指标体系

基于标准内容,结合工程实践,提出以下落地步骤:

Step 1:明确评估对象与场景

确定被评估算法的任务类型(分类/检测/识别/回归等)

确定应用场景及风险等级(高风险场景须增加安全性、公平性评估)

确定评估路径(黑盒/白盒)

Step 2:选取质量特性与评估指标

黑盒评估至少覆盖基础性能 + 效率 + 正确性 + 兼容性

白盒评估按需覆盖8大质量特性

参考附录A.2按任务类型选取基础性能指标

高风险场景(自动驾驶、医疗、金融)务必增加鲁棒性、安全性、公平性

Step 3:准备测试数据集

按照标准6项审查维度(完整性、准确性、一致性、重复性、偏差、可用性)进行质量审查

审查不通过则终止评估,不可跳过

Step 4:设定阈值

数据充足的指标:采用历史数据统计分析法

数据缺乏的指标:采用专家意见法

有明确业务目标的指标:采用目标设定法

参考附录A表A.1的推荐阈值

Step 5:确定权重

有多组测试数据:采用熵权法-TOPSIS模型或CRITIC法

数据不足或需业务侧重:采用专家打分法

确保ΣX_i = 1的约束条件

Step 6:构建评估模型

按照公式24-25的分值计算规则构建评估模型

明确各层级权重和得分计算方式

正向指标得分 = 测试结果 × 100;反向指标得分 = (1 - 测试结果) × 100

Step 7:执行评估

部署测试环境、加载被测算法、执行推理

白盒评估须先完成框架和模型漏洞检查

Step 8:分析评估与等级判定

计算各指标得分和总评估得分

选择评分表等级判定或边界评估模型等级判定

确定最终评估等级

Step 9:编制评估报告

包含算法说明、数据集说明、总体结论、各质量特性详细结果

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、GB/T 45225-2025评估指标体系总览:八大质量特性
    • 八大质量特性详解与指标计算方法
    • 1、基础性能
    • 2、效率
    • 3、正确性
    • 4、兼容性
    • 5、可解释性
    • 6、鲁棒性
    • 7、安全性
    • 8、公平性
  • 二、评估等级体系:四级分级与等级目标
    • 三、评估流程:从准备到结论的完整闭环
      • (一)评估准备阶段
      • (二)评估执行阶段
      • (三)分析评估阶段
      • (四)评估结论阶段
    • 四、阈值设定方法论
      • 1、基于历史数据的统计分析
      • 2、基于专家意见的主观判断
      • 3、基于业务需求的目标设定
      • 五、权重计算方法论
      • 1、熵权法-TOPSIS模型
      • 2、 CRITIC法
    • 六、实操建议:如何落地建立评估指标体系
      • Step 1:明确评估对象与场景
      • Step 2:选取质量特性与评估指标
      • Step 3:准备测试数据集
      • Step 4:设定阈值
      • Step 5:确定权重
      • Step 6:构建评估模型
      • Step 7:执行评估
      • Step 9:编制评估报告
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档