Loading [MathJax]/jax/output/CommonHTML/jax.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >模型评价基础

模型评价基础

作者头像
爱编程的小明
发布于 2022-09-05 09:36:41
发布于 2022-09-05 09:36:41
1.1K0
举报
文章被收录于专栏:小明的博客小明的博客

机器学习训练模型用的数据集和测试数据用的训练集互斥,往往通过测试集的测试误差来近似模型的泛化能力,根据模型的泛化能力评价模型的优劣。 误差是学习器的实际预测输出与样本的真实输出之间的差异。 训练误差,或称经验误差,是学习器在训练集上的误差。 学习器在在新样本上的误差,称为泛化误差。 模型评价主要是根据训练误差和泛化误差,来选择最优的模型及其参数的过程。

回归模型评价方法

6个评价指标:

  • 平均绝对误差:所有样本实际值与预测值差值绝对值和的平均值
  • 均方差((Mean Squared Error,MSE):实际值与预测值差的平方的和的平均值
  • 解释回归模型的方差得分(Explained Variance Score):
  • r2_score判定系数,或称拟合优度、决定系数。即我们平时所说的

分类模型

对分类模型评价,一般是将样本的预测类别与真实类标签对比,统计同一类别样本被正确划分到该类别的概率,以及错误地划分为其它类别的概率。或者统计划分为某个类别的样本中,真实属于该类别与错误地被划分到该类别的概率。

  • 混淆矩阵
  • 分类准确率
  • 召回率
  • F1分数
  • ROC曲线
  • 交叉验证
    • 随机子抽样验证
    • K折交叉验证
    • 留一交叉验证

聚类模型

  • 兰德系数
  • 互信息AMI
  • V-measure评分
  • FMI评价
  • 轮廓系数
  • calinski_harabaz指数
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022-03-14,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
【机器学习 | 聚类】关于聚类最全评价方法大全,确定不收藏?
【深度学习 | 核心概念】那些深度学习路上必经的核心概念,确定不来看看? (一) 作者: 计算机魔术师 版本: 1.0 ( 2023.8.27 )
计算机魔术师
2023/11/27
1.8K0
【机器学习 | 聚类】关于聚类最全评价方法大全,确定不收藏?
聚类模型评价(python实现)
评价指标分为外部指标和内部指标两种,外部指标指评价过程中需要借助数据真实情况进行对比分析的指标,内部指标指不需要其他数据就可进行评估的指标。下表中列出了几个常用评价指标的相关情况:
三猫
2019/08/23
6.1K0
聚类模型评价(python实现)
聚类︱python实现 六大 分群质量评估指标(兰德系数、互信息、轮廓系数)
本文介绍了聚类分析中的轮廓系数、调整兰德指数、互信息、同质性、完整性、V-measure、Fowlkes-Mallows 分数、Silhouette Coefficient、Calinski-Harabasz Index等指标,以及这些指标如何用于评估聚类分析结果。
悟乙己
2018/01/02
11.3K0
聚类︱python实现 六大 分群质量评估指标(兰德系数、互信息、轮廓系数)
评估方法详解
模型评价是指对于已经建立的一个或多个模型,根据其模型的类别,使用不同的指标评价其性能优劣的过程。常用的聚类模型评价指标有ARI评价法(兰德系数)、AMI评价法(互信息)、V-measure评分、FMI评价法和轮廓系数等。常用的分类模型评价指标有准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1值(F1 Value)、ROC和AUC等。常用的回归模型评价指标有平均绝对误差、均方根误差、中值绝对误差和可解释方差值等。
zeekling
2022/06/17
7810
评估方法详解
图解机器学习 | 模型评估方法与准则
教程地址:http://www.showmeai.tech/tutorials/34
ShowMeAI
2022/03/10
1.8K0
图解机器学习 | 模型评估方法与准则
深度研究:回归模型评价指标R2_score
回归模型的性能的评价指标主要有:RMSE(平方根误差)、MAE(平均绝对误差)、MSE(平均平方误差)、R2_score。但是当量纲不同时,RMSE、MAE、MSE难以衡量模型效果好坏。这就需要用到R2_score,实际使用时,会遇到许多问题,今天我们深度研究一下。
Ai学习的老章
2019/12/12
10.8K0
深度研究:回归模型评价指标R2_score
机器学习算法常用指标总结
准确度是衡量模型性能的最基本指标。它的定义非常简单,就是模型预测正确的次数占总预测次数的比例。准确度的计算公式是:
zhangjiqun
2024/12/14
3370
机器学习算法常用指标总结
9,模型的评估
在sklearn.metrics模块针对不同的问题类型提供了各种评估指标并且可以创建用户自定义的评估指标,
lyhue1991
2020/07/17
7400
深度 | 机器学习中的模型评价、模型选择及算法选择
作者:Sebastian Raschka 翻译:reason_W 编辑:周翔 简介 正确使用模型评估、模型选择和算法选择技术无论是对机器学习学术研究还是工业场景应用都至关重要。本文将对这三个任务的相关技术进行回顾,并就每种技术的理论和实证研究的主要优缺点进行讨论。文章还将就机器学习算法中的超参数调优给出尽可能的建议,用以实现最佳的算法效果。文中内容涉及很多常用方法,比如模型评估和选择中的Holdout方法等;介绍了bootstrap技术的不同变体,通过正态逼近得到置信区间来衡量性能估计(performa
AI科技大本营
2018/04/26
2.6K0
深度 | 机器学习中的模型评价、模型选择及算法选择
深度学习500问——Chapter02:机器学习基础(3)
2. 投影思想:找出最能够代表原始数据的投影方法。被PCA降掉的那些维度只能是那些噪声或是冗余的数据。
JOYCE_Leo16
2024/03/19
1790
深度学习500问——Chapter02:机器学习基础(3)
6个常用的聚类评价指标
评估聚类结果的有效性,即聚类评估或验证,对于聚类应用程序的成功至关重要。它可以确保聚类算法在数据中识别出有意义的聚类,还可以用来确定哪种聚类算法最适合特定的数据集和任务,并调优这些算法的超参数(例如k-means中的聚类数量,或DBSCAN中的密度参数)。
deephub
2023/11/24
1.9K0
6个常用的聚类评价指标
《机器学习》学习笔记(二)——模型评估与选择
错误率(error rate):分类错误的样本占样本总数的比例 精度(accuracy):1 - 错误率误差(error):学习器的实际预测输出与样本的真实输出之间的差异 错误率和精度相反 (错误率+精度=1) 训练误差(training error)(即经验误差(empirical error)):学习器在训练集上的误差 泛化误差(generalization error):在新样本(即测试样本)上的误差
荣仔_最靓的仔
2021/02/02
2.4K0
《机器学习》学习笔记(二)——模型评估与选择
机器学习模型评估的方法总结(回归、分类模型的评估)
这也是线性回归中最常用的损失函数,线性回归过程中尽量让该损失函数最小。那么模型之间的对比也可以用它来比较。 MSE可以评价数据的变化程度,MSE的值越小,说明预测模型描述实验数据具有更好的精确度。
全栈程序员站长
2022/11/08
3.1K0
机器学习模型评估的方法总结(回归、分类模型的评估)
[Python人工智能] 六.神经网络的评价指标、特征标准化和特征选择
从本系列文章开始,作者正式开始研究Python深度学习、神经网络及人工智能相关知识。前五篇文章讲解了神经网络基础概念、Theano库的安装过程及基础用法、theano实现回归神经网络、theano实现分类神经网络、theano正规化处理,这篇文章讲解神经网络的评价指标、特征标准化和特征选择,均是基础性知识。主要是学习"莫烦大神" 网易云视频的在线笔记,后面随着深入会讲解具体的项目及应用。基础性文章和在线笔记,希望对您有所帮助,本系列作者采用一篇基础一篇代码的形式讲解,也建议大家一步步跟着学习,同时文章中存在错误或不足之处,还请海涵~
Ai学习的老章
2019/04/08
3.5K0
[Python人工智能] 六.神经网络的评价指标、特征标准化和特征选择
TensorFlow系列专题(二):机器学习基础
数据预处理的方式较多,针对不同类型的数据,预处理的方式和内容也不尽相同,这里我们简单介绍几种较为常用的方式:
磐创AI
2018/11/30
7480
TensorFlow系列专题(二):机器学习基础
【机器学习】模型选择的一些基本思想和方法
作者:高涛 编辑:王小宁 0. 引言 有监督学习是日常使用最多的建模范式,它有许多更具体的名字,比如预测模型、回归模型、分类模型或者分类器。这些名字或来源统计,或来源于机器学习。关于统计学习与机器学习的区别已经有不少讨论,不少人认为机器学习侧重于目标预测,而统计学习侧重于机制理解和建模。个人更加直观的理解是,统计学习侧重于从概率分布来描述数据生成机制,除了预测之外,还关心结果(参数假设、误差分布假设)的检验,而机器学习侧重于从函数拟合角度来描述数据生成机制,基本目的就是为了拟合和预测,缺乏严谨的参数、误差
陆勤_数据人网
2018/02/27
4.6K0
【机器学习】模型选择的一些基本思想和方法
模型评估:评价指标-附sklearn API
主要有分类(classification)、回归(regression)、排序(ranking)、聚类(clustering)、热门主题模型(topic modeling)、推荐(recommendation)等。
百川AI
2021/10/19
2.4K0
【Scikit-Learn 中文文档】聚类 - 无监督学习 - 用户指南 | ApacheCN
2.3. 聚类 未标记的数据的 Clustering(聚类) 可以使用模块 sklearn.cluster 来实现。 每个 clustering algorithm (聚类算法)有两个变体: 一个是 class, 它实现了 fit 方法来学习 train data(训练数据)的 clusters(聚类),还有一个 function(函数),是给定 train data(训练数据),返回与不同 clusters(聚类)对应的整数标签 array(数组)。对于 class(类),training dat
片刻
2018/01/15
5.6K0
【Scikit-Learn 中文文档】聚类 - 无监督学习 - 用户指南 | ApacheCN
Scikit-learn从入门到放弃
Scikit-learn(也称sklearn)是基于Python编程语言的机器学习工具,是简单高效的数据挖掘和数据分析工具,它建立在NumPy、SciPy和matplotlib等库的基础上,可在各种环境中重复使用。其基本功能主要被分为六大部分:分类、回归、聚类、数据降维、模型选择以及数据预处理。
愷龍
2024/08/19
2790
Scikit-learn从入门到放弃
回归评价指标---MSE、RMSE、MAE、R-Squared
MSE和MAE适用于误差相对明显的时候,大的误差也有比较高的权重,RMSE则是针对误差不是很明显的时候;MAE是一个线性的指标,所有个体差异在平均值上均等加权,所以它更加凸显出异常值,相比MSE;
自学气象人
2023/06/21
1.8K0
回归评价指标---MSE、RMSE、MAE、R-Squared
推荐阅读
相关推荐
【机器学习 | 聚类】关于聚类最全评价方法大全,确定不收藏?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档