首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >机器学习第13天:模型性能评估指标

机器学习第13天:模型性能评估指标

作者头像
Nowl
发布于 2024-01-18 11:59:28
发布于 2024-01-18 11:59:28
29100
代码可运行
举报
文章被收录于专栏:NowlNowl_AINowlNowl_AI
运行总次数:0
代码可运行

交叉验证

保留交叉验证

介绍

将数据集划分为两部分,训练集与测试集,这也是简单任务中常用的方法,其实没有很好地体现交叉验证的思想

使用代码

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# 导入库
from sklearn.model_selection import train_test_split


# 划分训练集与测试集,参数分别为总数据集,测试集的比例
train, test = train_test_split(data, test_size=0.2)

k-折交叉验证

介绍

将数据集划分为k个子集,每次采用k-1个子集作为训练集,剩下的一个作为测试集,然后再重新选择,使每一个子集都做一次测试集,所以整个过程总共训练k次,得到k组结果,最后将这k组结果取平均,得到最终结果,这就是交叉验证的思想

使用代码

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# 导入库
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score


# 设置K值,这里假设K=5
k_fold = KFold(n_splits=5, shuffle=True, random_state=42)

# 初始化模型,这里以随机森林为例
model = RandomForestClassifier()

# 使用K折交叉验证
scores = cross_val_score(model, X, y, cv=k_fold)

留一交叉验证

介绍

与k折验证思想一致,只是子集的数量和数据集的大小一样,往往在数据集较小的时候使用这种方法

混淆矩阵

介绍

在分类任务中,我们可以用混淆矩阵来判断模型的性能,混淆矩阵记录了A类被分为B类的次数,以下是一个动物识别任务的混淆矩阵,要知道cat被预测成了几次dog,那么就查看混淆矩阵的第1行第2列

使用代码

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# 导入库
from sklearn.metrics import confusion_matrix


# 打印混淆矩阵,参数为真实结果与预测结果
print(confusion_matrix(y, y_pred))

精度与召回率

介绍

要解释精度与召回率,我们先定义几个量

TP:模型预测为正且真实值为正的数量 FP:模型预测为正且真实值为负的数量 FN:模型预测为负且真实值为正的数量

精度

精度就是模型正确预测的正类在所有预测为正类中的比例

召回率

召回率就是模型正确预测的正类在所有正类中的比例

区别

可能还是有点混淆?其实精度高就是宁愿不预测,也不愿意预测错,召回率高就是宁愿预测错,也不愿意遗漏正类,我们具体来看两个场景

在地震预测中,我们是要提高召回率还是精度?显而易见,召回率,因为我们宁愿预测器错误地提醒我们,也不愿意当地震来临时它不报警

那么在食品检测中呢?当然要提高精度,因为我们宁愿健康的食品被误判为不合格,也不愿意有不合格的食品进入市场

召回率与精度两个指标不可兼得,我们要根据具体任务做出取舍

使用代码

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# 导入库
from sklearn.metrics import precision_score, recall_score


# 使用精度评估函数,参数是真实结果与预测结果
print(precision_score(y, y_pred))

# 使用召回率评估函数,参数是真实结果与预测结果
print(recall_score(y, y_pred))

偏差与方差

介绍

偏差衡量一个模型预测结果和真实值的差距,偏差高往往代表模型欠拟合

方差衡量模型在不同数据集上预测的差异,方差高往往代表模型过拟合

区别

具有高偏差的模型对训练数据和新数据的表现都较差,因为它们未能捕捉到数据的复杂性。

具有高方差的模型在训练数据上可能表现得很好,但对新数据的泛化能力差,因为它们过于依赖于训练数据的细节。

结语

机器学习模型性能测量对于评估模型的质量、选择最佳模型、调整模型超参数以及在实际应用中预测新数据都具有重要意义。

  1. 评估模型质量: 通过性能测量,你可以了解模型在训练数据上的表现如何。这有助于判断模型是否足够复杂以捕捉数据中的模式,同时又不过度拟合训练数据。
  2. 选择最佳模型: 在比较不同模型时,性能测量是选择最佳模型的关键因素。你可以通过比较模型在相同任务上的性能指标来确定哪个模型更适合你的问题。
  3. 调整模型超参数: 通过观察模型在不同超参数设置下的性能,你可以调整超参数以提高模型的性能。性能测量可以指导你在超参数搜索空间中寻找最佳设置。
  4. 评估泛化能力: 模型在训练数据上表现良好并不一定意味着它在新数据上也能表现良好。性能测量帮助你评估模型的泛化能力,即模型对未见过的数据的预测能力。
  5. 支持业务决策: 在实际应用中,模型的性能直接关系到业务的决策。例如,在医疗领域,一个精确的疾病预测模型可能影响患者的治疗计划。
  6. 改进模型: 通过分析性能测量的结果,你可以识别模型的弱点,并采取相应的措施来改进模型,例如增加训练数据、特征工程、选择更合适的模型等。
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2023-12-18,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
机器学习模型评估的方法总结(回归、分类模型的评估)
这也是线性回归中最常用的损失函数,线性回归过程中尽量让该损失函数最小。那么模型之间的对比也可以用它来比较。 MSE可以评价数据的变化程度,MSE的值越小,说明预测模型描述实验数据具有更好的精确度。
全栈程序员站长
2022/11/08
3.1K0
机器学习模型评估的方法总结(回归、分类模型的评估)
【机器学习】第六部分:模型评估
错误率和精度是分类问题中常用的性能度量指标,既适用于二分类任务,也适用于多分类任务.
杨丝儿
2022/02/18
1.2K0
【机器学习】第六部分:模型评估
你知道这11个重要的机器学习模型评估指标吗?
【磐创AI导读】:评估一个模型是建立一个有效的机器学习模型的核心部分,本文为大家介绍了一些机器学习模型评估指标,希望对大家有所帮助。想要获取更多的机器学习、深度学习资源,欢迎大家点击上方蓝字关注我们的公众号:磐创AI。
磐创AI
2019/08/23
3.9K0
【机器学习】--模型评估指标之混淆矩阵,ROC曲线和AUC面积
实际上非常简单,精确率是针对我们预测结果而言的,它表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了,一种就是把正类预测为正类(TP),另一种就是把负类预测为正类(FP),也就是
LhWorld哥陪你聊算法
2018/09/13
2.1K0
【机器学习】--模型评估指标之混淆矩阵,ROC曲线和AUC面积
超强,必会的机器学习评估指标
构建机器学习模型的关键步骤是检查其性能,这是通过使用验证指标来完成的。 选择正确的验证指标就像选择一副水晶球:它使我们能够以清晰的视野看到模型的性能。 在本指南中,我们将探讨分类和回归的基本指标和有效评估模型的知识。 学习何时使用每个指标、优点和缺点以及如何在 Python 中实现它们。
算法金
2024/06/28
4020
超强,必会的机器学习评估指标
深度学习实战-MNIST数据集的二分类
MNIST数据集是一组由美国高中生和人口调查局员工手写的70,000个数字的图片,每张图片上面有代表的数字标记。
皮大大
2023/08/25
9750
机器学习算法常用指标总结
准确度是衡量模型性能的最基本指标。它的定义非常简单,就是模型预测正确的次数占总预测次数的比例。准确度的计算公式是:
zhangjiqun
2024/12/14
3510
机器学习算法常用指标总结
机器学习项目流程及模型评估验证
我之前一直在做Udacity的P1项目——波士顿房价预测。这个项目让我收获最大的就是理清了机器学习解决问题的整体流程,搭起一个框架,学会了寻找模型的最优参数以及模型的评估和验证方法。 机器学习项目流
用户1332428
2018/03/08
1.1K0
机器学习项目流程及模型评估验证
机器学习模型效果评估
总第96篇 前言 前面的推文中介绍了几种常用的机器学习算法,每个算法都有各自的优劣势,我们应该选择根据每个算法的优劣势去合理的选择适合我们需求的算法,以此达到效果最优,那么什么样的效果才是最优的,用
张俊红
2018/04/11
2.1K0
机器学习模型效果评估
如何通过交叉验证改善你的训练数据集?
假设这样一种情况,你对一个样本不均匀的数据集做了一段时间的处理,在这期间你用其中一部分数据做试验,测试了n种机器学习方法,然后喜闻乐见的发现每次的准确率都高达95%。你觉得这95%的准确率真的是实至名归吗?
AI研习社
2019/10/08
5.1K0
如何通过交叉验证改善你的训练数据集?
重点!11个重要的机器学习模型评估指标
构建机器学习模型的想法应基于建设性的反馈原则。你可以构建模型,从指标得到反馈,不断改进,直到达到理想的准确度。评估指标能体现模型的运转情况。评估指标的一个重要作用在于能够区分众多模型的结果。
用户9861443
2022/09/01
2.1K0
重点!11个重要的机器学习模型评估指标
机器学习中分类任务的常用评估指标和python代码实现
混淆矩阵定义为(类x类)大小的矩阵,因此对于二进制分类,它是2x2,对于3类问题,它是3x3,依此类推。为简单起见,让我们考虑二元分类并了解矩阵的组成部分。
deephub
2021/03/10
1.7K0
机器学习中分类任务的常用评估指标和python代码实现
简单聊聊模型的性能评估标准
在机器学习领域中,对模型的评估非常重要,只有选择和问题相匹配的评估方法,才能快速发现算法模型或者训练过程的问题,迭代地对模型进行优化。
kbsc13
2019/08/16
1.3K0
机器学习 - 混淆矩阵:技术与实战全方位解析
机器学习和数据科学中一个经常被忽视,但至关重要的概念是模型评估。你可能已经建立了一个非常先进的模型,但如果没有合适的评估机制,你就无法了解模型的效能和局限性。这就是混淆矩阵(Confusion Matrix)派上用场的地方。
TechLead
2023/10/21
3.1K0
机器学习 - 混淆矩阵:技术与实战全方位解析
《Scikit-Learn与TensorFlow机器学习实用指南》 第3章 分类
第3章 分类 来源:ApacheCN《Sklearn 与 TensorFlow 机器学习实用指南》翻译项目 译者:@时间魔术师 校对:@Lisanaaa @飞龙 在第一章我们提到过最常用的监督学习任务是回归(用于预测某个值)和分类(预测某个类别)。在第二章我们探索了一个回归任务:预测房价。我们使用了多种算法,诸如线性回归,决策树,和随机森林(这个将会在后面的章节更详细地讨论)。现在我们将我们的注意力转到分类任务上。 MNIST 在本章当中,我们将会使用 MNIST 这个数据集,它有着 70000
ApacheCN_飞龙
2018/05/16
1.8K0
机器学习模型评估指标总结!
本文对机器学习模型评估指标进行了完整总结。机器学习的数据集一般被划分为训练集和测试集,训练集用于训练模型,测试集则用于评估模型。针对不同的机器学习问题(分类、排序、回归、序列预测等),评估指标决定了我们如何衡量模型的好坏。
Datawhale
2020/10/23
1.6K0
机器学习模型评估指标总结!
一文读懂分类模型评估指标
模型评估是深度学习和机器学习中非常重要的一部分,用于衡量模型的性能和效果。本文将逐步分解混淆矩阵,准确性,精度,召回率和F1分数。
deephub
2023/12/28
5580
一文读懂分类模型评估指标
使用Scikit-learn实现分类(MNIST)
这是我学习hands on ml with sklearn and tf 这本书做的笔记,这是第三章
用户7886150
2020/12/27
1.7K0
算法金 | 一文彻底理解机器学习 ROC-AUC 指标
在机器学习和数据科学的江湖中,评估模型的好坏是非常关键的一环。而 ROC(Receiver Operating Characteristic)曲线和 AUC(Area Under Curve)正是评估分类模型性能的重要工具。
算法金
2024/06/11
1.7K0
算法金 | 一文彻底理解机器学习 ROC-AUC 指标
R语言︱机器学习模型评价指标+(转)模型出错的四大原因及如何纠错
笔者寄语:机器学习中交叉验证的方式是主要的模型评价方法,交叉验证中用到了哪些指标呢?
悟乙己
2019/05/28
1.9K0
推荐阅读
相关推荐
机器学习模型评估的方法总结(回归、分类模型的评估)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档