Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >一文看懂机器学习指标(二)

一文看懂机器学习指标(二)

作者头像
木野归郎
发布于 2022-02-25 02:13:04
发布于 2022-02-25 02:13:04
2630
举报
文章被收录于专栏:share ai happinessshare ai happiness

大家好,我是小轩

上一篇文章末尾说过几天写一篇多标签分类评价指标

后台已经有人催更了

现在它来了

这几天跑的模型是以论文摘要,说的再详细一些就是对摘要进行标记,然后用标记后的数据在模型中训练

下面我们多标签分类进行介绍,可能有的说的不是特别精确,但可以参考理解其意思,仅供大家选择和学习

有的同学问单标签和多标签有什么区别?

多标签就是有多个维度进行判断,单标签分类只有两个类别:高兴或不高兴。

如下图,论文摘要通过两个模型对四个维度进行训练,通过最后的训练指标可以看出哪个模型泛化能力更好

如果不了解单标签分类和什么是混淆矩阵的话,请看前面那篇文章《一文看懂机器学习指标(一)》

在多标签场景下,需要对每个维度进行计算得到混淆矩阵

下面两张图片说明一下不同维度的混淆矩阵计算

一共有四个维度,就假设第一张是兴趣,第二张是地理位置

Note:这里以0.5做正负划分

图 1 兴趣

图 2 地理位置

上面是两个维度的混淆矩阵,另外两个也一样,求混淆矩阵的方法都是一样的,这里就不展示了

多标签分类指标将F1分为F1 Micro和F1 Macro

  • F1 Macro考虑了标签之间的差异
  • F1 Micro不考虑标签之间的差异

什么意思?

上面可以通过四个混淆矩阵计算四个维度的精确率和召回率,就可以得到四组精确率和四组召回率

针对每一个维度 ,比如说第一个维度计算出来的精确率和召回率,可以得到F1 Macro值,同样计算其它三个维度的F1 Macro值,然后计算四个F1 Macro的平均数

将四个维度的混淆矩阵的TP、FP、FN、TN对应相加,得到一个混淆矩阵,然后计算精确率和召回率,最后计算得到F1 Micro值

有什么问题可以后台留言

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-11-18,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 OnlyCoding 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
一文看懂机器学习指标(一)
这几天在训练一个模型,模型结果中涉及到一些参数,不太理解什么意思,就差了一些资料
木野归郎
2022/02/25
4550
一文看懂机器学习指标(一)
​分类问题的评估指标一览
最近分类问题搞的有点多,但对一些指标依旧有模糊的地方(虽然做了笔记), 事实证明, 笔记笔记,没有进到脑子里呀。因此,我想着肯定有跟我一样半生半熟的小伙伴在分类指标这块依旧有迷惑,毕竟常用的几个大多数情况下就够用了, 这篇文章就主要讲一讲分类的评估指标。
用户3578099
2020/09/10
7450
​分类问题的评估指标一览
深度学习的 Hello World : 一文读懂什么是 MNIST 的经典入门
如果你刚刚接触深度学习,或者正准备踏入这片神奇的领域,那么你肯定听过 MNIST 数据集。这是深度学习的“入门级”经典教程,就像“Hello World”一样,是你理解机器学习和神经网络如何工作的起点。
不惑
2025/01/18
2.8K0
深度学习的 Hello World : 一文读懂什么是 MNIST 的经典入门
精确度 召回率 f1_score多大了
分类是机器学习中比较常见的任务,对于分类任务常见的评价指标有准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1 score、ROC曲线(Receiver Operating Characteristic Curve)等。 这篇文章将结合sklearn对准确率、精确率、召回率、F1 score进行讲解,ROC曲线可以参考我的这篇文章: sklearn ROC曲线使用。
全栈程序员站长
2022/11/04
1.1K0
精确度 召回率 f1_score多大了
准确率、精确率、召回率、F1-score
分类是机器学习中比较常见的任务,对于分类任务常见的评价指标有准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1 score、ROC曲线(Receiver Operating Characteristic Curve)等
mathor
2020/03/02
9.5K0
多类别问题的绩效衡量:F1-score 和广义AUC
对于分类问题,通常根据与分类器关联的混淆矩阵来定义分类器性能。根据混淆矩阵 ,可以计算灵敏度(召回率),特异性和精度。
拓端
2022/03/05
1.2K0
多类别问题的绩效衡量:F1-score 和广义AUC
【干货】7种最常用的机器学习算法衡量指标
【导读】你可能在你的机器学习研究或项目中使用分类精度、均方误差这些方法衡量模型的性能。当然,在进行实验的时候,一种或两种衡量指标并不能说明一个模型的好坏,因此我们需要了解常用的几种机器学习算法衡量指标
WZEARW
2018/04/16
3.9K0
【干货】7种最常用的机器学习算法衡量指标
R语言中的多类别问题的绩效衡量:F1-score 和广义AUC
对于分类问题,通常根据与分类器关联的混淆矩阵来定义分类器性能。根据混淆矩阵 ,可以计算灵敏度(召回率),特异性和精度。
拓端
2020/08/10
3K0
机器学习小白看过来,带你全面了解分类器评价指标
AI 研习社按:为你的分类器选择正确的评价指标十分关键。如果选不好,你可能会陷入这样的困境:你认为自己的模型性能良好,但实际上并非如此。
AI研习社
2018/07/26
5600
机器学习小白看过来,带你全面了解分类器评价指标
机器学习模型评估指标
实际应用中,评估指标依具体问题灵活使用,在选择模型和调整参数过程中选择正确的指标十分重要。模型评估目标应以业务目标为导向,选择最合适的评估指标。
aiplus
2021/11/04
2.5K0
【干货】不止准确率:为分类任务选择正确的机器学习度量指标(附代码实现)
【导读】本文是数据科学研究者William Koehrsen撰写的技术博文,介绍了在分类模型中需要用到的度量标准。我们知道,准确率是我们在分类任务中最常用到的度量指标,但是单纯的准确率并不能说明模型的
WZEARW
2018/04/08
2.2K0
【干货】不止准确率:为分类任务选择正确的机器学习度量指标(附代码实现)
《机器学习》-- 第二章:模型评估与选择
(1) 误差:学习器的实际预测输出与样本的真实输出之间的差异;其中学习器在训练集上的误差称为”训练误差“(training error),在新样本上的误差称为”泛化误差“(generalization error)。值得一提的是,学习器就是在训练集上训练出来的,但实际上在回到训练集上对样本预测结果时,仍有误差。(即结果值与标记值不同)
fireWang
2019/07/31
9720
一文弄懂pytorch搭建网络流程+多分类评价指标
讲在前面,本来想通过一个简单的多层感知机实验一下不同的优化方法的,结果写着写着就先研究起评价指标来了,之前也写过一篇:https://www.cnblogs.com/xiximayou/p/13700934.html 与上篇不同的是,这次我们新加了一些相关的实现,接下来我们慢慢来看。
西西嘛呦
2021/05/18
1.6K0
一文弄懂pytorch搭建网络流程+多分类评价指标
算法金 | 一文彻底理解机器学习 ROC-AUC 指标
在机器学习和数据科学的江湖中,评估模型的好坏是非常关键的一环。而 ROC(Receiver Operating Characteristic)曲线和 AUC(Area Under Curve)正是评估分类模型性能的重要工具。
算法金
2024/06/11
1.5K0
算法金 | 一文彻底理解机器学习 ROC-AUC 指标
机器学习 - 混淆矩阵:技术与实战全方位解析
机器学习和数据科学中一个经常被忽视,但至关重要的概念是模型评估。你可能已经建立了一个非常先进的模型,但如果没有合适的评估机制,你就无法了解模型的效能和局限性。这就是混淆矩阵(Confusion Matrix)派上用场的地方。
TechLead
2023/10/21
3K0
机器学习 - 混淆矩阵:技术与实战全方位解析
入门 | 机器学习模型的衡量不止准确率:还有精度和召回率
选自Medium 作者:William Koehrsen 机器之心编译 参与:Nurhachu Null、刘晓坤 我们倾向于使用准确率,是因为熟悉它的定义,而不是因为它是评估模型的最佳工具!精度(查准率)和召回率(查全率)等指标对衡量机器学习的模型性能是非常基本的,特别是在不平衡分布数据集的案例中,在周志华教授的「西瓜书」中就特别详细地介绍了这些概念。 GitHub 地址:https://github.com/WillKoehrsen/Data-Analysis/blob/master/recall_pre
机器之心
2018/05/09
1.2K0
入门 | 机器学习模型的衡量不止准确率:还有精度和召回率
超强,必会的机器学习评估指标
构建机器学习模型的关键步骤是检查其性能,这是通过使用验证指标来完成的。 选择正确的验证指标就像选择一副水晶球:它使我们能够以清晰的视野看到模型的性能。 在本指南中,我们将探讨分类和回归的基本指标和有效评估模型的知识。 学习何时使用每个指标、优点和缺点以及如何在 Python 中实现它们。
算法金
2024/06/28
2830
超强,必会的机器学习评估指标
【机器学习 | 分类指标大全】全面解析分类评估指标:从准确率到AUC,多分类问题也不在话下, 确定不来看看?
🙋‍♂️声明:本人目前大学就读于大二,研究兴趣方向人工智能&硬件(虽然硬件还没开始玩,但一直很感兴趣!希望大佬带带)
计算机魔术师
2023/09/24
1.1K0
【机器学习】一文读懂分类算法常用评价指标
评价指标是针对将相同的数据,输入不同的算法模型,或者输入不同参数的同一种算法模型,而给出这个算法或者参数好坏的定量指标。
10JQKA
2019/08/29
4.4K0
【机器学习】第六部分:模型评估
错误率和精度是分类问题中常用的性能度量指标,既适用于二分类任务,也适用于多分类任务.
杨丝儿
2022/02/18
1.1K0
【机器学习】第六部分:模型评估
推荐阅读
相关推荐
一文看懂机器学习指标(一)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档