AUC 的全称是 AreaUnderRoc 即 Roc 曲线与坐标轴形成的面积，取值范围 [0, 1].
解决一个机器学习问题都是从问题建模开始，首先需要收集问题的资料，深入理解问题，然后将问题抽象成机器可预测的问题。在这个过程中要明确业务指标和模型预测目标，根据预测目标选择适当指标用于模型评估。接着从原始数据中选择最相关的样本子集用于模型训练，并对样本子集划分训练集和测试集，应用交叉验证的方法对模型进行选择和评估。
LTR（Learning To Rank）学习排序是一种监督学习（SupervisedLearning）的排序方法，现已经广泛应用于信息索引，内容推荐，自然语言处理等多个领域。以推荐系统为例，推荐一般使用多个子策略，但哪个策略更好？每个策略选出多少候选集？每个候选集呈现的顺序如何排序？这些问题只能根据经验进行选择，随着策略越来越多，上述问题对推荐效果的影响会越来越大。于是乎，人们很自然的想到了用机器学习(Machine Learning)了解决上述问题，至此LTR就出世和大家见面了。发展到现在，LTR已经形成较为成熟的理论基础，并且可以解决数据稀疏、过拟合等多种问题，在实际应用中取得较好的效果。 做过LTR的人都知道AUC是机器学习中非常重要的评估指标，AUC的提升会带来线上点击率的提升，其值越高越好,最大值为1。那么AUC到底是个什么东东呢？为什么AUC的提升就一定会带来点击率的提升？本文就带大家一起了解下AUC的概念及其与线上点击率的关联。
AI科技评论按：本文为「范式大学系列课程」。Web服务器部署在云上已经算是常见的事情了，那么机器学习系统如何呢？ 亚马逊AWS目前的运维水平成为行业标准，但凡有公司要自己搭建 OpenStack，先要
b. 工作作息为11-11-6，中午11点上班，晚上11点下班，一周工作六天。但据师兄说包含午休两个小时，而且可以在晚11点前下班。
第一步；数据文件获取（1.导入数据 2.查询结构 3.更改结构 4.汇总变量信息）； 第二步；数据预处理（1.剔除缺失值2.变量转换与衍生 3.读出处理好的数据观察和可视化4.汇总变量类型）； 第三步；数据挖掘（1.逻辑回归 2. 决策树 3.随机森林 4.三种模型比较验证）； 第四步；展示与解读（1.描述统计分析 2.描述及模型解读）
在点击率预估中，AUC是最常用的评估指标，这一指标衡量的是任取一个正例和负例，正例的得分高于负例的概率。那么点击率预估中，正例和负例分别是什么呢？很显然，正例就是用户点击过的item，负例是用户没有点击的item。
在分类任务中，人们总是喜欢基于错误率来衡量分类器任务的成功程度。错误率指的是在所有测试样例中错分的样例比例。实际上，这样的度量错误掩盖了样例如何被分错的事实。在机器学习中，有一个普遍适用的称为混淆矩阵
同见博客：http://zhwhong.ml/2017/04/14/ROC-AUC-Precision-Recall-analysis/(对Latex公式支持更好) ---- 在分类任务中，人们总是喜欢基于错误率来衡量分类器任务的成功程度。错误率指的是在所有测试样例中错分的样例比例。实际上，这样的度量错误掩盖了样例如何被分错的事实。在机器学习中，有一个普遍适用的称为混淆矩阵(confusion matrix)的工具，它可以帮助人们更好地了解分类中的错误。 比如有这样一个在房子周围可能发现的动物类型的预测，这
嗨！大家好，我是一棵树，这是我第一次在解螺旋发文，还是蛮激动的。下面就开始吧！ 今天的主题是：ROC分析时一定要告诉R分析谁 用到的软件是：R语言 用到的R包是：pROC和ROCit
由于AUC关联的内容比较多，面试时问得也非常细，因此，我们将按照以下顺序对AUC进行重点介绍。
点击率(CTR，Click-Through Rate)以及派生的各种用户行为概率(如商品购买率、推荐好友接受率、短视频3s曝光率等)是广告、推荐、搜索等互联网应用中大家耳熟能详的词汇。以点击率为例，如何建立高效的CTR预估模型是领域从业者们的核心能力，也是头部企业长期重兵投入、持续优化的核心技术。
CTR问题我们有两种角度去理解，一种是分类的角度，即将点击和未点击作为两种类别。另一种是回归的角度，将点击和未点击作为回归的值。不管是分类问题还是回归问题，一般在预估的时候都是得到一个[0,1]之间的概率值，代表点击的可能性的大小。
导读：ROC三剑客这三篇文章由一年前的两篇文章和今天写的一篇文章组成，内容涵盖了 ROC 原理解析和计算、两个R包 plotROC 和 pROC 的使用教程。希望感兴趣的读者修此剑术，保家卫国~~你的剑，就是我的剑！
A：网上已经有很多的文章解释过这个问题，简单的说就是离线评估的 AUC 是评估请求与请求之间点击率的序，而在线评估的是广告与广告点击率的距，评估的角度就不一致，所以这种情况是有可能发生的。举一个极端的例子，假设人在 wifi 环境下更喜欢点广告，但无论是哪个广告更喜欢点的程度都是一样的，如果在离线环境下如果我们加入了是否在 wifi 环境下这个特征，我们就应该能得到更高的 AUC，而在线时，因为这个特征的影响对所有广告是一样的，其实无法提升我们的在线效果，因为 P(Ad_x|Wifi)=P(Ad_x)，所以不会提升。
ROC（Receiver Operating Characteristic）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣，对两者的简单介绍见这里。这篇博文简单介绍
在【r<-绘图|ROC】ROC的计算与绘制这篇文章中我讲了ROC曲线的本质以及如何计算和绘制ROC曲线。注意，我这里谈到的ROC并未曾涉及机器学习模型的拟合与预测，而是指存在一组真实的连续型数值数据设定阈值的不同对响应变量（二分类）的影响（真阳性率、假阳性率）。
ROC可以用于：（1）比较预测二分类响应变量的预测效果；（2）获取预测二分类响应变量的连续预测变量的阈值。
今天是机器学习专题的第18篇文章，我们来看看机器学习领域当中，非常重要的其他几个指标。
蓝色曲线下的面积(我的模型的AUC)比红线下的面积(理论随机模型的AUC)大得多，所以我的模型一定更好。
受试者工作特性曲线 (Receiver Operating Characteristic, ROC) 曲线是生信分析中一种常用的性能评估方法，那么他背后的原理是什么呢？他为什么会被推荐作为二分类模型的优秀性能指标呢？
由于目标检测(Object Detection)主要需要解决“是什么？和 在哪里？”这两大问题，即对给定图像中的所有存在的目标，每个目标都要给出类别信息（是什么？）和位置信息（在哪里？）。这个位置信息通常用一个外接矩形框（俗称bounding box）来表示。因此，目标检测的性能度量方法要比图像分类任务复杂得多。本文我们来为大家介绍一下目标检测算法里常用的一些评价指标。
blog.csdn.net/liweibin1994/article/details/79462554
编者：本文来自搜狗资深研究员舒鹏在携程技术中心主办的深度学习Meetup中的主题演讲，介绍了深度学习在搜狗无线搜索广告中的应用及成果。戳上面的“携程技术中心”（ctriptech）关注，可获知更多技术分享信息哦。 舒鹏老师的分享可点下面的视频看回放，下载演讲PPT请点击阅读原文。 搜索引擎广告是用户获取网络信息的渠道之一，同时也是互联网收入的来源之一，通过传统的浅层模型对搜索广告进行预估排序已不能满足市场需求。近年来，深度学习在很多领域得到广泛应用并已取得较好的成果，本次演讲就是分享深度学习如何有效的运用在
AI 科技评论按：上周，斯坦福大学一篇识别同性恋的论文引起了轩然大波。 这是一篇用深度神经网络识别同性恋的论文，即将要发表在美国心理学会的「人格与社会心理学」期刊上，然后上周突然火了起来。 面前有一张
我之前在《分析与可视化ROC——plotROC、pROC》中介绍了两个包 plotROC 和 pROC，那是一年前的事情了，现在我在处理 ROC 曲线时使用的是什么呢？pROC 包，它的理论基础来源于下面这篇文章，并且有非常完备的分析方法、可视化方法。
前面我们在讲模型效果的时候都在强调模型AUC越高越好，但实际上真的是这样的吗？ 当然不是！ （嗯?老shi，你又骗我，你之前不是说AUC越高越好么？）老shi没有骗大家，正常情况下，如果模型不过
笔者寄语：分类器算法最后都会有一个预测精度，而预测精度都会写一个混淆矩阵，所有的训练数据都会落入这个矩阵中，而对角线上的数字代表了预测正确的数目，即True Positive+True Nagetive。
主要有分类（classification）、回归（regression）、排序（ranking）、聚类（clustering）、热门主题模型（topic modeling）、推荐（recommendation）等。
本文对于推荐系统中的采样评估指标进行了讨论，内容略多, 还有一些数学推导, 有兴趣的可以去阅读原文, 此处直接列出核心观点：
WiDS数据马拉松由女性数据科学工作者与她们的伙伴联合发起，她们面临的挑战是需要建立一个模型，来预测一批卫星图像中存在油棕人工林种植园的情况。
前面几讲我们基于数据分析师需要掌握的基本技能，从SQL出发，学习了统计学的基本知识，在系统层面基本讲完了数据分析师需要具备的能力。下面几讲，我们会围绕数据挖掘工程师需具备的知识体系展开，今天会着重介绍机器学习中模型评估与选择的基础知识。
明天就国庆放假了，正好赶上中秋节，首先祝大家“双节”快乐！ 不管是出去玩，还在一个人在家里，在宿舍，在自己的小房子“玩”，祝大家都能找到自己的乐趣！但是呢， 安全第一！ 想乘着国庆好好学习一把的童鞋， 也别太拼， 学习一会儿就休息一下。然后我想说，我国庆要出去“嗨”一下了，so 这期间不能更新了。。 ============================== 好，接下来我们聊一下机器学习中的一个基本概念，混淆矩阵，confusion matrix，第一个听说混淆矩阵的时候，稀里糊涂的看不懂，等到我明白了机
一般来说，Precision就是检索出来的条目（比如：文档、网页等）有多少是准确的，Recall就是所有准确的条目有多少被检索出来了。 正确率、召回率和 F 值是在鱼龙混杂的环境中，选出目标的重要评价指标。不妨看看这些指标的定义先：
在上篇中，我们简单学习了图论的基本概念，图的表示和存储方式，同构图和异构图的分类，以及几个基础的图论算法。 在接下来的前置教程下篇中，我们将会学习图机器学习。
深度学习（DeepLearning, DL）和机器学习（Machine Learning, ML）的关系是什么？
在数值数据上构建任意监督学习模型的一个重要方面是理解特征。查看模型的部分依赖图可帮助理解任意特征对模型输出的影响。
本文作者 Abhay Pawar 多次参加 Kaggle 竞赛，并在 Instacart Market Basket Analysis 竞赛中拿到 top 2% 的名次。他在多年竞赛中总结出了一套特征探索和构建更好机器学习模型的标准方式，本文将介绍这套方法。
前几年，我找到了一些标准的流程来探索特征进而建立起更好的机器学习模型。这些简单但是强大的技术帮我在 Instacart 网站购物车分析竞赛中排进前2%，而且在其他地方，这这些方法也非常有用。所以，让我们开始吧！
假设有个未知模型具有一个或多个待定的参数，且有一个数据集能够反映该模型的特征属性（训练集）。
混淆矩阵是ROC曲线绘制的基础，同时它也是衡量分类型模型准确度中最基本，最直观，计算最简单的方法。
On Sampled Metrics for Item Recommendation (KDD2020)
作者：Nicholas Indorf翻译：Gabriel Ng校对：zrx 本文约10000字，建议阅读13分钟项目中收集并使用了 Spotify 数据库中最近发布的hip-hop曲目的音频预览样本和相关的流行度分数。 摘要 在这个项目里面，我想构建一个工具来帮助我的表弟，一位名叫“KC Makes Music”的Hip-Hop艺术家。这个工具将会评估他尚未发布的歌曲是否有在Spotify上流行的潜力。 项目中只收集并使用了 Spotify 数据库中最近发布的hip-hop曲目的音频预览样本和相关的流行度分
我们都熟悉深度学习模型的训练过程。随着模型变得越来越复杂，训练时间也显着增加。因此，模型通常需要花费数小时来训练。
参考：https://www.jianshu.com/p/9332fcfbd197
Tip:本次新人赛是Datawhale与天池联合发起的0基础入门系列赛事第四场 —— 零基础入门金融风控之贷款违约预测挑战赛。 赛题以金融风控中的个人信贷为背景，要求选手根据贷款申请人的数据信息预测其是否有违约的可能，以此判断是否通过此项贷款，这是一个典型的分类问题。通过这道赛题来引导大家了解金融风控中的一些业务背景，解决实际问题，帮助竞赛新人进行自我练习、自我提高。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
