在机器学习中，L1正则化、L2正则化和Elastic Net正则化是用来避免过拟合的技术，它们通过在损失函数中添加一个惩罚项来实现。
均方差损失也称为L2 loss，常用于回归任务。模型输出与真实值误差服从高斯分布的假设下，最小化均方差损失函数与极大似然估计本质一致。所以L1 loss一般用于满足假设场景的任务，比如回归任务。而分类任务不满足此假设，所以如上文一般用交叉熵损失。
L1 正则化的特点是它可以产生稀疏模型，即许多模型参数会被设置为零。这种特性使得L1正则化不仅可以防止过拟合，还可以进行特征选择。
深度学习里面有很多的损失函数，对于MSE、MAE损失函数可能已经耳熟能详了了，对于L1、L2正则化也很熟悉，那你知道什么是L1_loss和L2_loss吗，以及在目标检测的系列论文比如fast-RCNN、faster-RCNN中经常出现的smooth L1损失又是什么呢？
这是专栏《AI初识境》的第11篇文章。所谓初识，就是对相关技术有基本了解，掌握了基本的使用方法。
在one-stage检测算法中，会出现正负样本数量不平衡以及难易样本数量不平衡的情况，为了解决则以问题提出了focal loss。
正则化技术对于防止模型过度拟合至关重要，并能使它们在验证和测试集上表现更好。本指南提供了可用于TensorFlow中正则化的四种关键方法的代码的全面概述。
监督机器学习问题无非就是在规则化参数的同时最小化误差。最小化误差是为了让模型拟合训练数据，而规则化参数是防止模型过分拟合训练数据，但训练误差小并不是最终目标，最终目标是希望模型的测试误差小，也就是能准确的预测新的样本。所以需要保证模型“简单”的基础上最小化训练误差，这样得到的参数才具有好的泛化性能(也就是测试误差也小)，而模型“简单”就是通过规则函数来实现的。
[深度学习入门]实战三·使用TensorFlow拟合曲线 问题描述 拟合y= x*x -2x +3 + 0.1(-1到1的随机值) 曲线 给定x范围（0，3） 问题分析 在上篇博客中，我们使用最简单的y=wx+b的模型成功拟合了一条直线，现在我们在进一步进行曲线的拟合。简单的y=wx+b模型已经无法满足我们的需求，需要利用更多的神经元来解决问题了。 生成数据 import numpy as np import matplotlib.pyplot as plt import ten
作者：章华燕 编辑：赵一帆 1、机器学习中常见的损失函数 一般来说，我们在进行机器学习任务时，使用的每一个算法都有一个目标函数，算法便是对这个目标函数进行优化，特别是在分类或者回归任务中，便是使用损失函数（Loss Function）作为其目标函数，又称为代价函数(Cost Function)。损失函数是用来评价模型的预测值 Y_hat=f(X) 与真实值Y的不一致程度，它是一个非负实值函数。通常使用 L(Y,f(x))来表示损失函数，损失函数越小，模型的性能就越好。 设总有N个样本的样本集为(X,Y)=(
上周介绍了Gaussian YOLOv3以及GHM Loss，这周我们来看看斯坦福大学和澳大利亚阿德莱德大学在CVPR2019发表的《Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression》，论文的核心就是提出了一个新的Loss，叫做GIOU Loss，论文原文地址见附录。
不过，说是整理，事实上实际写的时候才发现，平时用的激活函数也确实比较少，毕竟做的主要都是生成、序列标注以及分类问题，而这些问题本质来说事实上也都是分类问题，因此基本都是使用的cross entropy损失函数，其他的损失函数使用确实不多。
模型训练之初，你压根不知道哪些特征会有用，于是你找了很多特征，以此来尽可能精确地去拟合训练数据。
监督机器学习问题无非就是在规则化参数的同时最小化误差。最小化误差是为了让模型拟合训练数据，而规则化参数是防止模型过分拟合训练数据，但训练误差小并不是最终目标，最终目标是希望模型的测试误差小，也就是能准确的预测新的样本。所以需要保证模型“简单”的基础上最小化训练误差，这样得到的参数才具有好的泛化性能(也就是测试误差也小)，而模型“简单”就是通过规则函数来实现的。 一般来说，监督学习可以看做最小化下面的目标函数： （正则化代价函数）=（经验代价函数）+（正则化参数）X（正则化项） 第一项是衡量模型预测与实际的
常见的损失函数。 范数 损失函数中, 正则项一般是参数的 Lp 距离. L1最优化问题的解是稀疏性的, 其倾向于选择很少的一些非常大的值和很多的insignificant的小值. 而L2最优化则更多的非常少的特别大的值, 却又很多相对小的值, 但其仍然对最优化解有significant的贡献. 但从最优化问题解的平滑性来看, L1范数的最优解相对于L2范数要少, 但其往往是最优解, 而L2的解很多, 但更多的倾向于某种局部最优解. L0范数本身是特征选择的最直接最理想的方案, 但如前所述, 其不可分, 且
L1=λ1∥w∥1L2=λ2∥w∥2L=LMSE+L1+L2\begin{matrix} L_1 = \lambda_1 \|w\|_1 \\ L_2 = \lambda_2 \|w\|^2 \\ L = L_{MSE} + L_1 + L_2 \end{matrix}L1=λ1∥w∥1L2=λ2∥w∥2L=LMSE+L1+L2
监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，
[TensorFlow深度学习入门]实战四·逻辑回归鸢尾花进行分类 问题描述 数据集 鸢尾花数据集下载地址 鸢尾花数据集包含四个特征和一个标签。这四个特征确定了单株鸢尾花的下列植物学特征： 1、花萼长度 2、花萼宽度 3、花瓣长度 4、花瓣宽度 该标签确定了鸢尾花品种，品种必须是下列任意一种： 山鸢尾 (0) 变色鸢尾 (1) 维吉尼亚鸢尾 (2) 代码 使用均方根误差 import numpy as np import pandas as pd import matplotlib.py
: Anchor[i]预测的Bounding Box的参数化坐标(parameterized coordinates)；
在目标检测中，人们更关注的往往是模型结构，而在训练过程中投入的注意力相对较少。但是训练过程对于一个目标检测器来说同样关键。在本工作中，作者仔细回顾了检测器的标准训练过程，发现在训练过程中，检测性能往往受到不平衡的限制。这种不平衡往往包括三个方面：sample level（样本层面），feature level（特征层面），objective level（训练目标层面），为了上述三个不平衡对检测性能的影响，本文提出了Libra R-CNN，一个针对目标检测平衡学习的简单有效框架。该框架集成了三个组件：IoU-balanced sampling，balanced feature pyramid，balanced L1 loss，分别对应解决上述的三个不平衡。基于这些改造，Libra R-CNN在AP上的提升有两个多点，可以说是简洁高效。
每天给你送来NLP技术干货！ 地址 | https://zhuanlan.zhihu.com/p/69294347作者 | xiaopl@知乎编辑 | 极市平台 PyTorch 作为一个深度学习平台，在深度学习任务中比 NumPy 这个科学计算库强在哪里呢？我觉得一是 PyTorch 提供了自动求导机制，二是对 GPU 的支持。由此可见，自动求导 (autograd) 是 PyTorch，乃至其他大部分深度学习框架中的重要组成部分。 了解自动求导背后的原理和规则，对我们写出一个更干净整洁甚至更高效的 PyT
[PaddleFluid小试牛刀]练习二·DNN正弦函数拟合 在上篇博文基础上做了些改进，拟合正弦曲线 生成数据 code from paddle import fluid as fl import numpy as np import matplotlib.pyplot as plt def get_data(x): c,r = x.shape y = np.sin(x*3.14)+1+ (0.02*(2*np.random.rand(c,r)-1)) return(y) xs
图像翻译，指从一副图像到另一副图像的转换。可以类比机器翻译，一种语言转换为另一种语言。下图就是一些典型的图像翻译任务：比如语义分割图转换为真实街景图，灰色图转换为彩色图，白天转换为黑夜……
前言： 我们学习一个算法总是要有个指标或者多个指标来衡量一下算的好不好，不同的机器学习问题就有了不同的努力目标，今天我们就来聊一聊回归意义下的损失函数、正则化的前世今生，从哪里来，到哪
一、正则化(Regularization) 1、正则化的作用 在机器学习中，正则化是相对于过拟合出现的一种特征选择的方法。在机器学习算法中使用的Loss项为最小化误差，而最小化误差是为了让我们
文章来源于SAMshare，作者flora 特征锦囊：今天一起搞懂机器学习里的L1与L2正则化 今天我们来讲讲一个理论知识，也是老生常谈的内容，在模型开发相关岗位中出场率较高的，那就是L1与L2正则化
其实很多时候大家都想自己做一些事情，但是很多也都是想想而已，其实有了想法自己感觉可行，就可以去行动起来，去尝试，即使最后败了，也无怨无悔，有句话说的很好：成功收获成果，失败收获智慧，投入收获快乐！反而有时候顾及的太多，本应该做的事情错过了，怪谁呢？我跟大家不同的是无论什么事情，先做了再说吧！
深度学习基础5:交叉熵损失函数、MSE、CTC损失适用于字识别语音等序列问题、Balanced L1 Loss适用于目标检测
一般来说，监督学习的目标函数由损失函数和正则化项组成。(Objective = Loss + Regularization)
作者：yangxue（论文一作） https://zhuanlan.zhihu.com/p/107400817 本文已由原作者授权，不得擅自二次转载
AI 科技评论按：去年 10 月，香港中文大学-商汤联合实验室在 OpenMMLab 的首版计划中，开放了 MMCV 和 MMDetection（初期版本）。其初衷是为了在计算机视觉的一些重要方向建立统一而开放的代码库，并不断把新的算法沉淀其中。在过去的半年多时间，这些代码库已经产生了重要影响，越来越多的 MMLab 以外的研究团队开始把 MMDetection 作为实现新的目标检测算法的基础，并不断将其新算法回馈到 MMDetection 中。
在机器学习中，正则化是相对于过拟合出现的一种特征选择的方法。在机器学习算法中使用的Loss项为最小化误差，而最小化误差是为了让我们的模型拟合我们的训练数据，此时，若参数过分拟合我们的训练数据就会形成过拟合的问题，而规则化参数的目的就是为看防止我们的模型过分拟合我们的训练数据。此时，我们会在Loss项之后加上正则项以约束模型中的参数：
过拟合的原理：在loss下降，进行拟合的过程中（斜线），不同的batch数据样本造成红色曲线的波动大，图中低点也就是过拟合，得到的红线点低于真实的黑线，也就是泛化更差。
在物理学中，“熵”被用来表示热力学系统所呈现的无序程度。香农将这一概念引入信息论领域，提出了“信息熵”概念，通过对数函数来测量信息的不确定性。交叉熵（cross entropy）是信息论中的重要概念，主要用来度量两个概率分布间的差异。假定 p和 q是数据 x的两个概率分布，通过 q来表示 p的交叉熵可如下计算：
对大量的观测数据进行处理，从而得到比较符合事物内部规律的数学表达式。也就是说寻找到数据与数据之间的规律所在，从而就可以模拟出结果，也就是对结果进行预测。解决的就是通过已知的数据得到未知的结果。例如：对房价的预测、判断信用评价、电影票房预估等。
【AI科技大本营导读】机器学习中的所有算法都依赖于最小化或最大化某一个函数，我们称之为“目标函数”。最小化的这组函数被称为“损失函数”。损失函数是衡量预测模型预测期望结果表现的指标。寻找函数最小值的最常用方法是“梯度下降”。把损失函数想象成起伏的山脉，梯度下降就像从山顶滑下，目的是到达山脉的最低点。
Loss 计算的是网络输出的 target 值与真实label之间的误差，最小化以优化网络.
前言：腾讯 AI Lab共有12篇论文入选在美国新奥尔良举行的国际人工智能领域顶级学术会议 AAAI 2018。腾讯技术工程官方号独家编译了论文《用随机象限性消极下降算法训练L1范数约束模型》（Training L1-Regularized Models with Orthant-Wise Passive Descent Algorithms），该论文被 AAAI 2018录用为现场陈述论文（Oral Presentation），由腾讯 AI Lab独立完成，作者为王倪剑桥。 中文概要 L1范数约束模型
机器学习中的所有算法都依赖于最小化或最大化某一个函数，我们称之为“目标函数”。最小化的这组函数被称为“损失函数”。损失函数是衡量预测模型预测期望结果表现的指标。寻找函数最小值的最常用方法是“梯度下降”。把损失函数想象成起伏的山脉，梯度下降就像从山顶滑下，目的是到达山脉的最低点。
翻译 | 张建军 编辑 | 阿司匹林 机器学习中的所有算法都依赖于最小化或最大化某一个函数，我们称之为“目标函数”。最小化的这组函数被称为“损失函数”。损失函数是衡量预测模型预测期望结果表现的指标。寻找函数最小值的最常用方法是“梯度下降”。把损失函数想象成起伏的山脉，梯度下降就像从山顶滑下，目的是到达山脉的最低点。 没有一个损失函数可以适用于所有类型的数据。损失函数的选择取决于许多因素，包括是否有离群点，机器学习算法的选择，运行梯度下降的时间效率，是否易于找到函数的导数，以及预测结果的置信度。这个博客的目的
【导读】Keras是一个由Python编写的开源人工神经网络库，可以作为Tensorflow、和Theano的高阶应用程序接口，进行深度学习模型的设计、调试、评估、应用和可视化。本系列将教你如何从零开始学Keras，从搭建神经网络到项目实战，手把手教你精通Keras。相关内容参考《Python深度学习》这本书。
torch.optim集成了很多优化器，如SGD，Adadelta，Adam，Adagrad，RMSprop等，这些优化器自带的一个参数weight_decay，用于指定权值衰减率，相当于L2正则化中的λ参数，注意torch.optim集成的优化器只有L2正则化方法，你可以查看注释，参数weight_decay 的解析是：
启动jupyter notebook，使用新增的pytorch环境新建ipynb文件，为了检查环境配置是否合理，输入import torch以及torch.cuda.is_available() ，若返回TRUE则说明研究环境配置正确，若返回False但可以正确导入torch则说明pytorch配置成功，但研究运行是在CPU进行的，结果如下：
这篇论文仍然是瞄准了One-Stage目标检测算法中的正负样本不均衡问题，上周我们介绍He Kaiming等人提出的Focal Loss，推文地址如下：https://mp.weixin.qq.com/s/2VZ_RC0iDvL-UcToEi93og 来解决样本不均衡的问题。但这篇论文提出，Focal Loss实际上是有问题的，论文论述了该问题并提出了GHM Loss更好的解决One-Stage目标检测算法中的正负样本不均衡问题。论文地址为：https://arxiv.org/pdf/1811.05181.pdf。github开源地址为：https://github.com/libuyu/GHM_Detection
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
