机器学习-逻辑回归推导

逻辑回归在机器学习中属于比较常见的模型，它由感知机模型发展而来。刚学习机器学习的时候，看到感知机这个名字好奇怪，为什么就叫感知机呢？不就用一个超平面来分割所有的样本并且使得损失函数最小嘛，叫一个这么深奥的名字吓唬人啊。后来学习神经网络时候也看到了这个名字，才发现这个名字来源于神经网络。就是单层的神经网络嘛。所以很多时候我们学习一个东西的时候可能暂时不明白，我们可以先跳过去，不必在哪里死磕。

一、感知机模型

先给出感知机模型的定义（公式不好编辑，就复制粘贴了）：

机器学习三要素：模型、策略、算法，既然模型给出来了，我们用什么策略和什么算法来学习这个模型呢。学习策略就是所有的误样本点到上面我们定义的超平面的距离最小。算法就用常规的梯度下降法。李航的《统计学习方法》中有明确的推导和例子。这里不再赘述。本文重点记录的逻辑回归的推导。

二、为什么要有逻辑回归

对于线性可分的分类问题，有了感知机为什么还要逻辑回归呢？比如我们给感知机模型输入一个样本，模型输出为0.00001>0, 那么我们就把这个样本划分到正分类中，我像这里很难有说服力吧，毕竟你就比0大那么一丢丢啊。这是应为我们用到了sign函数，这是一个跳跃函数。在0附近是不连续的，在数学上连续可导可是一件很重要的事情。所以我们就像是不是有其他的函数来替代这个调试函数。于是申请的sigmod函数就出现了。

sigmod函数表达式：

图像如下：

函数性质：

1、连续可导

2、输入区间在负无穷到正无穷，值域在(0,1)之间

完全满足我们概率上的要求，给sigmod函数输入一个样本，如果输出大于0.5，那么就可以判为正例，如果输出小于0.5就可以判为负列。如果等于0.5就看心情了，随便了。

所以我们可以定义如下模型来解决二分类问题：

为了方便

可以变换为（第一个向量最后一个数为b，x向量最后一个数为1即可）

所以最后的模型可以简写为：

三、逻辑回归模型推导

对于给定的训练数据集

，其中

令：

下面用极大似然函数估计模型参数