机器学习-17：MachineLN之逻辑回归

你要的答案或许都在这里：小鹏的博客目录

我想说：

其实....整天其实，感觉没啥好说的了，好好GAN吧。

逻辑回归可以这样理解： 和感知机比较着来看或许更好，将感知机的表达式中的sign函数换成sigmoid就是逻辑回归的表达式，但是这一换不要紧，导致后边参数更新的方式完全不同，因为逻辑回顾的损失函数是参数连续可导的，还记得我们说过感知机的损失函数是参数连续不可导的吗？ ：MachineLN之感知机

还是一如既往：

说起逻辑回归，那么我的问题：（根据MachineLN之三要素：模型、策略、算法）

（1）什么是逻辑回归？（模型）

（2）逻辑回归是如何学习的？（策略）

（3）逻辑回归学习算法？（算法）

看到这里你的答案是什么？下面是我的答案：

1. 什么是逻辑回归？

前面有提到，逻辑回归是来解决分类问题的，而不是回归问题，想想问什么呢？就是因为sigmoid。说起sigmoid应该很熟悉吧：MachineLN之激活函数

直接看一下二项逻辑回归表达式吧：可以理解为事件发生的概率和事件不发生的概率：

2. 逻辑回归是如何学习的？

逻辑回归可以通过极大似然估计（什么是极大似然估计，简单说利用已知的样本结果，反推有可能（最大概率）导致这样结果的参数值（模型已知，参数未知））来估计模型参数：

设：

那么似然函数可表示为：

为了后面求导，这里取对数似然函数：

那么对数似然函数，也就是损失函数为：

接下来我们要求其最大值，其最大值的要用梯度上升法，如果想用梯度下降只需要加一个负号，利用梯度下降法求最小值。

（3）逻辑回归学习算法？

还是用手撕一下吧：

下一节的源代码解析你会看到就是按照这个更新公式来做的，但是加了一些优化。

另外可以考虑一下：逻辑回归和softmax回归的关系？ 多项逻辑回归是softmax吗？ 答案是肯定的！

看下面逻辑回归表达式：

在看softmax表达式：

有人说，啊，完全不一样，不要急化简一下看看：

推荐阅读：

1. 机器学习-1：MachineLN之三要素

2. 机器学习-2：MachineLN之模型评估

3. 机器学习-3：MachineLN之dl

4. 机器学习-4：DeepLN之CNN解析

5. 机器学习-5：DeepLN之CNN权重更新（笔记）

6. 机器学习-6：DeepLN之CNN源码

7. 机器学习-7：MachineLN之激活函数

8. 机器学习-8：DeepLN之BN

9. 机器学习-9：MachineLN之数据归一化

10. 机器学习-10：MachineLN之样本不均衡

11. 机器学习-11：MachineLN之过拟合

12. 机器学习-12：MachineLN之优化算法

13. 机器学习-13：MachineLN之kNN

14. 机器学习-14：MachineLN之kNN源码

15. 机器学习-15：MachineLN之感知机

16. 机器学习-16：MachineLN之感知机源码

17. 机器学习-17：MachineLN之逻辑回归

18. 机器学习-18：MachineLN之逻辑回归源码