机器学习入门——极大似然估计

编辑文章

先来看看几个小例子：猎人师傅和徒弟一同去打猎，遇到一只兔子，师傅和徒弟同时放枪，兔子被击中一枪，那么是师傅打中的，还是徒弟打中的？

一个袋子中总共有黑白两种颜色100个球，其中一种颜色90个，随机取出一个球，发现是黑球。那么是黑色球90个？还是白色球90个？

看着两个小故事，不知道有没有发现什么规律...由于师傅的枪法一般都高于徒弟，因此我们猜测兔子是被师傅打中的。随机抽取一个球，是黑色的，说明黑色抽中的概率最大，因此猜测90个的是黑色球。

他们有一个共同点，就是我们的猜测（估计），都是基于一个理论：概率最大的事件，最可能发生

概念

极大似然估计方法（Maximum Likelihood Estimate，MLE）也称为最大概似估计或最大似然估计，似然就是可能性的意思。现在已经拿到了很多个样本，这些样本值已经实现，最大似然估计就是去找到那个（组）参数估计值，使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经出现了，其发生概率最大才符合逻辑。即，样本所展现的状态便是所有可能状态中出现概率最大的状态。

原理

最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。通过若干次试验，观察其结果，利用试验结果得到某个参数值（这个参数值要具体问题具体分析）能够使样本出现的概率为最大，则称为极大似然估计。

举个栗子

现在有一个黑箱子里面有标有1或2的球共100个，现在从中有放回的抽取10个球，结果为，估计标有1的球在黑箱子里面有多少个。

我们不妨把标有1的球设为θ个，那么抽到1的概率p(x=1)=θ/100，这里简单记作p，则产生实验结果的概率为 P = (p ^ 4)*((1-p)^ 6),这里的待估参数为θ，P是一个关于θ的函数，不妨记作P(θ)。根据前面讲的原理，“已发生的就是概率最大的”，θ有多种可能取值，但根据最大似然原理，θ应当取使发生的概率最大时对应的值，即求P(θ)取最大值时θ的取值。

在这里，我们成P(θ)为似然函数，常记为L(θ)，或L(θ)=L(x1, x2,..., xn; θ)，其中x1, x2,..., xn是已发生的样本，记p(xi; θ)为xi发生的概率，则似然函数可以写为：

若总体X为连续型，其概率密度函数为f(x; θ)，θ为未知参数。则似然函数为：

极大似然法的一般步骤：

1 构造似然函数L(θ)

2 取对数：lnL(θ)

3 求导，计算极值

4 解方程，得到θ

对于第3步不能利用求导取极值的情况，可以先将求对数似然函数的极大值转化为求极小值（或最小值），然后如果转换后的函数时高阶连续可导凸函数，则可以利用梯度下降法、牛顿法等求其最优解。

参考：https://baike.baidu.com/item/%E6%9E%81%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1/3350286?fr=aladdin

https://www.zhihu.com/question/20447622

https://www.jianshu.com/p/e4443c4bd69e

https://blog.csdn.net/zengxiantao1994/article/details/72787849

https://www.cnblogs.com/xing901022/p/8418894.html