【机器学习每日一问03】交叉熵与极大似然估计的关系

先说结论：是等价的

交叉熵：

假设 X 为一个离散随机变量，I 是

时的自信息

定义熵​

有两个单独的概率分布P(X)（数据的原始分布）和Q(x),现定义一个KL散度用以描述这两个分布之间的差异：

定义交叉熵：

最小化交叉熵即最小化：

现考虑一个分布P(X),我们从中随机取一些样本

，计算一个似然

，则似然函数为

： 。

最大似然估计：

与最小化交叉熵是等价的。