LOSS:交叉熵损失函数

交叉熵损失函数

交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，经常会用到，最近老师让看下交叉熵损失函数，今天就来看看他是何方神圣。

信息论

交叉熵损失函数是基于信息论提出来的。信息论是由香农于1948年提出，最初在通信领域中应用，后来不断发展和完善（计网和决策树中学到过）。信息论的重要特征是信息熵(entropy)的概念，他是事件发生不确定性的度量单位，信息熵越大表示不确定性越高，反之不确定性越低。

相对熵（KL散度）

相对熵又称KL散度,如果我们对于同一个随机变量 x 有两个单独的概率分布 P(x) 和 Q(x)，我们可以使用 KL 散度（Kullback-Leibler (KL) divergence）来衡量这两个分布的差异。

即如果用P来描述目标问题，而不是用Q来描述目标问题，得到的信息增量。

在机器学习中，P往往用来表示样本的真实分布，比如[1,0,0]表示当前样本属于第一类。Q用来表示模型所预测的分布，比如[0.7,0.2,0.1] 直观的理解就是如果用P来描述样本，那么就非常完美。而用Q来描述样本，虽然可以大致描述，但是不是那么的完美，信息量不足，需要额外的一些“信息增量”才能达到和P一样完美的描述。如果我们的Q通过反复训练，也能完美的描述样本，那么就不再需要额外的“信息增量”，Q等价于P。

交叉熵

参考资料：

【1】机器学习—蔡自兴

【2】https://blog.csdn.net/tsyccnh/article/details/79163834