本系列笔记内容参考来源为李航《统计学习方法》
最大熵原理认为学习概率模型时,熵最大的模型是最好的模型。
设离散随机变量X的概率分布是P(X),则其熵是
首先考虑模型应满足的条件,给定训练数据集,可确定联合分布P(X,Y)的经验分布和边缘分布P(X)的经验分布
书中将约束最优化的原始问题转换为无约束最优化的对偶问题,通过求解对偶问题求解原始问题。
本文分享自 作者个人站点/博客 前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!