最小二乘法
“损失函数”是如何设计出来的?直观理解“最小二乘法”和“极大似然估计法” - 哔哩哔哩 (bilibili.com)
求模型的结果与真实值的差距(或者说是损失大小)
\displaystyle\sum{i=1}^n|\hat y_i-y_i|,为了方便求导(梯度下降),我们可以将该算法设计成min\displaystyle\sum{i=1}^n\frac{1}{2}(\hat y_i-y_i)^2
L(\theta)似然函数,H(\theta)熵
求解极大似然函数需要知道数据的分布,然后根据概率求参数,最后求解
在正态分布上两者的损失函数是相同的
除去量纲等,两者计算得到的效果是相同的