贝叶斯方法与正则项

从贝叶斯角度，正则项等价于引入参数w的先验概率分布。常见的L1/L2正则，分别等价于引入先验信息：参数w符合均值为0的拉普拉斯分布/高斯分布。

• 贝叶斯方法的参数估计
• 后验概率的展开形式
• 参数的先验概率与正则项
• 模型举例
  • 逻辑回归
  • 线性回归

贝叶斯方法的参数估计

贝叶斯方法的参数估计，就是通过最大化后验概率来估计模型的参数。

假定模型参数为w，数据集为D，贝叶斯通过最大化后验概率估计模型参数w，即：

假定如下：

• 样本独立不相关
• 模型参数独立不相关

最新的优化问题为：

参数的先验概率与正则项

当参数w的先验概率满足高斯分布：

优化问题的左项中，如果w满足

：

这时候的优化函数为：

同样地，参数w的先验概率满足均值为0的拉普拉斯分布，有：

这说明：

• L2正则，等价于参数w的先验分布满足均值为0的正态分布
• L1正则，等价于参数w的先验分布满足均值为0的拉普拉斯分布
• 拉普拉斯在0附近突出，周围稀疏，对应容易产生稀疏解的模型

模型举例

以参数w的先验概率满足均值为0的高斯分布为例，优化问题为：

逻辑回归

所以有：

总结：逻辑回归，通过贝叶斯法最大化后验概率。在数据的概率满足逻辑函数的假设下得到了cross entropy的误差函数；在样本独立、模型参数独立、模型参数满足均值为0的高斯分布的假设下获得了L2正则项。

线性回归

线性回归，假设误差满足均值为0的高斯分布，该假设符合一般的规律。

所以有：

总结：线性回归，通过贝叶斯法最大化后验概率。在误差为均值0的高斯分布的假设下得到了square error的误差函数；在样本独立、模型参数独立、模型参数满足均值为0的高斯分布的假设下获得了L2正则项。