问为什么对损失函数使用偏导数？
EN

Data Science用户

提问于 2022-09-23 07:50:11

回答 1查看 1.1K关注 0票数 5

为了找到最小误差的最佳参数，计算损失函数的偏导数的目的是什么？

考虑到线性模型的损失函数，我们希望找到最小误差的最佳参数。我不明白，考虑到损失函数的偏导数(相对于每个参数)等于0的参数，为什么这个结果可以实现。

发布于 2022-09-23 10:15:19

这是一个最小化的问题。典型的微积分方法是找出导数为零的地方，然后证明它是全局极小，而不是最大值、鞍点或局部极小。

在良好的情况下，如线性回归与平方损失(如一般最小二乘)，损失，作为一个估计参数的函数，是二次和向上开放。因此，当我们找到一个导数为零的点时，保证它是一个全局极小值。

因此，开始取偏导数，找出它们等于零的位置。

示例(简单线性回归)

\hat y=\hat\beta_0+\hat\beta_1x\\ L(y,\hat\beta_0,\hat\beta_1)=\sum_{i=1}^N\bigg( y_i - \hat\beta_0-\hat\beta_1x_i \bigg)^2

现在以方程组的形式求解最优\hat\beta_0和\hat\beta_1。

\dfrac{\partial L}{\partial \hat\beta_0}=0\\ \dfrac{\partial L}{\partial \hat\beta_1}=0

对于为什么这个解是全局最小值，有一个几何上的争论，但是它可能值得去做一次多变量微积分的整个二阶导数测试，仅仅是为了看看它是如何工作的。

票数 11

页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://datascience.stackexchange.com/questions/114632

复制

相似问题