24. 偏差和方差之间的权衡

24 偏差和方差之间的权衡

你可能听说过“偏差和方差之间的权衡”。在你对大部分学习算法进行修改的时候，有些方法可以减少偏差，但是代价是增加了方差，反之亦然，这就在偏差和方差之间产生了“权衡”。 例如，增加模型的大小（在神经网络中添加神经元/层，或增加输入特征），通常可以减少偏差，但可能会增加方差。另外，增加正则化一般会增加偏差，但是可能会减少方差。 在现代，我们往往能够获得充足的数据，并且可以使用非常大的神经网络（深度学习）。因此，这种权衡比较少，并且现在有更多的选择可以在不增加方差的情况下减少偏差，反之亦然。 例如，你通常可以增加神经网络的大小，并调整正则化方法去减少偏差，而不会明显的增加方差，通过增加训练集，你也可以做到在不影响偏差的情况下减少方差。 如果你选择了一个比较适合你任务的模型，那么你可以同时减少偏差和方差，但是选择适合的架构是非常难的。 在接下来几章中，我们将讨论处理偏差和方差的其它方法。