问批量归一化对小型网络有用吗？
EN

Stack Overflow用户

提问于 2021-06-14 12:15:17

回答 1查看 78关注 0票数 1

我们知道批量归一化(BN)加速了深度神经网络的训练。但它对小型神经网络也有帮助吗？我一直在试验6层卷积-MLP网络，我看不到训练这个网络对BN有任何好处。

发布于 2021-06-14 12:19:40

批量归一化通常用于非常深的神经网络。多层之后的层的输出随着每一小批量的波动而变化，并且层必须保持对移动目标的追逐。

然而，对于浅层神经网络来说，这不是一个大问题，因为波动在很小的范围内，不会造成移动目标的问题。因此，对于浅层神经网络，您也可以选择不使用批量归一化进行训练，它将按预期工作。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/67964712

复制

相似问题

问批量归一化对小型网络有用吗？EN