今天我们会来聊聊在怎么样加速你的神经网络训练过程.包括以下几种模式:Stochastic Gradient Descent (SGD)MomentumAdaGradRMSPropAdam图片越复杂的神经网络..., 越多的数据 , 我们需要在训练神经网络的过程上花费的时间也就越多....每次使用批数据, 虽然不能反映整体数据的情况, 不过却很大程度上加速了 NN 的训练过程, 而且也不会丢失太多准确率.如果运用上了 SGD, 你还是嫌训练速度慢, 那怎么办?...我们还有很多其他的途径来加速训练.Momentum 更新方法¶图片大多数其他途径是在更新神经网络参数那一步上动动手脚....实验证明, 大多数时候, 使用 adam 都能又快又好的达到目标, 迅速收敛. 所以说, 在加速神经网络训练的时候, 一个下坡, 一双破鞋子, 功不可没.