首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    斯坦福CS231n - CNN for Visual Recognition(7)-lecture6梯度检查、参数更新

    对于相对误差而言: 相对误差>1e−2相对误差>1e^{−2} :意味着解析梯度计算出错 1e−2>相对误差>1e−41e^{−2>}相对误差>1e^{−4}:解析梯度可能出错 1e−4>相对误差1^{...所以如果你是对10层神经网络做梯度检查,那么1e−21e^{-2}就没啥问题,因为误差一直在累积。相反,如果一个可微函数的相对误差值是1e−21e^{-2},那么通常说明解析题都出错了。...通常会将解析梯度和数值梯度显示出来,以保证计算时,所有的数都在浮点数的可计算范围内,如果太小(1e−101e^{-10})可考虑乘个常数。 目标函数的不可导点(kinks)。...考虑当x=1e−6x=1e^{-6}时,对ReLU函数进行梯度检查。因为x=1e−61e^{-6}1e−4或1e−61e^{-4}或1e^{-6},梯度检查可能就恢复正常。

    72820
    领券