前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >深度学习—带动量的SGD相关参数

深度学习—带动量的SGD相关参数

作者头像
微风、掠过
发布2018-08-02 16:12:47
1.1K0
发布2018-08-02 16:12:47
举报
文章被收录于专栏:机器学习算法与理论

带动量的sgd如下图所示:

image.png

一、weight decay(权值衰减)的使用既不是为了提高你所说的收敛精确度也不是为了提高收敛速度,其最终目的是防止过拟合。在损失函数中,weight decay是放在正则项(regularization)前面的一个系数,正则项一般指示模型的复杂度,所以weight decay的作用是调节模型复杂度对损失函数的影响,若weight decay很大,则复杂的模型损失函数的值也就大。 二、momentum是梯度下降法中一种常用的加速技术。对于一般的SGD,其表达式为 w=w-alph*f'(x)(梯度)沿负梯度方向下降。而带momentum项的SGD则写生如下形式:

image.png

x=x+v

其中beta即momentum系数,通俗的理解上面式子就是,如果上一次的momentum

与这一次的负梯度方向是相同的,那这次下降的幅度就会加大,所以这样做能够达到加速收敛的过程。 三、normalization batch normalization的是指在神经网络中激活函数的前面 按照特征进行normalization,这样做的好处有三点: 1、提高梯度在网络中的流动。Normalization能够使特征全部缩放到[0,1],这样在反向传播时候的梯度都是在1左右,避免了梯度消失现象。 2、提升学习速率。归一化后的数据能够快速的达到收敛。 3、减少模型训练对初始化的依赖。

基于128D匹配求解的人脸识别 在数据量增大时,如何优化时间: 是不是可以对库内的数据进行排序。。。排序后的结果呈现一定的规律!使新的数据到来时可以较快地确定其在数据库接近数据的位置,这样可以节省运算时间。在可能的范围内进行检索匹配。 或是以随机的方式进行查找,在查找到一个时,向上向下继续搜索 具有一定的方向性,从而找到一个局部最优解或是一个较优解,并给出结论。 部分转自知乎:作者:陈永志 链接:https://www.zhihu.com/question/24529483/answer/114711446

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018.07.09 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
人脸识别
腾讯云神图·人脸识别(Face Recognition)基于腾讯优图强大的面部分析技术,提供包括人脸检测与分析、比对、搜索、验证、五官定位、活体检测等多种功能,为开发者和企业提供高性能高可用的人脸识别服务。 可应用于在线娱乐、在线身份认证等多种应用场景,充分满足各行业客户的人脸属性识别及用户身份确认等需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档