首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

鞍点

关于“鞍点”的说法网上讲的乱七八糟,因此我特地上维基百科探查了鞍点的真相。 首先在高等数学里可能大家都还记得一个平面叫马鞍面,图形如下(粘贴自维基百科),那个红点就是三维空间中的鞍点。...值得注意的是,鞍点无论对各个方向求导(偏导),其导数(偏导数)都是0,但是它又不是极值点。 而在二维图像(曲线、曲面、超曲面)上,鞍点就是其驻点,所谓驻点也就是一阶导数为0的点。...关于二维空间中鞍点的举例,就可以拿y=x^3在x=0那一点来说了,下图同样摘自wiki。 包含一个或以上鞍点的面就叫做Saddle surface。...对于鞍点更数学一点的解释就是: 对某函数f,若其在某一点的Hessian matrix的值是indefinite的,那么它就是鞍点(我也不懂,原文如下) ---- 了解了鞍点的概念,就要说到鞍点对...Gradient Descent的影响了,在许多深度学习实验中,往往会有存在鞍点的可能,而若是鞍点较多,则会严重影响Gradient Descent的性能与正确率,而事实上即便在其他算法中,鞍点往往比Local

1.6K50
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    算法优化之道:避开鞍点

    然而,寻找一个局部最小值也属于NP-hard问题(参见 Anandkumar,GE 2006 中的讨论一节)。...对称与鞍点 许多学习问题都可以被抽象为寻找k个不同的分量(比如特征,中心…)。例如,在 聚类 问题中,有n个点,我们想要寻找k个簇,使得各个点到离它们最近的簇的距离之和最小。...又如在一个两层的 神经网络 中,我们试图在中间层寻找一个含有k个不同神经元的网络。...严格鞍函数 通常寻找局部最小值也属于NP-hard问题,许多算法都可能陷入鞍点之中。那么避开一个鞍点需要多少步呢?这与鞍点的表现良好性密切相关。...当然,我们需要让这种直觉在更高维空间形式化,因为简单地寻找下跌方向,需要计算Hessian矩阵的最小特征向量。

    1.4K30

    深度学习为何起作用——关键解析和鞍点

    对深度学习,包括分布式表示,深度架构和易避免鞍点的理论驱动力的讨论。...“上图展示了一个鞍点。在全局或局部最小区域,所有方向都上升,在全局或局部最大区域,所有方向都下降。” 鞍点 “我们来考虑低维度和高维度下的优化问题。在低维度中,确实存在许多局部最小。...当我们优化神经网络或任何高维度函数的时候,对于我们大多数优化的轨迹,临界点(点的导数是0或接近0)都是鞍点鞍点,不像局部最小,很容易退避。”...这一切都表明,事实上因为鞍点的存在,局部最小可能不是问题。 Boney继续他关于鞍点的讨论,提出了一些与深度分布式表示工作的其他先验;类人学习(human learning),半监督学习,多任务学习。...然后他列出了一些关于鞍点的论文。 Rinu Boney写了篇文章详细阐述深度学习的驱动力,包括对鞍点的讨论,所有的这些都很难通过简单的引用和总结来公正说明。

    585100

    每日一问之鞍点(saddle point)

    结合自己的情况并针对这道问题,整理出了以下概念: 什么是鞍点? 什么是 Hessian 矩阵? 如何证明一个点为鞍点? 局部最小值和鞍点的区别?...如何证明一个点为鞍点 Hessian 矩阵是一个凸函数,并且是正半定的。通过这一属性,我们可以测试临界点 x 是局部最大值,或者是局部最小值还是鞍点。...局部极小值和鞍点 局部极小值和鞍点的相同点是,在该点处的梯度(导数)都为零。从上面可以看出,局部极小值和鞍点的区别就在于,在该点处的 Hessian 矩阵的特性。...如果 Hessian 矩阵在该点处是正定的,则为局部极小值;如果为不定的,则为鞍点鞍点通常是神经网络训练的困难之处。...事实上,建立的神经网络包含大量的参数,造成局部最优的困惑不是这些极小值点,而是零梯度点,通常为鞍点。 ? 为什么说鞍点是训练神经网络的困难之处呢?

    4.2K11

    深度学习为何起作用——关键解析和鞍点

    对深度学习,包括分布式表示,深度架构和易避免鞍点的理论驱动力的讨论。...“上图展示了一个鞍点。在全局或局部最小区域,所有方向都上升,在全局或局部最大区域,所有方向都下降。” 鞍点 “我们来考虑低维度和高维度下的优化问题。在低维度中,确实存在许多局部最小。...当我们优化神经网络或任何高维度函数的时候,对于我们大多数优化的轨迹,临界点(点的导数是0或接近0)都是鞍点鞍点,不像局部最小,很容易退避。”...这一切都表明,事实上因为鞍点的存在,局部最小可能不是问题。 Boney继续他关于鞍点的讨论,提出了一些与深度分布式表示工作的其他先验;类人学习(human learning),半监督学习,多任务学习。...然后他列出了一些关于鞍点的论文。 Rinu Boney写了篇文章详细阐述深度学习的驱动力,包括对鞍点的讨论,所有的这些都很难通过简单的引用和总结来公正说明。

    52150
    领券