1回答
梯度下降曲线拟合
、、、、
我写了一些代码，对几个数据点执行梯度下降。由于某些原因，曲线不能正确收敛，但我不知道是什么原因。我总是以一条爆炸的尾巴结束。 我是不是做错了其中一个计算？我尝试将初始权重设置为随机值，但无济于事，有时它会更多地下降，但随后又会给我相同的行为。 这是我得到的一个图： ? 以下是通过最小二乘解获得的预期结果： ?
浏览 19提问于2019-05-20得票数 1
回答已采纳
2回答
对于深度神经网络(DNN)的训练，Hessian-Free (HF)优化技术与梯度下降(例如随机梯度下降(SGD)、间歇梯度下降(SGD)、自适应梯度下降)比较如何？在什么情况下，人们应该更喜欢高频技术，而不是梯度下降技术？
浏览 3提问于2015-07-22得票数 2
回答已采纳
2回答
(i)对于凸损失函数(即碗形)，保证批梯度下降最终收敛到全局最优，而不保证随机梯度下降。(4)对于凸损失函数(即碗形)，既不保证随机梯度下降，也不保证分批梯度
浏览 0提问于2020-08-13得票数 4
回答已采纳
1回答
我知道模型的权重何时更新，同时使用梯度下降(在所有三种类型的GD中)，但在我的情况下，我使用的是带有自定义损失(三元组损失)的adam优化，在这种情况下，模型中的权重何时更新？
浏览 0提问于2019-07-27得票数 1
我目前正在使用ScikitLearn中的两个类处理一个分类问题，其中有求解器adam和激活relu。为了探索我的分类器是否存在高偏差或高方差，我用Scikitlearns内置函数绘制了学习曲线：
应该是这样的吗？我认为学习曲线是根据独立于任何批次/时代的训练数据来处理准确性分数的吗？对于批处理方法，我真的可以使用这个内置函数吗？如果是，我应该选择哪个批次大小(训练示例的整批或批次size=数或两者之间的某个部分)，以及从中得到什么诊断？或者你通常如何诊断神经网络分类器的偏差/方差问题？
浏览 1提问于2019-03-26得票数 1
回答已采纳
optimizer.step() running_loss += L.item()我的理解正确吗？
浏览 3提问于2022-06-04得票数 3
回答已采纳
文件中都说，“用随机梯度下降来拟合线性模型。”
关于随机梯度下降，我所知道的是，在一次迭代中更新模型的参数需要一个训练示例(或整个训练的一部分)。梯度下降在每次迭代中使用整个数据集。我要实现法向梯度下降和随机梯度下降，并比较它们所需的时间。如何在SGDClassifier中做到这一点？fit()方法是否为法向梯度下降？
浏览 2提问于2016-11-18得票数 0
回答已采纳
1回答
我在研究反向传播是如何工作的？我读到，反向传播被用来在每次迭代后用部分导数找到每个神经元的最优权重，并更新神经元的权重。这两种情况看起来是独立工作的，我的意思是，当反向传播算法本身找到最优权重时，我们不需要一个学习速率参数本身。
我的理解正确吗？如果我错了，请纠正我。
浏览 0提问于2020-09-19得票数 0
回答已采纳
我正在读一本书(TensorFlow For Dummies，Matthew Scarpino)，这里说：
Adagrad方法计算的是次梯度而不是梯度。次梯度是适用于不可微函数的梯度的推广。
浏览 0提问于2019-02-16得票数 3
回答已采纳
1回答
我在ML领域没有太多的知识，但从我天真的观点来看，在训练中性点网络时，似乎总是使用梯度下降的一些变体。因此，我想知道为什么没有使用更高级的方法，例如SQP算法或内点方法。
浏览 0提问于2018-02-22得票数 2
1回答
当使用基于梯度下降的算法时，课程机器学习课程中的建议之一是：
调试梯度下降。用x轴上的迭代次数绘制一幅图.现在绘制成本函数，J(θ)在梯度下降的迭代次数上。如果J(θ)增加，那么您可能需要减少α。学习中基于梯度下降的模型是否提供了一种检索成本与迭代次数的机制？
浏览 0提问于2018-02-28得票数 8
回答已采纳
我试图了解梯度下降，随机梯度下降和小批梯度下降的工作.
在梯度下降的情况下，在每一步计算整个数据集的梯度。所以我想这就像多个任务，在每个任务中，从数据集中查看一个项。最终选择最佳任务的结果。当随机梯度下降时，在每一步得到一个新的随机样本。因此，与上面的多个任务示例不同，只有一个任务，并且在任务的每一步都会选择一个随机样本。我假设所选的新随机样本必须位于比现有样本低的位置？在小型批处理梯度</
浏览 0提问于2022-07-29得票数 0
1回答
在机器学习的coursera课程中，它说梯度下降应该收敛。我们如何在现实世界中使用scikit-learn中的线性回归？或者为什么scikit-learn不在线性回归输出中提供梯度下降信息？
浏览 0提问于2015-12-26得票数 26
回答已采纳
从我的背景来看，我理解有一个学习速率(α)的目的是将梯度的大小(▽J)标准化，这样步长就可以适当地收敛到局部极小值。w:=w −α▽Jw:=w −▽J/||▽J||
再次，回到我的问题，我不明白为什么梯度下降的变体没有我的想
浏览 0提问于2022-07-05得票数 1
1回答
梯度消失的问题基本上是，由于我们的步长与梯度成正比，如果梯度很小，可能需要很长时间才能达到局部最小值。那么，我们为什么不采取我们的步长与梯度成比例，而不是做一个线搜索？为什么梯度下降应该起作用的直觉是，如果我们朝着最陡峭的下降方向移动，它应该会使函数变小。然而，还不清楚为什么步长必须与梯度的大小成正比。在关于这一主题的旧纸中，Haskell表明，只要我们进行直线搜索，梯度下降就会收敛，他不考虑比例步长的情况。我想的越
浏览 0提问于2020-10-12得票数 1
1回答
据我所知，批量(香草)梯度下降对所有训练数据进行一次参数更新。随机梯度下降(SGD)允许您更新每个训练样本的参数，帮助模型更快地收敛，但代价是函数损失的高度波动。 ? 批量(香草)梯度下降集batch_size=corpus_size。 SGD设置batch_size=1。和小批量梯度下降集batch_size=k，其中k通常为32，64,128… gensim如何应用SGD或小批量梯度下降？看起来batch_
浏览 32提问于2019-05-02得票数 0
回答已采纳
1回答
他还说，它可以同时完成，并给出了梯度下降算法： ? 我想问x和theta是否同时更新。例如，对于每次迭代:在对x执行单个梯度下降后，我是否使用新的x值重新计算平方误差和，然后对θ执行梯度下降，然后重复直到收敛。或者我在x上执行一次梯度下降，使用相同的平方误差和，对theta也执行梯度下降
浏览 37提问于2020-11-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
