2回答
对于深度神经网络(DNN)的训练，Hessian-Free (HF)优化技术与梯度下降(例如随机梯度下降(SGD)、间歇梯度下降(SGD)、自适应梯度下降)比较如何？在什么情况下，人们应该更喜欢高频技术，而不是梯度下降技术？
浏览 3提问于2015-07-22得票数 2
回答已采纳
我正在研究政策梯度方法。然而，如果我将优化器从Adam改为随机梯度下降(SGD)，它永远不会收敛，而且似乎是随机的。为什么会这样呢？政策梯度方法是否使SGD成为一个糟糕的选择？
浏览 0提问于2018-09-17得票数 3
当我处理强化学习问题时，我试图想出自己的损失函数。(打开Ai的“Cartpole-V0”游戏。)x = keras.layers.Dense(64, activation='relu')(inputs)
x = keras.layers.Dense(64, activation='relu')(x)
浏览 0提问于2018-08-13得票数 0
2回答
我使用数字进行分类(我使用自适应梯度、随机梯度下降和内斯特罗夫加速梯度测试GoogLeNet )。图像是彩色的，256*256。训练结束后，我使用“测试单个图像”选项并测试一个图像。实验结果表明，该算法对图像进行了精确匹配和分类。然后使用下载的模型在基于"“的OpenCV 3.1 (windows 64位、visual studio 2013、Nvidia GPU)上进行应用。
浏览 0提问于2016-10-07得票数 2
Adam优化器有几个术语，用于向梯度下降算法添加“动量”，使每个变量的步长自适应： 具体地说，在Adam here的情况下，我指的是m-here和v-hat术语。
浏览 58提问于2021-02-11得票数 2
考虑一个简单的一维函数y = x^2，用梯度上升法求出最大值.梯度上升给出更新规则:x= old_x + learning_rate *梯度
但我无法解开为什么仅仅接受一个梯度(正负)的符号对于提升来说是不够的。
浏览 0提问于2021-01-16得票数 3
回答已采纳
为了适当地收敛到最优，人们发明了各种使用自适应学习速率的算法，如AdaGrad、Adam和RMSProp。另一方面，有一个学习速率调度器，如功率调度和指数调度。我认为使用自适应学习速率优化算法(如Adam )比使用学习速率调度器更简单、更容易实现。
那么，你如何才能正确地使用它，这取决于什么样的问题？
浏览 0提问于2017-08-15得票数 8
1回答
这两种情况看起来是独立工作的，我的意思是，当反向传播算法本身找到最优权重时，我们不需要一个学习速率参数本身。
我的理解正确吗？如果我错了，请纠正我。
浏览 0提问于2020-09-19得票数 0
回答已采纳
我目前正在使用ScikitLearn中的两个类处理一个分类问题，其中有求解器adam和激活relu。为了探索我的分类器是否存在高偏差或高方差，我用Scikitlearns内置函数绘制了学习曲线：
应该是这样的吗？我认为学习曲线是根据独立于任何批次/时代的训练数据来处理准确性分数的吗？对于批处理方法，我真的可以使用这个内置函数吗？如果是，我应该选择哪个批次大小(训练示例的整批或批次size=数或两者之间的某个部分)，以及从中得到什么诊断？或者你通常如何诊断神经网络分类器的偏差/方差问题？
浏览 1提问于2019-03-26得票数 1
回答已采纳
1回答
你可以推荐哪种训练方法来训练基于注意力的序列到序列神经机器翻译模型？SGD，Adadelta，Adam还是更好的？请给我一些建议，谢谢。
浏览 3提问于2017-04-20得票数 0
1回答
当使用基于梯度下降的算法时，课程机器学习课程中的建议之一是：
调试梯度下降。用x轴上的迭代次数绘制一幅图.现在绘制成本函数，J(θ)在梯度下降的迭代次数上。如果J(θ)增加，那么您可能需要减少α。学习中基于梯度下降的模型是否提供了一种检索成本与迭代次数的机制？
浏览 0提问于2018-02-28得票数 8
回答已采纳
文档指向，它说：
所以在spark.mllib中有和。
浏览 0提问于2018-04-20得票数 0
1回答
我很难理解这个关于德尔塔规则的概念。据我所知，在学习网络的过程中，增量规则用于更新权重。假设我有这两个公式：
learning rate (eta) * gradient of loss function. 第二个公式令人困惑。上面到底写了什么？两者都应该是增量规则，但两者之间有什么区别呢？请你解释一下，下面的公式是什么？我想是这样的(但我不能完全肯定.)
change weight between neuron ij = learning rate (eta) * (I dont have a
浏览 4提问于2019-12-18得票数 1
我有一个包含1%正类 (1's) 和99%负数 (0's)的数据，并且我正在使用Pyspark中的Logistic回归。我在上讨论了处理不平衡数据集的问题，解决方案是添加一个weightCol，就像它在链接中提供的答案中所说的那样，以便告诉模型将更多的注意力集中在1上，因为那里的数据比较少。
浏览 2提问于2019-05-06得票数 1
2回答
梯度下降算法
、、
这是我在梯度下降算法上的工作#include<math.h>using namespace std;
double f_prime
浏览 2提问于2012-04-11得票数 1
回答已采纳
1回答
我正在尝试Boyd的“凸优化”一书中的问题9.30。但出于某种原因我不能让回溯线搜索起作用。这是我的代码：A = np.random.randn(m, n)gtol = 1e-3
# return - np.sum(np.log(1-x*x)) - np.sum(np.log(1-A @ x))
浏览 12提问于2022-10-31得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
