1回答
我是一个学习深度学习的学生。这些天，我试图看到关于权重和偏差的损失函数的图表。特别是，我希望应用梯度下降方法来获得平滑的线条，而不是来自其他优化器的随机特征。Keras框架提供了各种类型的优化器，如SGD，RMSprop，Adagrad，AdaDelta，Adam等。然而，正常的，一般的和平坦的梯度下降(没有随机特征)在Keras</em
浏览 13提问于2019-11-08得票数 1
2回答
当batch_size参数大于1时，我有一个关于在Keras/Tensorflow中实现Dropout的问题。最初的文件说：
唯一的区别是，对于一个小批量的每一个训练案例，我们通过退出单位来抽样一个变薄的网络。该训练案例的前向和反向传播仅在这个稀疏的网络上进行。每个参数的梯度在每个小批的训练案例中平均。任何不使用参数的训练案例都会为该
浏览 5提问于2020-02-19得票数 0
2回答
当使用批处理梯度下降、随机梯度下降和小批随机梯度下降时，我试图绘制不同的学习结果。无论我看什么地方，我都读到batch_size=1和普通SGD一样，而batch_size=len(train_data)和批处理梯度下降是一样的。我知道随机梯度下降是指每次更新只使用一个数据样本，而批处理梯度下降使用</
浏览 3提问于2020-07-28得票数 2
回答已采纳
2回答
如何使用Keras手动更新权重
、、、、
我正在使用Keras构建一个LSTM，并通过使用外部成本函数进行梯度下降来调整它。因此，权重将更新为：我知道我可以使用keras.getweights()获得权重，但如何进行梯度下降并更新所有权重我试着使用initializer，但我还是没弄明白。我只找到了一些与tensorflow相关的代码，
浏览 3提问于2018-07-16得票数 15
我有一个使用numpy和opencv方法实现的丢失函数。此函数还使用网络的输入图像和输出。
是否有可能将输入和输出层转换为numpy数组，计算损失并使用它优化网络？
浏览 2提问于2017-10-01得票数 2
回答已采纳
2回答
这是我的密码。from keras.optimizers import gradient_descent_v2 as SGD
sgd=SGD(lr=0.01,momentum=0.9,decay=(0.01/25)
浏览 11提问于2022-04-30得票数 0
1回答
我尝试用一个线性回归玩具问题，用梯度体面算法对MSE函数进行优化。gradient_decent(v_next)
v_0 = np.array([[1], [1]])
我尝试过不同的alpha值，但是代码永远不会收敛(无限递归)，问题似乎在于递归的停止条件，但是在运行了几次之后，v_next和v_prev在-infinte之间反弹到无穷大。
浏览 1提问于2021-01-07得票数 0
回答已采纳
1回答
我问自己，下面的代码是否只做了一个梯度下降的步骤，还是做了整个梯度下降算法？opt = tf.keras.optimizers.SGD(learning_rate=self.learning_rate)
opt = tf.keras.optimizers.SGD(learning_ratetrain = opt.minimize(self.loss, var_list=[self.W1, self.b1, self.W2, self.b2, self.W3, se
浏览 9提问于2022-01-16得票数 2
2回答
假设我想使用N个样本的数据集来训练一个随机梯度下降回归算法。由于数据集的大小是固定的，我将重用数据T次。在每次迭代或“时代”中，在随机地重新排序整个训练集之后，我使用每个训练样本一次。我的实现是基于Python和Numpy的。因此，利用向量运算可以显着地减少计算时间。想出一个批量梯度下降的矢量化实现是非常简单的
浏览 0提问于2014-10-10得票数 10
回答已采纳
我对这种型号的批次大小感到困惑。我使用sgd，即随机梯度下降作为优化器(请参阅代码)。我知道在sgd中，使用训练集中的一个随机实例来计算每个步骤的梯度。因此，根据它，batch_size应该等于1。这是因为默认值32将使其成为最小批处理梯度下降.import tensorflow as tf
fashion_mnist =
浏览 0提问于2019-07-17得票数 1
回答已采纳
利用L1正则化方法对Keras中的神经网络参数进行keras.regularizers.l1(0.01)正则化，得到稀疏模型。我发现，虽然我的许多系数接近于零，但它们中的一些实际上是零。通过查看，它建议Keras简单地将参数的L1范数添加到损失函数中。
这将是不正确的，因为参数几乎肯定永远不会像L1正则化时所期望的那样(在浮点错误范围内)变为零。当参数为零时，L1范数是不可微的，因此需要使用
浏览 8提问于2017-03-31得票数 13
我看到很多实现使用GIS或IIS来训练最大熵模型。我们能用梯度下降法吗？如果我们可以使用它，为什么大多数教程直接告诉GIS或IIS方法，但不显示简单的梯度下降法来训练最大熵模型？是否有一个玩具代码使用简单的梯度去训练最大模型？我认为很容易实现一个玩具代码，它的推导只是计算经验期望和模型期望。
浏览 0提问于2016-07-10得票数 2
回答已采纳
2回答
神经网络函数最小化器的时间复杂度
、、、、
我试着训练一个neural network来识别A到J的手写信件。我有一套200000码的训练。每个训练集都是784像素值的列表。我正在使用python的fmin_cg库的scipy最小化函数。我面临的问题是，每次迭代都要花费大量的时间。第二次迭代耗时20分钟。
第三名还在跑。这可能是因为我的电脑过时了，只有2GB的内存和一个缓慢的处理器，但是我以前用traini
浏览 0提问于2016-10-31得票数 1
回答已采纳
1回答
在机器学习的coursera课程中，它说梯度下降应该收敛。我们如何在现实世界中使用scikit-learn中的线性回归？或者为什么scikit-learn不在线
浏览 0提问于2015-12-26得票数 26
回答已采纳
我正在尝试使用斯坦福NLP库中的QNMinimizer，但在使qn.minimize正常运行所需的参数方面遇到了问题。= new QNMinimizer(10, true)我需要将一个diffFunction类型的对象放在"null“所在的位置，但不确定如何创建/实现一个。我有一个使用梯度下降<
浏览 3提问于2017-04-07得票数 0
我想用tf.contrib.keras来摆弄它。然而，有一件事我不明白。tf.train中的类有一个函数minimize，您可以使用它来优化您的函数。但是，tf.contrib.keras.optimizers中的类不存在此minimize函数。minimize function does not exists
因为没有minimize函数，所以keras包装器无法工作。我试图寻找一个使用tf.keras和tensorflow
浏览 3提问于2018-02-17得票数 5
我对fit()和partial_fit()的SGDClassifier方法感到困惑。文件中都说，“用随机梯度下降来拟合线性模型。”关于随机梯度下降，我所知道的是，在一次迭代中更新模型的参数需要一个训练示例(或整个训练的一部分)。梯度下降在每次迭代中使用整个数据集。我想用logistic回归来训练一个模型。我要实现法向梯度下降和随机梯度</
浏览 2提问于2016-11-18得票数 0
回答已采纳
2回答
Keras中的策略梯度
、、、、
我一直试图建立一个使用‘深度Q-学习’的模型，其中我有大量的行动(2908)。在使用标准DQN：()取得有限的成功之后，我决定做更多的研究，因为我认为动作空间太大，无法进行有效的探索。然后我发现了这篇论文：，在这里他们使用了一个参与者-评论家模型和策略梯度，这导致了我：，在那里，他们使用策略梯度来获得比DQN更好的结果。我已经找到了几个在Keras、和中实
浏览 6提问于2016-11-05得票数 23
8回答
选择学习率
、、、、
我目前正致力于利用反向传播实现神经网络的随机梯度下降( SGD )，虽然我理解它的目的，但我有一些关于如何为学习速率选择值的问题。如果不是我应该选择什么样的价值观，我应该如何选择它们？似乎你想要小<e
浏览 0提问于2014-06-16得票数 114
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
