我有两个网络共享一个优化器使用不同的学习率。我之所以这样问，是因为当我在优化器中检查参数时(使用下面的代码)，我发现只有2个参数。ljust(30) + ' ') outputs += (k + ': ' + str(v).ljust(10) + ' ')仅打印两个参数-05 betas: (0.9, 0.999) eps: 1e-0
浏览 31提问于2019-10-29得票数 0
回答已采纳
2回答
在Keras和Pytorch中，SGD优化器具有权重衰减参数，我发现tf.train.GradientDescentOptimizer没有重量衰减参数。Pytorch
Keras优化器-
浏览 4提问于2019-03-07得票数 1
PyTorch能够保存和加载优化器的状态。一个例子显示了。我目前只是保存和加载模型状态，而不是优化器。那么，除了不必记住优化器参数(比如学习速率)之外，保存和加载优化器状态还有什么意义。优化器状态中包含了什么？
浏览 5提问于2022-01-19得票数 4
回答已采纳
我想知道如何在PyTorch中对以下数学运算采取梯度步骤(A、B和C是参数为而不是重叠的PyTorch模块)这与生成性对抗性网络(GAN)的成本功能有些不同，所以我不能使用现成的GANs的例子我想到的一种方法是构造两个优化器。优化器opt1具有模块A和B的参数，优化器opt2具有模块C的参数。我确信，它们肯定是使用PyTorch (可能使用一些deta
浏览 1提问于2018-06-12得票数 3
我试图隐藏PyTorch代码的CNN -> LSTM级联模型到PyTorch闪电。在nn.Module码中有两个PyTorch类，一个用于CNN (编码器)，一个用于LSTM (译码器)，最后一个隐藏层作为PyTorch的输入。因此，在转换到PyTorch闪电之后，有两个pl.LightningModule类。我想知道如何在这两个类中填充所需的方法。以下是PyTorch中丢失和优化器<
浏览 0提问于2021-08-03得票数 0
1回答
我的优化问题需要一个参数化的酉矩阵，使用PyTorch，那么如何通过PyTorch生成这样的矩阵，或者如何在优化过程中确保矩阵是酉的？主要问题是n维幺正矩阵，或者可以说这个矩阵是SU(n)是用 n^2-1 参数来参数化的，那么怎么才能用只得到n^2-1参数呢？
浏览 18提问于2022-09-29得票数 0
1回答
在PyTorch中，权重调整策略由优化器确定，学习速率由调度程序调整。当优化器是SGD时，只有一个学习速率，这很简单。当使用Adagrad，Adam，或任何类似的优化器来根据参数来调整学习速度时，有什么特别值得注意的吗？我是否可以完全忽略调度程序，因为算法调整了自己的学习速率？我应该把它参数化得与使用SGD非常不同吗？
浏览 2提问于2020-02-14得票数 4
回答已采纳
1回答
似乎也有一个
Pytorch中的Adam优化器(与所有Pytorch优化器一样)通过遍历参数来执行optimizer.step()，并为每个参数启动一系列内核。目前，Apex中的FusedAdam实现扁平了优化步骤的参数，然后通过融合了所有Adam操作的融合内核来执行优化步骤。这样，参数上的循环以及每个参数的Adam操作的内部
浏览 2提问于2019-06-14得票数 8
1回答
在A2C中，参与者和评论家算法通过方程更新权重：θ=θ+α*δ*Grad(log(PI(a_s，θ))和所以我的问题是，当使用神经网络实现这一点时，谢谢，乔恩
浏览 2提问于2020-01-27得票数 0
回答已采纳
1回答
嗨，我正在尝试用pytorch来理解神经网络。我对梯度计算有疑问..optimizer.zero_grad() #将渐变缓冲区清零损失=标准(输出，目标)optimizer.step() #执行更新
从关于代码中，
浏览 10提问于2019-07-05得票数 0
2回答
使用pyTorch和tensorflow (TF)，我在探索Adam优化器是如何实现的。我也不知道我是否错了，但在我看来，这两种实现不同，而pyTorch实现是的原始实现。q(t+1) = q(t) - \gamma * sqrt[(1-b2^t)]/(1-b1^t) * m(t)/[sqrt[v(t)]+eps] q(t
浏览 4提问于2019-09-06得票数 4
回答已采纳
2回答
我想要手动选择正确的学习率在一个图像分类问题中使用Pytorch，通过运行模型的几个时代。我已经使用LR调度器来衰减学习速率，并且在优化器参数组中也操纵了学习速率，但是我看不到损失的任何变化。
浏览 2提问于2020-01-16得票数 2
回答已采纳
在Pytorch论坛中提到，设置可变的权重会直接导致
“在另一边使用.data是可行的，但通常不建议这样做，因为在使用模型之后更改它会产生奇怪的结果，并且自动梯度不能抛出错误。”此外，我还考虑直接设置优化器参数，特别是具有这些参数的优化器的动量/梯度之和。这种情况也需要考虑吗？
浏览 0提问于2019-08-05得票数 1
回答已采纳
1回答
我查看了一些关于StackOverflow的其他文章，这些文章使用Pytorch应用l1正则化来确定应该如何做(参考文献：、)。无论我增加多高的lambda ( l1正则化强度参数)，我都不会在第一个权重矩阵中得到真零。为什么会这样？
浏览 0提问于2018-04-27得票数 6
回答已采纳
在我第一次提交后，我被告知在加载模型后忘记冻结参数，这样在backprop过程中就不会修改参数。为了解决这个问题，在我加载模型的代码块中，我这样做了： device = torch.device("cuda" if torch.cuda.is_available() else "cpu")modelparam in model.parameters():
param.requires_grad = False 然后，当运行我定义新前馈的块时(下面的代码块，我得到错误'ValueErr
浏览 5提问于2020-04-28得票数 0
我在看CycleGAN的官方pytorch实现，在那里，作者链接了两个网络的参数，并为两个网络使用了一个单独的优化器。这是怎么回事？这比为两个不同的网络使用两个不同的优化器更好吗？
浏览 89提问于2020-05-17得票数 5
我正在阅读pytorch sagemaker文档here，我被困在这条线上 torch.jit.optimized_execution(True, {'target_device': 'eia:device我使用的是pytorch 1.3.1，但我尝试了1.4.0，也遇到了类似的问题。我可以在没有第二个参数的情况下使用优化的执行吗？如何指定加速器？
浏览 26提问于2020-04-02得票数 1
我目前正在开发一个分布式联合学习基础设施，并且正在尝试实现PyTorch。为此，我还需要联邦平均，它对从所有节点检索到的参数进行平均，然后将这些参数传递给下一轮培训。global_sum/global_count new_params = {'averaged_parameters': averaged_parameters}
现在我的问题是，如何更新Pytorch中的所有参数(张量)？我尝试了一些方法，在将new_params插入<em
浏览 7提问于2021-06-10得票数 0
使用Pytorch，我尝试使用ModuleList来确保检测到模型参数，并且可以进行优化。当调用SGD优化器时，我得到以下错误：
你能检查一下下面的代码并提出建议吗？
浏览 2提问于2021-01-29得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
