为什么有些人将两个不同网络的参数链接在一起，并用相同的优化器训练它们？

文章/答案/技术大牛

发布

2回答

python、deep-learning、pytorch、generative-adversarial-network

我在看CycleGAN的官方pytorch实现，在那里，作者链接了两个网络的参数，并为两个网络使用了一个单独的优化器。这是怎么回事？这比为两个不同的网络使用两个不同的优化器更好吗？

浏览 89提问于2020-05-17得票数 5

2回答

loss.backward()与模型的适当参数有何关系？

machine-learning、deep-learning、pytorch

我是PyTorch的新手，我很难理解loss是如何知道如何通过loss.backward()计算梯度的？当然，我知道参数需要有requires_grad=True，并且我知道它将x.grad设置为适当的梯度，以便优化器稍后执行梯度更新。优化器在实例化时链接到模型参数，但损失永远不会链接到模型。我一直在通过，但我认为没有人清楚地回答了这个问题，这个帖子的发起人似乎和我有同样

浏览 2提问于2019-11-14得票数 3

1回答

keras中两个.h5文件夹的平均权重

keras、deep-learning、conv-neural-network、keras-layer

我已经在不同的数据集上训练了两个模型，并将每个模型的权重保存为ModelA.h5和ModelB.h5。我想平均这些权重，并创建一个名为ModelC.h5的新文件夹，并将其加载到相同的模型架构上。

浏览 20提问于2020-02-08得票数 0

回答已采纳

1回答

不同TF版本的DIfferent优化

tensorflow、keras、version、adam

我试图用keras和Tensorflow版本2.6训练一个卷积神经网络，我也用Tensorflow版本1.11来训练它。我想我做了迁移测试(两个神经网络收敛了)，但是当我看到它们的结果非常不同时，在TF2.6中最糟糕的是，对于具有相同的超参数(learning_rate = 0.001)的两种情况，我都使用了一个优化器Adam，

浏览 20提问于2022-11-11得票数 0

2回答

从测试集绘制验证集

python、neural-network、cross-validation、correlation、ensemble-modeling

我正在建立一个数据集上的3个神经网络模型，该模型已经分离为训练集和测试集。根据我的分析，我发现这个数据集在测试集上有不存在于火车集中的值。这给了我的神经网络模型(S)一定的限制或最大容量。我的意思是，即使我改变了我的模型的超参数或参数，我似乎也不能提高精度。我已经建立了3个神经网络模型，几乎所有的内容都不同：数字节点/

浏览 0提问于2019-10-08得票数 0

4回答

LightGBM根据列的顺序给出不同的结果(度量)

machine-learning、classification、lightgbm

我有两个几乎相同的数据集A和B，它们只是在列排序方面有所不同。然后，通过以下步骤对这两个数据集中的每个数据集进行LightGBM模型的培训：将超参数保留为几乎默认的使用网格搜索优化<

浏览 0提问于2019-04-30得票数 15

3回答

为什么不在火车数据集上优化超参数呢？

machine-learning、neural-network、training-data

在开发神经网络时，通常会将训练数据划分为列车、测试和保留数据集(许多人将这些数据分别称为列车、验证和测试)。同样的东西，不同的名字)。许多人建议根据测试数据集中的性能选择超参数。我的问题是:为什么？为什么不在列车数据集中最大限度地提高超参数的性能，当我们通过测试数据集中的性能下降检测到过度拟合时，停止对超参数的

浏览 1提问于2016-07-05得票数 5

回答已采纳

1回答

对提取的特征进行训练的神经网络是否与冻结层的完整网络具有相同的精度？

machine-learning、neural-network、keras、optimization、feature-extraction

假设我在完全相同的数据集上训练两个神经网络。基本上，我通过VGG19的卷积层传递所有数据，将最后一个卷积层的输出保存到磁盘。然后，将数据加

浏览 0提问于2021-03-26得票数 0

回答已采纳

1回答

SGD权重空间通过异步训练进行更新

machine-learning、neural-network、ensemble-learning

我正在寻找创造性的方法来加快我的神经网络的训练时间，还可能减少消失的梯度。我在考虑将网络拆分到不同的节点上，在每个节点上使用分类器作为后盾“助推器”，然后用每个节点之间的稀疏连接将节点堆叠在一起(尽可能多地避免以太网网络饱和，使其变得毫无意义)。如果我这样做，我不确定我是否必须在节点之间维护某种状态并在同一个例

浏览 2提问于2015-08-09得票数 0

2回答

GAN中发电机和鉴别器的不同优化器

optimization、gan

我看到了关于GAN实现的建议，对于生成器(G)和鉴别器(D)，应该有不同的优化器。据我所知，这取决于每个模型(G和D)的收敛速度。我想澄清这个问题。为什么它可以说，例如，GSD必须选择为D，亚当只为G，而不是反面？(两种解释都欢迎直觉或数学解释)

浏览 0提问于2019-08-25得票数 2

1回答

链接器通常对不同c++模板实例中的重复代码进行优化吗？

c++、templates、linker、instance、multiple-instances

最近，由于我对嵌入式编程的尝试，我一直在想的是，在模板参数不同的模板实例中，链接器应该如何处理代码重复。对于具有相同参数的相同模板的多个实例，这是众所周知的在链接时间被优化(另见：)。然而，在我的例子中，我感兴趣的是链接器是否会识别用不同

浏览 1提问于2016-07-29得票数 2

回答已采纳

1回答

图像与文本的分布差异

distribution、text、features、image

在图像标题的任务中，我曾经读过，从图像和文本中提取的深层网络特征来自两个不同的世界，并且得到了不同的分布。我的问题是，它们之间的分布是怎样的，它们又有什么不同？

浏览 0提问于2020-11-23得票数 1

回答已采纳

2回答

为什么我的模型可以处理来自train_test_split的测试数据，而不能处理新的数据呢？

python、machine-learning、neural-network、regression、train-test-split

我是机器学习的新手。当我使用X_test和y_test对验证数据进行验证时，我可以得到很好的结果：然而，当我使用这个模型预测另一个数据(X_real、y_real) (它们与X_test和y_test没有太大的不同，只是<

浏览 0提问于2017-10-17得票数 2

回答已采纳

1回答

如何在TensorFlow中可视化依赖于输出类的DNN？

python-2.7、tensorflow、deep-learning

在TensorFlow中，在给定单个输入的情况下，可视化过滤器和激活层非常简单。但我更感兴趣的是相反的方式:将一个类(作为一个热点向量)提供给输出层，然后查看该特定类的最佳输入图像。背景:我正在使用15个类的Googles Inception V3，并且我已经用大量数据训练了网络，达到了很好的精度。现在我有兴趣了解模型为什么以及如何区分不同的类。

浏览 2提问于2016-10-04得票数 1

2回答

将多个机器学习算法结合使用

machine-learning、neural-network、svm、backpropagation

我对机器学习有点陌生，我想知道我们是否可以使用多种机器学习算法，例如支持向量机和反向传播一起解决一个特定的问题。

浏览 0提问于2018-11-12得票数 0

2回答

Pycafe创建两个具有相同权重和偏差的网络

caffe、pycaffe

我尝试创建两个具有相同权重和偏差的网络，我希望学习曲线相似。在迭代2中，两个网络中的所有斑点都是相同的( data & Diff)，但参数(权重和偏差)是不同的！我到底做错了什么？注意:在网络中，数据集和丢弃层不存在任何混洗。

浏览 0提问于2016-10-20得票数 0

2回答

Tensorflow中RNN、CNN和NN结果分析

python、tensorflow、machine-learning、deep-learning

我有很大的标签数据集。每行包含863标记化的单词。我正在尝试验证哪种类型的NN最适合分析这样的数据集。0.01), bias_regularizer=l2(0.01)), ]) tf.keras.layers.Dense(1, activation='sigmoid

浏览 1提问于2020-04-29得票数 0

1回答

PyTorch中的最小化与最大化

pytorch

我想知道如何在PyTorch中对以下数学运算采取梯度步骤(A、B和C是参数为而不是重叠的PyTorch模块)这与生成性对抗性网络(GAN)的成本功能有些不同，所以我不能使用现成的GANs的例子，而且我在尝试将它们调整到上面的成本时被困住了。我想到的一种方法是构造两个优化器。优化器opt1具有模块A和B的参数<

浏览 1提问于2018-06-12得票数 3

1回答

当指定"retain_graph=True“时，PyTorch的loss.backward()是如何工作的？

python、python-3.x、pytorch、torchvision

我是PyTorch和对抗性网络的新手。我试图从PyTorch文档和以前在PyTorch和StackOverflow论坛上的讨论中寻找答案，但我找不到任何有用的答案。我试着用发电机和鉴频器训练GAN，但我不明白整个过程是否有效。就我而言，我应该先训练生成器，然后更新鉴别器的权重(类似于)。) loss_d.backward()其中loss_g是发电机损耗，loss

浏览 2提问于2020-06-01得票数 1

回答已采纳

2回答

如何解释机器学习模型的损失和准确性

machine-learning、neural-network、mathematical-optimization、deep-learning、objective-function

当我用Theano或Tensorflow训练我的神经网络时，他们会在每个时期报告一个名为"loss“的变量。我应该如何解释这个变量？更高的损失是好是坏，或者它对我的神经网络的最终性能(准确性)意味着什么？

浏览 227提问于2015-12-30得票数 251

回答已采纳

点击加载更多