我想分别计算关于权重变量和偏差项的梯度张量。权重变量的梯度计算正确，但偏差的梯度计算得不好。请让我知道问题是什么，或者正确地修改我的代码。tf.constant([ [-10.0], [-5.0], [0.0], [5.0], [10.0] ])
with tf.Grad
浏览 7提问于2019-09-06得票数 0
回答已采纳
我希望在自定义NN架构上实现GradientTape()，但我没有看到任何关于如何使用它来计算偏差的解释。here也回答了类似的问题，但没有得到完全回答。举个简单的例子，我的神经网络的训练步骤如下： self.W = ## Initialized earlier on with tf.Gradient
浏览 22提问于2020-01-01得票数 0
1回答
我最近读了一段Pytorch代码，遇到了loss.backward()和optimizer.step()函数，有没有类似于使用tensorflow/keras的函数呢？
浏览 2提问于2020-05-05得票数 6
1回答
我理解，只要我在tf.GradientTape()上下文中定义一个计算，梯度磁带就会计算出计算输出所依赖的所有变量。但是，我认为我并没有完全理解梯度的子属性，因为下面的代码没有像我期望的那样执行：x = tf.Variable(2.)
loss_ = x**2-2*x为什么不计算梯度wrt？我只能计算wrt到上下文中显式使用
浏览 6提问于2020-06-01得票数 0
2回答
对于一个非平凡的雅可比计算(例如，对于具有非线性激活函数的深卷积神经网络)，重复重新运行GradientTape计算和评估jacobian方法是非常昂贵的。我从中得知，梯度(因此也是雅可比)是通过自动微分计算的。我不得不想象网络的分析梯度(由自动微分计算)的内部存储，它是在给定的输入时评估的。我的问题是:假设T
浏览 5提问于2020-02-03得票数 2
回答已采纳
我理解，只要我在tf.GradientTape()上下文中定义一个计算，梯度磁带就会计算出计算输出所依赖的所有变量。但是，我认为我并没有完全理解梯度的子属性，因为下面的代码没有像我期望的那样执行：x = tf.Variable(2.)
loss_ = x**2-2*x为什么不计算梯度wrt？我只能计算wrt到上下文中显式使用
浏览 0提问于2020-06-01得票数 2
我有一个经过训练的Tensorflow 2.0模型(来自tf.keras.Sequential())，它采用一个输入层，有26列(X)，并生成一个带有1列(Y)的输出层。在Tf1.x中，我能够通过以下方法计算输出相对于输入的梯度：sess = K.get_session()
在问题中，我们
浏览 19提问于2019-12-02得票数 8
回答已采纳
1回答
要计算梯度惩罚，需要计算与输入图像相关的预测的梯度。
现在，为了使它更易于处理，它不需要计算所有输入图像的预测梯度，而是按照原始数据点和假数据点的线计算插值数据点，并使用这些数据点作为输入。为了实现这一点，我首先开发compute_gradients函数，它将进行一些预测，并返回那些相对于某些输入图像的梯度。首先，我想用tf.keras.back
浏览 2提问于2020-03-19得票数 1
回答已采纳
我使用WinPython3.5.4.2并安装了TensorFlow 1.8.0。我一直在关注的教程，直到题为“训练循环”的部分。tf.train.get_or_create_global_step())
6 with tf.GradientTape
浏览 0提问于2018-05-09得票数 4
回答已采纳
我想将tensorflow 2.0中的损失函数替换为梯度函数。如下所示： # do some standard tensorflow things here然后，我使用tf.GradientTape方法应用梯度，即 loss = loss_funct
浏览 21提问于2019-11-20得票数 1
我想把cnn和变压器结合起来，并将梯度应用于这两种模型。我创建我的CNN模型：和tf.GradientTape()作为磁带: cnn_prediction = cnn_model(inp，training=True)预测，_=转换器(cnn_prediction，tar_inp，True，enc_padding_mask，combined_mask，(
浏览 0提问于2021-05-19得票数 1
我目前正在使用Tensorflow 2.x分析在CNN的训练过程中梯度是如何发展的。我想要做的是将批次中的每个梯度与整个批次的梯度结果进行比较。目前，我对每个训练步骤都使用了这个简单的代码片段：loss_object = tf.keras.losses.SparseCategoricalCrossentropy()
[...，当单独计算每个梯度时，<
浏览 15提问于2020-06-08得票数 2
回答已采纳
Tensorflow版本: Tensorflow 2.1 with tf.GradientTapeoperations that the layer applies
# to its inputs are going
浏览 1提问于2020-02-09得票数 0
我正在使用Tensorflow，并且正在使用已经为TensorFlow1 (https://github.com/openai/maddpg/blob/master/maddpg/common/tf_util.py)实现的代码。在将代码迁移到tensorflow 2时，我能够使用在线提供的文献进行大多数更改。但是，我找不到145行的合适替代品： gradients = optimizer.compu
浏览 429提问于2021-05-07得票数 4
在查看TensorFlow1.15中的OptimizerV2代码时，我注意到它们使用backprop.GradientTape来计算梯度。我找不到任何关于这个类的在线参考，只能找到tf.GradientTape。两者之间的区别是什么？
浏览 12提问于2020-03-10得票数 3
回答已采纳
我用tf.stop_gradient()关闭了神经网络中一些权重的梯度计算。不幸的是，tf.GradientTape().gradient()将这些权重的梯度分配为None，这并不适用于optimizer.apply_gradients。解决办法是在之后为这些渐变分配零。有更好的工作吗？
有可能让tf.GradientTape().gradient()自动将None替换为零吗？或者，是否有一种方法可以让优化器使用渐变
浏览 6提问于2022-05-03得票数 0
回答已采纳
1回答
我有一个被训练的模型叫做网，最后一层(输出层)是一个密集的层，有10个单元和线性激活函数。当我计算这样的梯度时，一切都很好： output = net(x)输出是一个形状(1，10)的tf.Tensor。现在，当我尝试从10个输出单元中的一个计算渐变时
浏览 0提问于2020-01-26得票数 1
回答已采纳
1回答
我有一个脚本，可以执行类似Gatys的神经样式转换。它使用样式损失和总变化损失。我正在使用GradientTape()来计算我的梯度。我实现的损失似乎工作得很好，但是我添加的一个新损失没有被GradientTape()正确地说明。我使用的是启用了急切执行的TensorFlow。
我怀疑这与我如何根据输入变量计算损失有关。我不理解Gradi
浏览 22提问于2019-07-27得票数 1
我有一个这样的发电机： model = tf.keras.Sequential()def train(g_model, d_model, g
浏览 8提问于2021-12-17得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
