Tensorflow上的AdaGrad优化器的正确关键字是什么？
Tensorflow上的AdaGrad优化器的正确关键字是"tf.train.AdagradOptimizer"。
相关·内容
我是tensorflow和机器学习的新手，我正在训练一个关于经典MNIST数据集的tf.estimator.LinearClassifier。
在培训过程结束后，我将使用classifier.get_variable_names()读取输出权重和偏差：
"['global_step', 'linear/linear_model/bias_weights', 'linear/linear_model/bias_weights/part_0/Adagrad', 'linear/linear_model/pixels/weights&#
浏览 1提问于2018-09-01得票数 1
回答已采纳
我是tf新手，在阅读模型代码时，我注意到它使用了1)，但我可以找到的大多数文档都使用2)和3)。那么，tensorflow.python库的用途是什么，似乎不是在正式文档中？1到2,3之间的关系是什么？
进口AdagradOptimizerfrom tf.compat.v1.培训进口AdagradOptimizerfrom tf.keras.optimizers进口Adagrad
浏览 2提问于2021-10-12得票数 2
回答已采纳
1回答
从Tensorflow (翻译，ptb)的各种例子来看，在使用GradientDescentOptimizer时，您似乎需要显式地改变学习速度。但是，当我们继续从保存的实例中训练模型时，是否使用了一些更“复杂”的技术，如Adagrad、Adadelta等等，这些优化器使用的过去值是否保存在模型文件中？
浏览 3提问于2016-05-25得票数 0
回答已采纳
1回答
我想创建一个迭代模型测试器，我搜索了一下，但我只找到了可变的变更主题。我想更改优化器，如下所示 optimizer_list = ['Adagrad', 'SGD', 'Adam', ..]
for i in model_list:
model.compile(loss='categorical_crossentropy',
optimizer = Adagrad(),
metrics = ['accuracy']) 它没有像我预期的
浏览 4提问于2018-12-26得票数 1
回答已采纳
我试图在tensorflow版本2.4.1上使用嵌入层并行化一个模型。但是它给我带来了以下错误：
InvalidArgumentError: Cannot assign a device for operation sequential/emb_layer/embedding_lookup/ReadVariableOp: Could not satisfy explicit device specification '' because the node {{colocation_node sequential/emb_layer/embedding_lookup/ReadVa
浏览 3提问于2021-03-18得票数 1
回答已采纳
我对tensorflow还比较陌生，但即使做了大量的研究，我还是找不到一些不同含义的文档。
对于我目前的项目，我想在tensorflow的帮助下训练一个DNN，然后我想从它中提取权重和偏差矩阵，以便在tensorflow之外的另一个应用程序中使用它。对于第一次尝试，我建立了一个4，10，2结构的简单网络，它可以预测二进制结果。
我使用了3个real_valued_columns和一个sparse_column_with_keys (包装在embedding_column中)作为特性：
def build_estimator(optimizer=None, activation_fn=tf.si
浏览 0提问于2017-07-24得票数 1
回答已采纳
1回答
Adagrad隐式变量
、、、
以下模型：
import tensorflow as tf
import numpy as np
BATCH_SIZE = 3
VECTOR_SIZE = 1
LEARNING_RATE = 0.1
x = tf.placeholder(tf.float32, [BATCH_SIZE, VECTOR_SIZE],
name='input_placeholder')
y = tf.placeholder(tf.float32, [BATCH_SIZE, VECTOR_SIZE],
name='
浏览 3提问于2017-10-10得票数 1
我正在为科学博览会做实验，我不能使用它，因为它把它算作不存在。
我的代码：
import tensorflow as tf
from tensorflow import keras
import matplotlib.pyplot as plt
import numpy as np
import time
start_time = time.time()
data = tf.keras.datasets.fashion_mnist
(train_images, train_labels), (test_images, test_labels) = data.load_data()
c
浏览 10提问于2019-11-28得票数 2
回答已采纳
1回答
在我的TensorFlow项目中，我想尝试不同的优化器，理想情况下我会遍历它们，这样我就可以在TensorBoard中比较训练结果。我提取了优化部分，因为它失败了。我有这样的东西： import os
import tensorflow as tf
eta = 0.1
num_epochs = 100
xv = tf.Variable(0.0)
sv = tf.Variable(0, trainable=False)
loss = xv * xv - 4.0 * xv + 5.0
optimizers = [tf.train.GradientDescentOptimizer(eta)
浏览 34提问于2019-08-26得票数 2
回答已采纳
1回答
我在嵌入层上得到了一个InvalidArgumentError：
Colocation Debug Info:
Colocation group had the following types and supported devices:
Root Member(assigned_device_name_index_=2 requested_device_name_='/job:localhost/replica:0/task:0/device:GPU:0' assigned_device_name_='/job:localhost/replica:0/task:0/
浏览 19提问于2021-02-23得票数 0
回答已采纳
我正在读一本书(TensorFlow For Dummies，Matthew Scarpino)，这里说：
Adagrad方法计算的是次梯度而不是梯度。次梯度是适用于不可微函数的梯度的推广。这意味着AdaGrad方法可以优化可微函数和不可微函数。
但我在其他地方都没见过这样的说法。所以我想知道：
我们真的可以仅仅因为我们使用Adagrad而优化不可微损失函数吗？
浏览 0提问于2019-02-16得票数 3
回答已采纳
我正在尝试使用Pandas的一些测试数据来训练一个简单的DNNClassifier。当TensorFlow尝试保存检查点时，它会遇到以下错误。
这是一个内部错误-手册中没有可用的信息。
INFO:tensorflow:Error reported to Coordinator: <class 'tensorflow.python.framework.errors_impl.InternalError'>, Unable to get element as bytes.
INFO:tensorflow:Saving checkpoints for 0 into /tm
浏览 3提问于2017-12-21得票数 0
我试图用adagrad优化器来最小化x*x。我希望得到x=0作为结果，但我得到的值x，接近初始值。
import tensorflow as tf
x=tf.Variable(-2.)
sq=x*x
o = tf.train.AdamOptimizer(1e-1).minimize(sq)
with tf.Session() as sess:
init = tf.global_variables_initializer()
sess.run([init])
sess.run([o])
r=sess.run([x])
print("done"
浏览 0提问于2018-05-29得票数 0
回答已采纳
层在PyTorch中列在“稀疏层”下，但有以下限制：
请记住，只有有限数量的优化器支持稀疏梯度:目前是optim.SGD (cuda和cpu)和optim.Adagrad (cpu)
原因是什么？例如，在Keras中，我可以使用任何优化器来训练具有嵌入层的体系结构。
浏览 0提问于2017-12-18得票数 5
回答已采纳
我一直在使用Tensorflow进行回归。我的神经网络很小，有10个输入神经元，12个单层隐神经元和5个输出神经元。
激活函数
成本是产出与实际价值之间的平方距离。
我的神经网络与其他优化器(如GradientDescent、Adam、Adagrad )进行了正确的训练。
然而，当我尝试使用阿德罗塔时，神经网络根本就不会训练。变量在每一步都保持不变。
我尝试了每一个初始learning_rate可能(从1.0e-6到10)和不同的权值初始化:它总是一样的。
有人对发生了什么事有一点了解吗？
非常感谢
浏览 1提问于2016-07-28得票数 9
我有一个代码，它以前是运行的，但现在不是。
# ## Create a regressor with TF Learn
# **Parameters**:
# - model_fn: regression model
# - n_classes: 0 for regression
# - verbose
# - steps: training steps
# - optimizer: ("SGD", "Adam", "Adagrad")
# - learning_rate
# - batch_size
regressor = learn.
浏览 0提问于2017-01-05得票数 1
例如，Keras的Adagrad的实现是：
class Adagrad(Optimizer):
"""Adagrad optimizer.
It is recommended to leave the parameters of this optimizer
at their default values.
# Arguments
lr: float >= 0. Learning rate.
epsilon: float >= 0.
decay: float >= 0. Learning rate decay over each
浏览 5提问于2017-01-22得票数 5
回答已采纳
我有一个问题，开始使用“紧张流学习”(以前称为skflow)。
我的问题？
我甚至不能运行最简单的DNN示例。
下面的示例引发一个错误
**RuntimeError: Init operations did not make model ready. Init op:
init, init fn: None, error: Variables not initialized: global_step,
linear/_weight..*
在jupyter笔记本中内核突然结束了？
我是漏掉了什么还是虫子？
from tensorflow.contrib import learn
from
浏览 13提问于2016-07-21得票数 2
下面是在tensorflow中注册渐变和覆盖操作的渐变的代码。
# Registering a gradient
some_multiplier = 0.5
@tf.RegisterGradient("AdaGrad")
def _ada_grad(op, grad):
return grad * some_multiplier
# Overriding
g = tf.get_default_graph()
with g.gradient_override_map({"Ada": "AdaGrad"}):
model.l
浏览 0提问于2018-04-17得票数 3
我正在做一些关于PyTorch源代码的研究。在中，作者实际上删除了模块。
from .adadelta import Adadelta # noqa: F401
from .adagrad import Adagrad # noqa: F401
from .adam import Adam # noqa: F401
del adadelta
del adagrad
del adam
这样做的理由是什么？
浏览 19提问于2019-08-01得票数 3
回答已采纳
这可能是个简单的问题，但我就是找不到。但我对这一切也很陌生，所以我可能只是瞎了眼。
当将TensorFlowDNNRegressor与SGD或Adagrad一起使用时，默认的学习率是多少？使用Adam或Adadelta时的缺省值似乎是0.001，但我找不到Adagrad的缺省值，它是TensorFlowDNNRegressor的默认优化器，也不是经典的SGD的默认优化器。
谢谢!
浏览 4提问于2016-06-07得票数 1
回答已采纳
当我运行我的代码时，我得到了以下输出： %Run run_img.py
/usr/lib/python3.5/importlib/_bootstrap.py:222: RuntimeWarning: compiletime version 3.4 of module 'tensorflow.python.framework.fast_tensor_util' does not match runtime version 3.5
return f(*args, **kwds)
/usr/lib/python3.5/importlib/_bootstrap.py:222:
浏览 50提问于2019-03-16得票数 1
回答已采纳
1回答
利用4，4个隐层对虹膜数据集进行训练，在tensorflow和keras中分别建立神经网络，得到了不同的结果。
tensorflow模型的测试准确率为96.6 %，而keras模型的准确率仅为50%左右。在这两种情况下，学习率、优化器、小批数等各种超参数是相同的。
Keras模型
model = Sequential()
model.add(Dense(units = 4, activation = 'relu', input_dim = 4))
model.add(Dropout(0.25))
model.add(Dense(units = 4, activation =
浏览 0提问于2018-06-20得票数 2
当我试图使用AdaGradDual优化器时，我输入的批处理大小出现了错误。我输入的批号是300个，因为我有60000个样本要训练。
我的代码：
import tensorflow as tf
from tensorflow import keras
import matplotlib.pyplot as plt
import numpy as np
import time
start_time = time.time()
data = tf.keras.datasets.fashion_mnist
(train_images, train_labels), (test_images,
浏览 3提问于2019-11-30得票数 1
回答已采纳
从谷歌教程中，我们知道如何在TensorFlow中训练一个模型。但是，保存经过训练的模型的最佳方法是什么，然后在生产服务器中使用基本的最小python来提供预测。
我的问题基本上是关于TensorFlow最佳实践，以保存模型并在不影响速度和内存问题的情况下在活动服务器上提供预测。因为API服务器将永远在后台运行。
请提供一小块python代码片段。
浏览 2提问于2016-01-27得票数 17
回答已采纳
1回答
我正在使用tensorflow.js获取指数回归的参数：
y(x) = c0*e^(kx)
我附上下面的代码：
x = tf.tensor1d(x);
y = tf.tensor1d(y);
const c0 = tf.scalar().variable();
const k = tf.scalar(this.regression_parameters.array[index][0]).variable();
// y = c0*e^(k*x)
const fun = (x) => x.mul(k).exp().mul(c0);
const cost = (pred, label) =&
浏览 5提问于2020-11-17得票数 0
回答已采纳
使用除adam和adamax之外的keras优化器会产生一个值错误。错误的完整堆栈包含在帖子的底部。
None values not supported.
Python 2.7.13
tensorflow-gpu (1.4.1)
tensorflow-tensorboard (0.4.0rc3)
下面是定义网络的代码。shp = X_train.shape1:打印shp
dropout_rate = 0.25
# Optim
#opt = Adagrad(lr=0.01, epsilon=None, decay=0.0,clipvalue=0.5) breaks the code
#d
浏览 1提问于2018-01-21得票数 0
我需要把TF中的NN翻译成Keras。有点简单，除了Tensorflow中的“动量”优化器。
我最好的猜测是TF中的“动量”在Keras中是SGD。这是正确的吗？
如果是这样的话，我应该在Keras中设置的默认超参数"lr，momentum，decay，nesterov“是什么，以匹配TF中的默认调用"optimizer=momentum”？
谢谢!
要翻译的行：
network = regression(
network,
optimizer='momentum',
loss='categorical_crossentropy'
)
浏览 35提问于2018-08-14得票数 1
回答已采纳
问题
我正在尝试在我的m1 MacBook上运行基本文本Tensorflow教程
我已经正确地安装了新的基于金属的软件包
当我在教程中提到这一点时，我会遇到一个错误。
代码
!pip install -q "tensorflow-text==2.8.*"
错误
ERROR: Could not find a version that satisfies the requirement tensorflow-text==2.8.* (from versions: none)
ERROR: No matching distribution found for t
浏览 18提问于2022-07-11得票数 0
回答已采纳
TensorFlow中的自动微分过程是否在需要时计算次梯度？如果有许多子梯度，那么将选择哪一个作为输出？
我正在尝试在link <code>C0</code>中实现这篇论文，它使用递归神经网络来执行有效的语言解析。目标函数使用铰链损失函数来选择最优输出向量，这使得该函数不可微。我在急切模式下使用TensorFlow (v1.12)对模型进行编程，并使用自动微分来计算梯度。每批处理后，我可以看到梯度值发生变化，精度略有提高。一段时间后，它会减少，这个过程会继续下去。对于所有的超参数配置，模型根本不收敛。
小批量: 256,512,1024；正则化参数- 0.1，0.01，
浏览 21提问于2019-04-02得票数 0
回答已采纳
1回答
有人能帮我实现tensorflow变量上的约束吗？
def min_max(x):
return tf.clip_by_value(x, 1.0, 3.0)
a = tf.Variable(initial_value=[[1.0, 2.0, 10.0]], dtype=tf.float32, trainable=True, constraint=min_max)
如果我打印a，这是输出：
\<tf.Variable 'Variable:0' shape=(1, 3) dtype=float32, numpy=array([[ 1., 2., 10.]], dtype
浏览 8提问于2022-11-13得票数 0
我有一个TensorFlow 2模型，有一个经过预先训练的Keras层来自TensorFlow集线器.我想微调这个子模型中的权重，以适应我的数据集，但是如果我天真地设置trainable=True和training=True，我的模型会非常适合。
如果我将底层模型的实际层置于我的控制之下，我将在这些单独的层上插入下拉层或设置L2系数。但是这些层是使用TensorFlow集线器方法导入到我的网络中的。此外，我怀疑底层模型是相当复杂的。
我想知道解决这类问题的标准做法是什么。
也许有办法强制整个网络正规化？我知道在TensorFlow 1中，有一些像这样的优化器采用L2系数。在TensorFlow
浏览 1提问于2019-04-19得票数 1
1回答
火炬中的弱优化器
、、、
考虑一个简单的线拟合a * x + b = x，其中a，b是优化的参数，x是所给出的观测向量
import torch
X = torch.randn(1000,1,1)
可以立即看到，确切的解决方案是a=1，b=0，对于任何x，它可以很容易地找到，就像：
import numpy as np
np.polyfit(X.numpy().flatten(), X.numpy().flatten(), 1)
我现在试图通过梯度下降的方法在PyTorch中找到这个解，这里的均方误差被作为一个优化准则。
import matplotlib.pyplot as plt
import numpy as n
浏览 2提问于2020-05-14得票数 0
回答已采纳
我在tensorflow 2.5.0中构建了一个自定义模型，并尝试对超参数值进行网格搜索。模型训练正确，但是当我重新初始化网格搜索循环中的参数时，它抛出了一个错误(它似乎与tensorflow图有关，但我不知道问题的确切来源是什么)。下面是一个简单的线性回归模型的最小可重复性示例。 import tensorflow as tf
import numpy as np
class Model:
def __init__(self, X, y):
self.X = X
self.y = y
# ini
浏览 57提问于2021-07-15得票数 0
1回答
我正在寻找一些澄清编译标志选项时，使用TensorFlow与NVIDIA在Ubuntu18.04。我将TensorFlow用于Python (用于培训)和调用C++ (用于在生产中执行)。
自从Ubuntu18.04和GCC一起出品7.x以来，我不得不使用CUDA 9.2，所以我不能使用谷歌提供的TensorFlow预编译的二进制文件(这些二进制文件目前只使用不符合GCC 7.x的CUDA 9.0 )。因此，我必须从源代码编译TensorFlow，以便与Python和C++一起使用。
目前，我正在使用以下编译标志：
Python编译：
bazel build --config=opt \
浏览 1提问于2018-10-24得票数 3
回答已采纳
我对TensorFlow的内部结构相当陌生。为了理解TensorFlow的AdamOptimizer实现，我在TensorBoard中检查了相应的子图。这里似乎有一个名为name + '_1'的重复子图，默认情况下是name='Adam'。
下面的MWE生成下面的图表。(注意到我已经扩展了x 节点！)
import tensorflow as tf
tf.reset_default_graph()
x = tf.Variable(1.0, name='x')
train_step = tf.train.AdamOptimizer(1e-1, n
浏览 6提问于2019-03-15得票数 10
回答已采纳
我刚刚在anaconda python上安装了tensorflow v2.3。我尝试使用下面的python命令测试安装；
$ python -c "import tensorflow as tf; x = [[2.]]; print('tensorflow version', tf.__version__); print('hello, {}'.format(tf.matmul(x, x)))"
我收到了以下消息；
2020-12-15 07:59:12.411952: I tensorflow/core/platform/cpu_feature
浏览 3提问于2020-12-15得票数 19
回答已采纳
1回答
重量和偏差
self.weights = { "layer1":tensorflow.Variable(tensorflow.random_normal([self.state_size, self.neurons_layer_1])), "layer2":tensorflow.Variable(tensorflow.random_normal([self.neurons_layer_1, self.neurons_layer_2])), "layerOut":tensorflow.Variable(tensorflow.random_norma
浏览 2提问于2017-05-12得票数 1
回答已采纳
我正在使用中的TensorFlow (带有19.01Nvidia TensorFlow Docker映像)执行TensorFlow。我有一个Nvidia 2070显卡，当我尝试运行一个更新版本的TensorFlow对接映像时，我已经摆脱了内存错误(例如19.08)。因此，我决定，也许是时候考虑使用16位精度而不是32位来存储VGG19 CNN的参数。
当我建造我的机器时，我的初步研究让我相信，从32切换到16是一件轻而易举的事情，但这不是我的经验，因为我正在积极地尝试着实现这一转变。
这就是我所做的：
我设置了tf.keras.backend.set_floatx('float16
浏览 0提问于2019-09-12得票数 0
1回答
我正在尝试使用this question和this question as well中详细介绍的RProp优化器来训练模型。 我从this Github repository下载了rprop.py脚本，并将其添加到C:\mini\envs\aiml3\Lib\site-packages\tensorflow_core\python\keras\optimizer_v2上的Keras/tf代码库中。 在我的R脚本(在RStudio中运行)中，我运行以下命令来创建模型： model <- keras_model_sequential() %>%
layer_dense(units
浏览 18提问于2020-07-20得票数 1
我使用Anaconda Spyder5和python3.8我的tensorflow工作得很好，我可以训练和预测NNs。但是，当我试图导入'tensorflow_hub‘时，我会得到以下错误：
import tensorflow as tf
print("TF Version: ", tf.__version__)
import tensorflow_hub as hub
print("TF-Hub version: ", hub.__version__)
生成的错误：
TF Version: 2.6.0
Traceback (most recent
浏览 2提问于2021-11-01得票数 2
每次优化tensorflow图表时，我都会收到此警告： TensorRTOptimizer is probably called on funcdef! This optimizer must *NOT* be called on function objects. 我只想知道这个警告是什么意思，我如何才能避免它，以及它的影响。 我使用的是带有cuda 10.0和tensorflow-GPU1.15的tensorRT 5.1.5 谢谢!
浏览 70提问于2020-01-15得票数 0
回答已采纳
2回答
假设我想编写一个符合tf.keras API的自定义优化器类(使用TensorFlow version>=2.0)。我对文档化的方法和在实现中所做的方式感到困惑。
tf.keras.optimizers.Optimizer 的文档，
### Write a customized optimizer.
If you intend to create your own optimization algorithm, simply inherit from
this class and override the following methods:
- resource_
浏览 0提问于2019-11-08得票数 36
我试图将我的TensorFlow 1.4代码转换成TensorFlow 2，但是在TF 2中没有tf.train.GradientDescentOptimizer了。 tf.train.GradientDescentOptimizer的替代品应该是什么？ 我在tf.compat.v1.train.中发现了同样的东西，但我不应该使用它，因为tf.compat中的那些东西迟早会被删除。
浏览 87提问于2019-09-26得票数 5
回答已采纳
我用RMSProp、AdaGrad、动量和Adam等优化器训练了我的神经网络模型。
目前，在运行代码之后，我已经打印出了每个时代的列车和测试精度(在我的例子中是50)。但是，我想知道如何确定这些优化器中哪一个性能最好？
在最后一个时代，较高的列车精度决定了哪一个是最好的，还是更高的测试精度决定了？此外，我观察到当使用动量优化器时，模型的训练精度在16世纪达到了最高的0.91，与其他优化器相比。
因此，这会得出这样的结论:动量优化器在这种情况下表现最好吗？
浏览 0提问于2019-03-29得票数 1
回答已采纳
我是坦索弗洛的新手。我已经通过以下步骤安装了tensorflow：
$ conda创建-n tensorflow pip python=3.6 $ source激活tensorflow (tensorflow) $ pip安装-忽略-安装--升级\
但当我试图运行以下程序时：
import tensorflow as tf
hello=tf.constant("Hello,TensorFlow!")
sess=tf.Session()
print=(sess.run(hello))
我在spyder中发现了这个错误
ModuleNotFoundError:没有名为“
浏览 0提问于2018-05-16得票数 0
回答已采纳
我是tensorflow的新手，为了更好地理解tensorflow，我试着看看tensorflow的不同例子。
现在，我在许多tensorflow示例中看到了这一行，但没有提到用于获取嵌入词的任何具体嵌入算法。
embeddings = tf.Variable(tf.random_uniform((vocab_size, embed_dim), -1, 1))
embed = tf.nn.embedding_lookup(embeddings, input_data)
下面是一些示例：
我知道第一行将通过随机分布初始化单词的嵌入，但是嵌入向量是否会在模型中得到进一步的训练，
浏览 1提问于2018-09-21得票数 1
回答已采纳
在Pytorch中，我们可以通过以下方式访问变量x的梯度 z.grad 在Tensorflow 2中相同的语法是什么？我的目标是减少梯度。以下是Pytorch代码 if z.grad > 1000:
z.grad = 10 tensorflow 2可以应用相同的功能吗？ 谢谢
浏览 23提问于2020-12-25得票数 1
回答已采纳
我是Jetson x2董事会的新手。
我计划在TX2板上运行我的tensorflow-gpu模型，看看它们在那里的表现如何。这些模型是在GTX GPU机上训练和测试的。
在tx2板上，Jetpack full不包含tensorflow。因此，tensorflow需要构建/安装，我已经看过几个教程并尝试过。我的python文件train.py和test.py期望tensorflow-gpu。
现在我怀疑，如果在tx2板上安装tensorflow-gpu是正确的选择吗？
哦，在TX2上有Nvidia TX2，它将完成部分工作，但是怎么做呢？是这样吗？
tensorflow和tensorRT会合作取
浏览 2提问于2018-11-23得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
