我正在用Pytorch编写序列神经网络的序列。在official Pytorch seq2seq tutorial中，有一个注意力解码器的代码，我不能理解/认为可能包含错误。它通过连接输出和此时的隐藏状态来计算每个时间步的注意力权重，然后乘以一个矩阵，得到一个大小等于输出序列长度的向量。注意，这些注意力权重不依赖于编码器序列(在代码中命名为encoder_outputs )，我认为它应该依
浏览 37提问于2019-05-03得票数 1
我目前正在尝试使用tensorflow服务来提供经过培训的"textsum“模型。我使用的是TF 0.11，经过一些阅读之后，它似乎会自动调用export_meta_graph来创建导出的文件ckpt和ckpt.meta文件。因此，我的理解是，这是我在尝试设置服务模型时应该能够指出的位置。tensorflow_serving/sources/storage_path/file_system_storage_path_source.cc:204]在基路径tf_ mod
浏览 3提问于2016-11-30得票数 0
回答已采纳
我是tensorflow的新手，正在尝试根据教程实现"seq2seq“模型。我不确定函数"embedding_attention_seq2seq“的一个参数"num_heads”(default=1)。它代表了什么？我没有在相关的文件中找到它。
浏览 0提问于2016-06-30得票数 3
我的理解是，translate.py实现了一个编码器-解码器模型，其中一个步骤是将句子从输入语言翻译成固定长度的向量。根据我在上的帖子和我自己对代码的调查，我认为句子嵌入应该存储在embedding_attention_seq2seq/RNN/EmbeddingWrapper/embedding:0.中但这是一个形状变量，对应于我输入的词汇表大小X rnn层大小。我不明白我如何从概念上将其解释为句子的编码。我的</
浏览 2提问于2017-01-12得票数 1
1回答
我几乎找不到转换器的实现(既不臃肿，也不让人困惑)，而我所引用的实现是PyTorch实现。但是，Pytorch实现要求您为每个步骤传递输入(src)和目标(tgt)张量，而不是对输入进行一次编码，并继续迭代n个步骤以生成完整的输出。我是不是漏掉了什么？我的第一次猜测是变压器在技术上不是一个seq2seq模型，我不知道该如何实现它，或者我只是在过去几年里错误地实现了seq2seq模型:)
浏览 0提问于2021-03-09得票数 3
回答已采纳
我想用attention_decoder构建一个seq2seq模型，并使用MultiRNNCell和LSTMCell作为编码器。问题是，当我将编码器的状态传递给attention_decoder时，它报告了一个错误：这个问题似乎与seq2seq.py中的attention</em
浏览 0提问于2016-06-26得票数 4
1回答
在TensorFlow1.0中，seq2seq API发生了很大的变化，并且不再与以前的seq2seq示例兼容。特别是，我发现注意力解码器的构建相当具有挑战性:旧的attention_decoder函数已被移除，取而代之的是，新的API期望用户在训练和预测期间为dynamic_rnn_decoder提供几个不同的注意力函数，而这些函数又依赖于prepare_attention函数。
浏览 3提问于2017-02-20得票数 0
在尝试为作者共享的训练模型运行解码模式时，我收到以下错误。finished_files/vocab --log_root=log/directory --exp_name=pretrained_modelINFO:tensorflow:Time to build graph: 0 seconds/
浏览 11提问于2017-08-17得票数 0
我正在使用Tensorflow处理与指针生成网络相关的斯坦福存储库。该存储库可从以下位置获得：
我已经在这个存储库的问题部分请求了一个演示检查点，一个名叫Joy的人回复了我他的实验的检查点。/core/framework/op_kernel.cc:1158] Not found: Key seq2seq/decoder/attention_decoder/lstm_cell/kernel/core/
浏览 0提问于2017-08-08得票数 0
使用PyTorch变压器培训伯特模型(遵循教程)。本教程中的以下语句通向这是完整的错误，
TypeErroropti
浏览 42提问于2019-10-18得票数 17
回答已采纳
1回答
我是自然语言处理的新手，我想为情绪分析建立一个bert模型，所以我遵循这个教程https://curiousily.com/posts/sentiment-analysis-with-bert-and-hugging-face-using-pytorch-and-python/，但我得到了下面的错误 bert_model = BertModel.from_pretrained(PRE_TRAINED_MODEL_NAME)
last_hidden_state, poole
浏览 83提问于2020-12-27得票数 0
下面的代码在单个GPU上工作，但在使用多个GPU时抛出一个错误: RuntimeError: grad只能为标量输出隐式创建。return {"loss": loss}
损失值是一个标量:张量(12.8875，设备=‘cuda:1’，grad_fn=NllLossBackward) --这一错误背后的原因是什么回溯(最近一次调用)：文件"training_trial.py"，第390行，在trainer.fit(模型)文件的第510行中，在fit结果= self
浏览 2提问于2021-01-29得票数 0
我已经建立了一个编码器-解码器模型，注重形状变化的生成。我能够训练模型并对测试数据进行预测，但是在加载保存的模型后，我的预测是错误的，在保存或加载过程中没有任何错误，但是当我加载保存的模型时，它的预测是完全错误的。看起来有些参数没有被保存。self.device),Variable(torch.eye(1, self.decoder_hid_dem)).unsqueeze(1).repeat(1,
浏览 0提问于2019-05-02得票数 2
我有文本评论和答案的文本数据集。审查和答复的每一句都是这样矢量化的：现在我想问几个问题。假设每个复习向量与其相应的答案向量相关联：
Is
浏览 5提问于2019-12-26得票数 1
回答已采纳
在RNN序列到序列模型中，训练前需要初始化输入隐藏状态和输出隐藏状态。从PyTorch教程中，它简单地将零初始化到隐藏状态。Is初始化零-- RNN seq2seq网络中初始化隐藏状态的常用方法&
glorot初始化怎么样？对于单层普通的RNN来说，扇入和扇出不等于$(1 + 1)$，它的方差为$1美元，而$mean=0$的高斯分布则给出了$0$s
浏览 0提问于2018-01-30得票数 5
1回答
我用正面、负面和中性的类别来预测推文的情绪分析。我用拥抱脸训练了一个BERT模型。现在，我想要对未标记的Twitter文本的数据帧进行预测，但我遇到了困难。我遵循了以下教程(https://curiousily.com/posts/sentiment-analysis-with-bert-and-hugging-face-using-pytorch-and-python这是一个对原始文本进行预测的示例，但它只有一句话，我想使用一列
浏览 68提问于2021-11-03得票数 0
回答已采纳
我不久前才开始从事tensorflow的工作。我正在研究seq2seq模型，并以某种方式让教程正常工作，但我被困在获取每个句子的状态上。据我所知，seq2seq模型接受一个输入序列，并通过RNN为该序列生成隐藏状态。稍后，该模型使用序列的隐藏状态来生成新的数据序列。
我的问题是，如果我想直接使用输入序列的隐藏状态，我应该怎么做？例如，如果我有一个经过训练的模型，我应该如何获得输入序列token1，token2，...
浏览 0提问于2016-02-02得票数 4
我用seq2seq = tf.nn.seq2seq.embedding_attention_seq2seq训练了一个与中的示例非常相似的tf.nn.seq2seq.model_with_buckets。如何在我的模型中找到"output_node_names“？
浏览 1提问于2016-08-16得票数 15
回答已采纳
我想知道是否可以将我自己的word2vec导入到这个模型中？而不是使用教程中提到的原始的“密集表示”。
在我看来，TensorFlow使用的是seq2seq模型的单热表示。首先，对于函数tf.nn.seq2seq.embedding_attention_seq2seq，编码器的输入是一个标记符号，例如a将为'4‘，'dog’将为'15715‘等，并要求num_encoder_symbol
浏览 3提问于2016-03-17得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
