在Tensorflow中，权重按什么顺序保存在LSTM内核中
在Tensorflow中，权重按照以下顺序保存在LSTM内核中：
- 输入门（Input Gate）权重：用于控制输入数据的重要性，决定哪些信息需要被记忆。
- 遗忘门（Forget Gate）权重：用于控制前一时刻的记忆状态中哪些信息需要被遗忘。
- 输出门（Output Gate）权重：用于控制当前时刻的记忆状态中哪些信息需要输出。
- 候选记忆细胞（Candidate Memory Cell）权重：用于计算当前时刻的候选记忆细胞，作为当前时刻的记忆状态的候选值。
相关·内容
我在Tensorflow中查看了为LSTMCell保存的权重。它有一个很大的核和偏置权重。内核的维度是现在据我所知，这是封装4个输入到隐藏层的仿射变换，以及4个隐藏到隐藏层的变换。所以应该有4个大小的矩阵和4个大小谁能告诉我或者告诉我TF保存这些的代码，这样我就可以把内核矩阵分解成更小的
浏览 19提问于2018-01-12得票数 0
回答已采纳
我有一些来自tensorflow的旧代码，我想为tensorflow2/tf.keras工作。我想保持相同的LSTM权重，但不知道如何转换格式。我将旧的权重保存在检查点文件中，也将它们保存在csv文件中。我能够将previous_weights加载到模型中(显式地检查了正确加载的权重)，但是我的测试未能产生相同的结果。深入研究源代码，内核似乎在幕后具有不
浏览 9提问于2019-06-11得票数 1
我想在重用旧权重的同时创建一个新的MultiRNNCell。import tensorflow as tf
def create_lstm_multicell():= rnn.MultiRNNCell([lstm_cell() for _ in range(n_
浏览 2提问于2017-05-12得票数 0
回答已采纳
我正在运行Keras的LSTM (而不是CuDNNLSTM)，但我注意到我的GPU正在加载。我需要反复辍学，所以我只能坚持LSTM。“正常”LSTM是由GPU辅助的吗？如果是这样的话，LSTM和CuDNNLSTM有何不同？我认为CuDNNLSTM使用CUDNN (而LSTM不使用？)
类似地，正常的LSTM应该在GPU或CPU上运行得更快吗？
浏览 0提问于2019-01-27得票数 4
起初，我以为我误解了Tensorflow API的一些地方。现在，我怀疑我只是误解了在木星笔记本中如何管理可变范围。如果我将所有代码插入到jupyter笔记本中的单个单元格中并运行它，那么Tensorflow的LSTM教程示例工作得很好。outputs, states = rnn.static_rnn(lstm_cell, x, dtype=tf.float32)
ValueError:变量rnn/basic_lstm_c
浏览 2提问于2017-09-22得票数 0
我正在使用下面的代码创建一个堆叠的LSTM模型。我有两个问题。首先，在下面的代码中，这两个单元格是否会共享相同的权重？其次，一般来说，当人们谈论堆叠的LSTM时，所有的单元通常都共享权重吗？(cell, output_keep_prob=output_keep_prob)
tech_lstm_okp = tf.placeholder(tf.float64)
t
浏览 22提问于2019-03-01得票数 2
2回答
在将模型与存储的protobuf版本(通过)进行比较时，我有不同的输出。为了进行调试，我将分别比较这两个层。对于测试序列中的权重和实际层输出，我接收相同的输出，因此我不确定如何访问隐藏层。下面是我如何加载这些层 layer1 = graph.get_tensor_by_name("lstm_1_1/kernel:0")
lay
浏览 0提问于2017-12-13得票数 6
回答已采纳
我有非常简单的建筑lstm。Output Shape Param # lstm_4 (LSTM) (None, 128) 116224 Keras-Preprocessing==1.0.1
keras-sequential-a
浏览 0提问于2018-07-13得票数 5
回答已采纳
我正在尝试将一个tensorflow 模型转换为py呼呼，但在这两种模型中，输入和权重相同的输出并不相同。我相信这是由于火炬模型的权重是如何设置的；在代码片段中，TensorFlow权重下面有形状(400, 164)，而PyTorch权重分别为torch_lstm.weight_ih_l0和torch_lstm.weight_hh_l0根据的说法，TensorFlow使用的是右乘法
浏览 4提问于2022-03-19得票数 0
2回答
我在使用Tensorflow的LSTM细胞。lstm_cell = tf.contrib.rnn.BasicLSTMCell(lstm_units)
我想知道权值和状态是如何初始化的，或者确切地说，对于Tensorflow中的LSTM单元格(状态和权重)，默认的初始化器是什么？
浏览 2提问于2018-03-11得票数 1
回答已采纳
我正在尝试将一个预训练的模型从tensorflow导入到PyTorch。它接受单个输入并将其映射到单个输出。当我尝试导入LSTM权重时，出现了混乱 我使用以下函数从文件中读取权重及其变量： def load_tf_model_weights():
modelpath = 'models的内核，第二个元素定义了它的偏差。在pytorch中，我想要为其分配权重的LSTMCell如下所示： In [38]
浏览 49提问于2019-03-19得票数 2
回答已采纳
我在tf.keras中使用LSTM的状态模式，当我处理了序列数据时，需要手动执行reset_states，正如描述的。似乎人们通常会做model.reset_states()，但在我的例子中，我的LSTM层嵌入到了一个更加复杂的网络中，其中包含了其他各种层，比如稠密层、Conv层等等。我的问题是，如果我只是在我的主模型上调用model.reset_states()，其中嵌入了一个LSTM (而且只有一个LSTM)，我是否应该担心重置会影响模型中
浏览 9提问于2020-01-08得票数 3
回答已采纳
2回答
有一件事可能很成问题，那就是数据中很少有1的标签(例如，800个样本中只有3个用1标记)。如果有人能在正确的方向上帮助我，那就太好了，因为有太多可能的问题：
1的标签太少，但我认为这不是什么大问题，因为我只需要模型来建议正确的时间步骤，所以我只会使用输出的峰值
浏览 0提问于2018-05-08得票数 0
我的机器有以下规格：GPU: Titan X (Pascal)Nvidia驱动程序375.26cuDNN 5.1SCRIPT NAME GPU CPUbabi_rnn.py 10sec 12sec
imdb_bidirect
浏览 1提问于2017-01-31得票数 34
我运行了Tensorflow 1.0提供的ptb_word_lm.py，但它显示了以下消息：
'Model/RNN/multi_rnn_cell/cell_0/basic_lstm_cell'；：尝试让第二个RNNCell使用已经具有权值的变量范围的权重:ValueError和单元格不是以BasicLSTMCell(.要共享RNNCell的权重，只需在第二次计算中重用它，或者使用参数reuse=True创建一个新的权重
浏览 4提问于2017-03-28得票数 2
1回答
我开发了一个包含1个LSTM层和3个密集层的LSTM模型，如下所示给出了两个维数(5,480)&(120,480)的加权矩阵和对应于LSTM我想知道的是，LSTM有4层。那么，我如何分别得到这4层的权重和
浏览 0提问于2021-02-15得票数 0
回答已采纳
3回答
LSTM网络学习
、、、
我已经尝试编程我自己的LSTM (长期短期记忆)神经网络。我想验证一下基本功能是否有效。实现了一种基于时间BPTT的反向传播算法来训练单个小区网络。一个单细胞LSTM网络应该能够学习一个简单的序列，还是需要一个以上的单元？网络似乎无法学习一个简单的序列，如1 0 0 0 1 0 0 0 1 0 0 0 1。我将序列1和0的顺序依次发送到网络中，并将其转发。我记录序列的每个输出。在通过LSTM单元运行整个序列后，将平均误差信号反馈到单元中，将单元内部的重量变化保存
浏览 7提问于2015-03-04得票数 4
回答已采纳
torch.nn.Linear(256, 256),)
对于LSTM层，我只想从批处理中检索最后一个隐藏状态，以通过其余的层。我需要以某种方式在nn.Sequential()模型上执行此操作，这样当我保存它时，它可以正确地转换为tensorflow.js模型。我不能在tensorflow.js中创建和训练这个模型的原因是因为我试图在tensorflow.js中实现这个repo：，同时仍
浏览 5提问于2021-10-05得票数 0
我遇到了一些研究出版物，Q&A正在讨论检查RNN权重的必要性；一些相关的答案是正确的，建议使用get_weights() --但是我是如何有意义地想象这些权重的呢？也就是说，LSTM和GRUs有门，所有RNN都有作为独立特征提取器的通道--那么I (1)每门权重以及(2)如何以一种信息的方式绘制它们呢？
浏览 2提问于2019-12-10得票数 3
回答已采纳
1回答
假设一个简单的LSTM，然后是注意层或一个完整的转换器体系结构。在训练过程中学习注意力权重，并将其与键、查询和值相乘。
注意层的权重是否按顺序变化？(我想没有，但请确认)
在预测(推断)过程中，是否冻结了注意层权重？还是这些一直在变？在变压器或Bert中，这些重量是否
浏览 0提问于2021-06-06得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
