1回答
我正在尝试实现一个RNN自动编码，我想知道注意力是否会改善我的结果。
我的最终目标是构建一个文档相似性搜索引擎，我正在寻找对文档进行编码的方法。既然我对训练解码器而是编码器不感兴趣，那么注意力是否会增加这个过程的价值呢？
浏览 4提问于2018-11-08得票数 0
1回答
是否有一种方法可以在TensorFlow的seq2seq模型中，像上面链接中的图(来自Bahdanau等人，2014年)那样，将注意力的权重可视化？
浏览 2提问于2016-11-15得票数 11
回答已采纳
1回答
我用的注意力机制成功地完成了实验，现在我和可视化混淆了。我也不太明白热图。如果你们能向我解释这些，那就意味着很多：
提前感谢！
浏览 4提问于2017-07-10得票数 0
1回答
(我用全局性的注意力加上点分数)。
但是，我不确定如何从lstm解码输入隐藏和输出状态。问题是，lstm解码器在t时刻的输入取决于我需要使用t-1的输出和隐藏状态来计算的数量。当我覆盖变量"initial_input“和"last_encoder_state”时，tensorflow还记得计算图吗？
浏览 0提问于2018-02-06得票数 2
回答已采纳
1回答
我对blender真的很陌生，我正在为一个unity项目(用户LucaScheller在上慷慨地创建和分享)为这个钢铁侠模型做一个装配。我添加了我的骨骼和热图，但当我开始制作动画时，绿色的网状箭头和线条一直吸引着我的注意力。这些是否表示内置于下载中的动画？如果是，我如何访问和查看它们？如果没有，它们是用来做什么的？
谢谢!
浏览 1提问于2017-11-15得票数 0
如果您在Keras中有一个MultiHeadAttention层，那么它可以返回如下所示的注意力分数：如何从网络图中提取注意力分数？我想给他们画个图。
浏览 12提问于2022-01-04得票数 3
回答已采纳
1回答
我的Tensorflow图采用了Batch size，Time step，Image，并实现了一个深度CNN-LSTM，目前它在分类之前是一个时间分布的密集层。在我之前的工作中，我通过加权时间步长的隐藏状态，成功地将注意力添加到更好的模型时间依赖性上。但是，我找不到任何尝试在多对多RNN中使用注意力的实现。我尝试了下面的代码，它可以编译和运行，但比没有运行的模型性能更差。这里的想法是学习每个步骤的注意力权重，以基于当前时间步长对每隔一个时间步长进行加权。我有780万个训练样本，所以我不担
浏览 58提问于2019-03-19得票数 1
1回答
因为我希望在图的开头有更小的，在我的参考图中减少。------------------------------
stat_ecdf(geom = "step")
这张图我有的
浏览 10提问于2022-10-27得票数 0
1回答
我试图在z3中建模一个有向图，但是我被困住了。我在图中添加了一个公理，即边的存在意味着它所连接的节点的存在。ForAll([G, n, m], Implies(E(G)[n][m], And(V(G)[n], V(G)[m]))),s.add(Graph_axioms)
我试图对图建模或者更好的是，有什么关于在z3中建模图的一般提示吗？
浏览 1提问于2020-10-20得票数 1
回答已采纳
1回答
我目前正在UbuntuServer13.10上安装虚拟机。我遵循了这个指南的说明。我能够安装并检查是否支持我的计算机，但是当我运行命令时：(我将不得不增加其他选项)2014-03-25 20:16:19,822 INFO : logging to file: /tmp/tmpsLRy822014-03-25 20:16:19,835 INFO
浏览 0提问于2014-03-26得票数 2
下面是一些背景知识：我将经过训练的模型封装在一个简单的Flask应用程序中，并获得了相当准确的预测。我目前提取注意力权重变量的方法是有效的，但似乎效率非常低，因为我预测输出类，然后使用中间Keras模型手动计算注意力向量。tf.keras.backend.
浏览 2提问于2019-11-21得票数 5
1回答
我想知道编码器的隐藏状态对于注意力网络有多有用。当我研究一个注意力模型的结构时，我发现一个模型通常是这样的：h: Encoder's hidden state which feeds forward to the next encoder's因此，输入的顺序对输出的顺序不一定重要，在注意力模型同时查看所有输入的情况下，从先前的输入中记忆的内容也不重要。你就不能直接把注意力放在x的嵌入上吗？
浏览 0提问于2020-04-27得票数 1
1回答
我已经实现了注意力(等式)。1)的，但它显然不是内存效率高，并且只能在我的图形处理器上运行一个模型(它需要7-10 of )。
浏览 2提问于2018-03-19得票数 0
1回答
我理解变压器体系结构(从“注意就是你所需要的”)，以及如何在多头注意力层中计算注意力。为什么不能让注意力层学
浏览 0提问于2020-11-12得票数 1
1回答
我想知道编码器的隐藏状态对于注意力网络有多有用。当我研究一个注意力模型的结构时，我发现一个模型通常是这样的：谢谢!
浏览 4提问于2020-04-27得票数 0
回答已采纳
我研究视觉注意力模型，但最近一直在阅读BERT和其他语言注意力模型，以填补我知识中的一个严重空白。 我对我在这些模型架构中看到的东西感到有点困惑。给出一句类似“猫追狗”的句子。例如，我希望在模型中看到一个点，其中“猫”的嵌入与“狗”的嵌入相结合，以便创建注意力掩码。然后，这些嵌入中的每一个都并行通过模型。这对我来说似乎很奇怪，也是多余的。为什么他们要以这种方式建立模型？ 如果我们把猫挡在门外。“他们...在追狗。”那么，在推理过程中，
浏览 6提问于2020-08-20得票数 0
回答已采纳
1回答
我正在Keras中构建一个带有注意力的LSTM模型，用于多标签分类，但有数千个可能的输出标签，每个标签都有自己的sigmoid预测层和唯一的注意力MLP层。有没有可能训练和保存这么大的模型？
浏览 2提问于2017-05-12得票数 2
我们有一个引导模式，它显示图标，在点击图标时，我们试图显示一个类似聊天框的小窗口，但我们面临的问题是当点击图标时，聊天框打开，但主要问题是
Chatbox是这里的父元素。
浏览 1提问于2019-03-25得票数 0
1回答
然后，我试图用和以前一样的精确模型来解决相同的任务，但是在其中使用了Bahdanau注意。并且，该模型的性能优于有注意的模型。模型的损失在没有注意的情况下从大约8.0下降到1.4在5个时代，到1.0在10个时代，损失仍然在减少，但以一个较慢的速度。每个英语句子中有47个单词(填充物后)，每个德语句子中有54个单词(填空后)。尽管如此，没
浏览 4提问于2020-10-25得票数 4
回答已采纳
1回答
除此之外，我还有一个在同一模型中学习的注意力地图。
我希望这个注意力图尽可能小，所以我使用了正则化。问题来了:如何设置正确的正则化参数？我想要的是网络首先达到最大的分类精度，然后开始最小化强度注意力图。出于这个原因，我训练我的模型一次没有正则化，第二次使用正则化。然而，如果正则化参数(lambda)太高，网络就会完全失去准确性，只会最小化注意力，而如果正则化参数太小，网络只关心分类误差，不会最小化注意力，即使准确度已经是最大值。
浏览 4提问于2018-10-01得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
