给出了具有编解码器的标准变压器结构。解码器期望从编码器接收值和密钥张量，其大小取决于输入令牌的数量。我可以解决这个问题，在训练期间，填充输入和输出到相同的大小。
但是，当我不知道输出的大小</
浏览 0提问于2022-02-23得票数 0
我想实现一个用于序列到序列学习的编码器-解码器模型。解码器使用编码器的隐藏状态来初始化其隐藏状态。然后生成关于最后生成的输出(y(t-1))及其隐藏状态的输出。当生成一个特殊的output ()时，我想停止这个过程。事实上，我希望能够生成</
浏览 0提问于2016-02-02得票数 3
1回答
为什么最近的对话代理(如ChatGPT、BlenderBot3和Sparrow )是基于解码器架构而不是编解码结构的？我知道编码器和解码器的注意力之间的区别，但就对话而言，难道编解码器的注意力不是更好吗？
浏览 0提问于2023-02-24得票数 0
回答已采纳
2回答
我了解注意是你所需要的论文中使用的编解码器结构的机制。我的问题是更高层次的解码器的作用。假设我们有一个句子翻译任务: Je suisètudiant ->我是个学生
编码器接收Je suisètudiant作为输入，并生成编码器输出，理想情况下应嵌入句子的上下文/意义。解码器接收这个编码
浏览 0提问于2020-11-23得票数 2
回答已采纳
1回答
我正试图为文本类型的传输问题建立一个编解码模型。问题是我在这两种样式之间没有并行数据，所以我需要在一个无监督的环境中训练模型。
我见过的一些文章使用自动编码器分别训练编码器和解码器组件。通过将问题设置为自动编码器，他们可以通过将目标序列(等于输入序列)传递到解码器中来训练解码器。(以下是一些例子，https://arxiv.org/pdf/1
浏览 0提问于2018-07-07得票数 2
回答已采纳
我使用的seq2seq模型是由Siraj创建的，但是编码器隐藏单元和解码器隐藏单元的数量存在问题。在这个笔记本的视频中(链接：)，西拉杰说，这是因为他想让模型实际学习，因为标签和它们对应的输入是相同的。对于我的问题，我希望编码器隐藏单元的数量与解码器隐藏单元的数量相同。从行decoder_ou
浏览 0提问于2019-02-01得票数 0
回答已采纳
当我试图了解seq2seq编解码器如何在https://machinelearningmastery.com/configure-encoder-decoder-model-neural-machine-translation在我看来，编码器中的LSTM数量必须与文本中的单词数(如果使用单词嵌入)或文本中的字符(如果使用char嵌入)相同。对于字符嵌入，每个嵌入对应于1个方向的LSTM和1个编码器隐藏状态
浏览 0提问于2020-05-20得票数 0
1回答
如何理解被裁剪的输出
、、、、
我正在寻找用于里程碑检测任务的U实现，其中的体系结构与上面的图类似。有关参考资料，请参阅：
从图中可以看到输入维度为572x572，而输出维度为388x388。我的问题是，我们如何可视化和正确理解裁剪输出？据我所知，理想情况下，我们期望输出大小与输入大小相同(即572x572)，因此我们可以将掩码应用于原始图像来执行分
浏览 2提问于2021-12-03得票数 0
nlp-sequence-to-sequence-networks-part-2-seq2seq-model-encoderdecoder-model-6c22e29fd7e1 在简介中，作者表示，该设置适合于将随机变化大小的输入序列与随机变化大小的输出序列进行匹配我很困惑，因为我不知道如何生成与输入句子长度不同的句子输出。 让我们假设输
浏览 28提问于2019-01-17得票数 0
1回答
我正试图将解码器outputBuffer直接发送到编码器inputBuffer中。我以为它出了点问题，但我想不出.我搜索了库和文档，找到了一些样本代码，使用纹理曲面渲染解码器输出数据并将数据转换到编码器。但我
浏览 0提问于2016-11-11得票数 1
回答已采纳
1回答
如何在不同大小的图像上训练模型。我的模型包含输入图像大小(None，None，3)。但是如何在不同的图像大小上训练模型呢？ 注意:我的目标是使用深度学习执行图像压缩。一种考虑了编解码器的自动编码器。
浏览 50提问于2019-05-19得票数 0
7回答
我看不出伯特是如何在不使用解码器的情况下做出预测的，这是之前所有模型的一部分，包括变压器和标准RNN。如何在不使用解码器的情况下在BERT体系结构中进行输出预测？怎么才能完全消除解码器呢？换句话说，我可以用什么解码器和伯特一起生成输出文本？如果BERT只编码，我可以使用什么库/工具从嵌入解码？
浏览 0提问于2019-12-21得票数 22
回答已采纳
1回答
我正在执行一篇关于图像分割的论文。它基于对u-net体系结构的轻微修改.
Layer . Output size . Filter Size Stride DropoutUpsampling2Conv12Conv11Upsampling4
C
浏览 0提问于2019-07-25得票数 6
回答已采纳
我已经接触到媒体和TowardsDataScience的文章，这些文章暗示它有一个编解码结构(请参阅下面的源代码)：“作为一种语言模型，ChatGPT没有只有解码器的体系结构，它有一个编解码结构。具有
浏览 0提问于2023-02-03得票数 6
1回答
是否可以使用非正方形(矩形)输入矩阵训练卷积自动编码器(CAE)？我在CAE上研究过的所有教程和资源似乎都使用正方形图像。我正在处理的数据不是图像。我有数百个单细胞，每个细胞有一个矩阵(基因组数据)，行中有数千个基因，列中有数百个框(每个基因的感兴趣的基因组区域被划分为相等大小的框)。我用Keras尝试了一些模型，但模型编码器部分的输入大小总是<
浏览 25提问于2019-03-07得票数 0
2回答
因此，在大多数涉及编解码结构的博客或书籍中，作者通常认为编码器的最后一个隐藏状态(S)作为输入传递给解码器，而编码器输出被丢弃。他们浏览了那个主题，只是删除了关于编码器输出被丢弃的句子，仅此而已。这让我更加困惑，因为我也在读到，在变压器模型中，编码器的输出实际上被输入到解码器，但是因为这是唯一来自非rnn<em
浏览 0提问于2023-02-27得票数 1
回答已采纳
1回答
聊天机器人的Seq2Seq模型
、、、、
我正在构建一个聊天机器人与序列到序列编码器解码器模型，如在。从给定的数据中，我可以理解在训练时，它们将解码器输出连同编码器单元状态一起馈送到解码器输入。我不知道当我实际实时部署聊天机器人时，我应该如何将什么输入解码器，因为那时我必须预测输出。有人能帮我解决这个问题吗？
浏览 6提问于2017-12-29得票数 2
2回答
我知道GPT是一个基于变压器的神经网络，由几个模块组成.这些块是基于原来的转换器的解码块，但它们完全相同吗？在原有的变压器模型中，解码器块有两种注意机制:一种是纯多头自关注机制，另一种是对编码器输出的自我注意机制。在GPT中没有编码器，因此我假设它的块只有一个注意机制。这就是我发现的主要区别。同时，由于GPT是用来生成语言的，所以它的块必须被屏蔽
浏览 0提问于2020-11-16得票数 5
回答已采纳
1回答
seq2seq -编码器反向传播
、、、、
我很难理解seq2seq模型中的编码器是如何进行反向传播的.没有标签，因此不可能计算错误，这是反向传播的，但LSTM层的权重被以某种方式更新。
浏览 7提问于2017-09-22得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
