BERT和其他语言注意力模型是否只在初始嵌入阶段共享跨词信息？
BERT和其他语言注意力模型不仅在初始嵌入阶段共享跨词信息，还在整个模型的不同层级中共享跨词信息。BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的预训练语言模型，它通过无监督学习从大规模文本数据中学习语言的表示。
在BERT中，输入的文本会经过嵌入层，将每个词转换为向量表示。这些向量表示会在模型的不同层级中进行多次注意力机制的计算。注意力机制允许模型在编码过程中关注输入序列中不同位置的词，并根据其重要性进行加权。
在BERT的注意力机制中，每个词都会与其他词进行交互，以获取全局的上下文信息。这种交互是通过计算词之间的注意力权重来实现的。在计算注意力权重时，模型会考虑每个词与其他词之间的相似性，以确定它们之间的关联程度。这样，每个词都可以利用其他词的信息来丰富自己的表示。
因此，BERT和其他语言注意力模型不仅在初始嵌入阶段共享跨词信息，还在整个模型的不同层级中共享跨词信息。这种共享能够帮助模型更好地理解上下文，并提高自然语言处理任务的性能。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云自然语言处理（NLP）：https://cloud.tencent.com/product/nlp
- 腾讯云机器学习平台（MLPaaS）：https://cloud.tencent.com/product/mlpaas
- 腾讯云人工智能开发平台（AI Lab）：https://cloud.tencent.com/product/ailab
相关·内容
我研究视觉注意力模型，但最近一直在阅读BERT和其他语言注意力模型，以填补我知识中的一个严重空白。 我对我在这些模型架构中看到的东西感到有点困惑。给出一句类似“猫追狗”的句子。我本以为每个单词的嵌入之间会有交叉信息流。例如，我希望在模型中看到一个点，其中“猫”的嵌入与“狗”的嵌入相结合，以便创建注意力<
浏览 6提问于2020-08-20得票数 0
回答已采纳
我听说过伯特在蒙面词预测方面有多棒，也就是从一个句子中预测一个缺失的单词。语言模型的基本任务是在空白中预测单词，或者预测单词在特定上下文中发生的概率。让我们再举一个例子：“巴塞罗那俱乐部是_____俱乐部”我不明白的是:为什么？这似乎并不是一项特别容易评估模型成功程度的任务。例如,这可以合理地说出一些可能的话。怎样才能让伯
浏览 0提问于2019-10-16得票数 8
回答已采纳
7回答
我看不出伯特是如何在不使用解码器的情况下做出预测的，这是之前所有模型的一部分，包括变压器和标准RNN。如何在不使用解码器的情况下在BERT体系结构中进行输出预测？怎么才能完全消除解码器呢？换句话说，我可以用什么解码器和伯特一起生成输出文本？如果BERT只编码，我可以使用什么库/工具从嵌入解码？
浏览 0提问于2019-12-21得票数 22
回答已采纳
我试图添加一些新的令牌到伯特和RoBERTa令牌，以便我可以微调模型上的一个新的词。这个想法是用新词在有限的句子上微调模型，然后看看它在其他不同的上下文中对这个词的预测，来检查模型对某些语言属性的知识的状态。为了做到这一点，我想添加新的标记，本质上把它们当作新的普通单词(模型还没有遇到)。它们的行为应该与添加后的正常词完全一样，但它们的嵌入矩阵将被随机初始化，然后在</em
浏览 18提问于2021-12-07得票数 3
是否可以使用Google BERT来计算两个文本文档之间的相似度？据我所知，BERT的输入应该是有限大小的句子。一些作品使用BERT来计算句子的相似度，例如：
是否有BERT done的实现，以便将其用于大型文档而不是句子作为输入(具有数千个单词的文档)？
浏览 1提问于2019-09-11得票数 12
9回答
我们知道BERT有一个标记的最大长度限制= 512，那么如果一篇文章的长度远远大于512，比如文本中有10000个标记，如何使用BERT？
浏览 3提问于2019-10-31得票数 47
我想知道是否有什么方法可以说明从语言模型中提取的词对的余弦相似度差异的统计意义。假设我有一对A-B，和对A-C。我使用word2vec或bert (或其他任何)嵌入来计算A的余弦相似度，假设我得到了.60。我对A也是这样做的，比方说产生.62。现在，.60和.62之间的差异在统计学上是显著的吗？但直觉上，我认为我需要知道余弦相似度的计算有多少次是基于的(即A、B和C项在嵌入
浏览 0提问于2022-10-20得票数 0
1回答
有谁知道如何访问BERT在Tensorflow集线器上托管的模型的中间层的输出？
该模型是托管的。我已经研究过元图，发现唯一可用的签名是“令牌”、"tokenization_info“和"mlm”。前两个签名在中演示，蒙面语言模型签名没有多大帮助。一些模型，比如inception，允许您访问所有中间层，但不能访问这个层。
浏览 1提问于2019-03-25得票数 4
为了处理自然语言问题，我想使用字符级嵌入(而不是传统的字级嵌入)，因为它们更健壮，因为它们可以很容易地适应单词中的形态变化(例如前缀、后缀、复数、动词接合、连字符等等)。但同时，我也不想失去在词层次上推理的归纳偏见。因此，我提出了以下设计：正如您在上面的图片中所看到的，我想使用 (或者更好的是)，但是稍微有点扭曲。我想使用两个变压器:第一个将处理每个字字符的隔离(字符级别的变压器)，以产生一个初始的字级嵌入每个字在问题中。一旦我们有了所有这
浏览 2提问于2019-06-14得票数 5
2回答
据我所知，伯特是一个字嵌入，可以微调或直接使用。
对于较旧的单词嵌入(word2vec、Glove)，每个单词在嵌入中只表示一次(每个字有一个向量)。这是一个问题，因为它没有考虑到同音词。这对嵌入词本身意味着什么？每个单词标记还有一个向量吗？如果是，如何考虑上下文？如果不是，嵌入的格式是什么？
浏览 0提问于2020-02-11得票数 3
回答已采纳
首先，我想说，我问这个问题是因为我对使用BERT嵌入作为文档特性进行集群感兴趣。我用的是拥抱脸库里的变形金刚。我在考虑平均每个文档的所有单词片段嵌入，这样每个文档都有一个唯一的向量。我看到的问题是，您只使用max_length在拥抱Face库中指定的第一个N标记。如果第一个N标记不是该文档的最佳表示，怎么办？随机选择N个标记不是更好，还是更好地随机选择N个令牌10次？但是，由于我们已经只使用第一个N个标记，如果我们没有消除停止词，那么无用的停止
浏览 0提问于2020-08-21得票数 8
回答已采纳
它们总是包括一个产品的名称(例如，牛奶)，它们可能包括一个生产者和/或大小，可能还包括一个产品的一些其他特性。我有一整套这样的文本，然后，当一个新的文本到达时，我需要确定我的数据库中是否有类似的产品，并测量它们有多相似(从0到100%之间)。
问题是:文本可能有两种不同的语言:乌克兰语和俄语。我解决这个问题的最初想法是获得多语种的单词嵌入(在不同语言中相似的单词位于附近)，并找到这些文本之间的距离。不过，我不知道这会有多高的效率，如果可以的话
浏览 1提问于2021-03-12得票数 5
回答已采纳
在Bert的游戏中，我下载了Huggingface多语种BERT，输入了三个句子，保存了它们的句子向量(嵌入[CLS])，然后通过Google翻译翻译它们，通过模型传递它们，保存它们的句子向量。因此，与其将意义相似的句子(但不同的语言)组合在一起(在768维空间中; )，同一语言的不同句子更接近。据我所知，多语种Bert的全部要点是跨语言迁移学习--例如，培训一种语言的表示
浏览 0提问于2020-01-07得票数 3
回答已采纳
2回答
在Bert的游戏中，我下载了Huggingface多语种BERT，输入了三个句子，保存了它们的句子向量(嵌入[CLS])，然后通过Google翻译翻译它们，通过模型传递它们，保存它们的句子向量。因此，与其将意义相似的句子(但不同的语言)组合在一起(在768维空间中; )，同一语言的不同句子更接近。据我所知，多语种Bert的全部要点是跨语言迁移学习--例如，培训一种语言的表示
浏览 4提问于2020-01-06得票数 3
回答已采纳
我看过建筑和密码。人们说这是双向，从本质上说是。为了使它成为单向的注意，一些掩膜将被应用。
基本上，转换器以键、值和查询作为输入；使用编码器解码器结构；并将注意力应用于这些键、查询和值。
浏览 2提问于2019-03-14得票数 13
在BERT中，他们用特殊的标记来代替分隔符和句子的开头。在embedding_matrix中有什么对应的值。它们是零矢量吗？
我想用类似的方法来代替专有名词，比如名字，建筑物，地点。
浏览 0提问于2019-02-27得票数 6
回答已采纳
1回答
我很感兴趣的是如何从BERT模型中得到不同句子中的词嵌入的相似性(实际上，这意味着单词在不同的场景中有不同的含义)。我想从sent1和sent2那里得到cos(纽约，纽约)的价值，即使'New York‘这个短语是一样的，但它出现在不同的句子中。我从那里得到了一些直觉谢谢您的建议！
浏览 8提问于2021-11-21得票数 3
回答已采纳
4回答
我正在进行一个项目，目的是在句子和其他语言的翻译之间建立一个高精度的词对齐，以衡量翻译质量。我知道Giza++和其他单词对齐工具被用作统计机器翻译管道的一部分，但这不是我想要的。我正在寻找一种算法，可以将单词从源句映射到目标句子中的相应单词，并以透明和准确的方式给出这些限制：
现在，这个倒排索引可以预测任何源
浏览 2提问于2020-01-06得票数 8
回答已采纳
3回答
我正在尝试使用CoNLL-2003 NER (英语)数据集，并试图为其使用预先培训过的嵌入。我正在使用SENNA预先训练过的嵌入。现在，我的词汇表中有大约20k个单词，其中只有9.5千个单词可以嵌入。我目前的方法是用零初始化一个20k X embedding_size数组，并初始化9.5k单词，这些单词的嵌入是我所知道的，并使所有的嵌入都是可学习的。
我的问题是，做这件事的最好方法是什么？
浏览 2提问于2018-01-23得票数 2
回答已采纳
我已经接触到媒体和TowardsDataScience的文章，这些文章暗示它有一个编解码结构(请参阅下面的源代码)：-- https://leoneperdigao.medium.com/chatgpt-a-deep-dive-1feade9c4d77
我甚至问ChatGPT自己，它是使用编码器和解码器，还是只使用解码器对这一问题的答复如下
浏览 0提问于2023-02-03得票数 6
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
