我想知道将我从不同算法(如word2vec、GLOVE或BERT )生成的不同嵌入组合在一起以生成最终嵌入的最佳方法。
浏览 4提问于2021-04-05得票数 1
我们通常将词嵌入之间的相似度与余弦相似度进行比较，但这只考虑了向量之间的角度，而不是范数。对于word2vec，随着单词在更多的上下文中使用，向量的范数会减少。因此，停用词接近于0，并且非常独特，高意义的词往往是大的向量。BERT是上下文敏感的，所以这个解释并不完全涵盖BERT嵌入。有没有人知道矢量震级对BERT有什么意义？
浏览 1提问于2019-07-23得票数 4
1回答
我正在做一个使用Tamil Universal Dependency dataset的NLP项目。我已经将数据预处理成一个数据框，其中的列是令牌及其依赖标记。我想使用mBERT模型执行单词嵌入。由于数据集是一个预先训练的模型，因此它已经被标记化，如附加的数据框所示。我不确定如何继续，因为当令牌被转换为令牌id时，令牌器错误地标记了令牌id。
浏览 15提问于2021-10-31得票数 0
2回答
我刚开始学习NLP技术，如GPT，Bert，XLnet，word2vec，Glove等，我尽力阅读论文和查看源代码。但我仍然不能很好地理解。当我们使用word2vec或Glove将一个单词转换成一个向量时，它就像：
[0.1,0.1,0.2...]如果要用随机森林等传统方法对文档进行分类，那么如何使用这些数据呢？我被告知伯特或其他NLP模型可以做到这一点。但是我真的很好奇嵌入这个词在传统方法中是如何应用的？
浏览 0提问于2019-09-24得票数 1
回答已采纳
我正在使用Word2vec和Glove使用CONLL2003 dataset来生成单词嵌入。word2vecmodel.wv.vocab返回的单词数与glove.dictionary不同(少得多)。下面是代码: Word2Vec：X = word2vecmodel[word2vecmodel.wv.vocab
浏览 1提问于2020-09-23得票数 0
我看到了来自IMDB的Movie二进制分类代码。我试图对自己的数据集使用相同的代码(其中列是"text"：这是我的情绪化句子，“标签”：0或1)。我想做一个名为word_index的单词嵌入，类似于tf.keras.datasets.imdb.get_word_index
{'fawn': 34701, 'tsukino': 52006, 'nunnery我试过这样做，但我不确定是否与get_word_index<em
浏览 4提问于2021-06-20得票数 0
回答已采纳
2回答
我试图理解深层次学习模式的嵌入概念。然而，最近我看到了大量的博客文章，上面写着ELMo、BERT等关于上下文嵌入的文章。单词嵌入与上下文嵌入有什么不同？
浏览 0提问于2020-06-08得票数 12
回答已采纳
1回答
我想使用生成的伯特字嵌入作为在火炬文本中构建词汇表的向量，我可以加载向量，如GloVe或word2vec，但我不知道如何将单词嵌入从伯特保存到火炬文本语音可接受的格式txt_field.build_vocab
浏览 0提问于2019-07-07得票数 1
1回答
具有大量意图类的意图分类
、、、
我正在处理大约3000条问题的数据集，我想要执行意图分类。数据集还没有贴上标签，但从业务角度来看，需要标识大约80各种意图类。让我们假设我的培训数据在每个类中的数量大致相等，并且不主要偏向于某些类。我打算将文本转换为word2vec或手套，然后输入到分类器中。
我熟悉的情况是，我有较少的意图类，如8或10和机器学习分类器的选择，如支持向量机，天真的诱饵或深度学习(CNN或LSTM)。我的问题是，如果你以前有过这么多<
浏览 0提问于2019-02-24得票数 3
回答已采纳
我正在研究一种反复出现的语言模式。为了学习可以用于初始化我的语言模型的单词嵌入，我使用gensim的word2vec模型。经过训练，word2vec模型对词汇表中的每个单词包含两个向量:单词嵌入(输入/隐藏矩阵行)和上下文嵌入(隐藏/输出矩阵列)。正如中所概述的，至少有三种共同的方法来组合这两个嵌入向量：
每个单词
浏览 6提问于2017-10-23得票数 20
回答已采纳
2回答
伯特使用GLoVE吗？
、、、
从我所读到的所有文档中，人们都在推动BERT如何使用或生成嵌入。我知道有一个键、一个查询和一个值，这些都是生成的。
我不知道的是，最初的嵌入--你把最初的东西放入伯特--是否可以或者应该是一个向量。人们对伯特或阿尔伯特如何不能被用来进行逐字比较感到诗意，但没有人明确地说出伯特在消费什么。是向量吗？如果是这样的话，它只是一个热向量吗？为什么它不是GLoVE载体？(请
浏览 0提问于2020-04-28得票数 7
回答已采纳
3回答
然而，已经存在许多文本格式的预计算词向量(例如)。是否有某种方法可以初始化Gensim Word2Vec模型，该模型只利用一些预先计算的向量，而不必从头开始学习这些向量？
谢谢!
浏览 1提问于2014-11-26得票数 25
回答已采纳
1回答
Word2vec和Glove嵌入对语料库中的每个单词都有相同的向量表示，不考虑上下文。那条狗确实对人吠叫。
树的树皮很硬。在上面的例子中，Word2vec和Glove为单词“树皮”创建了一个向量。但是使用Elmo，对于“树皮”这个词，它会有两种不同的表达方式，因为它考虑的是上下文。所以，我在尝试如何在数据集中给出一个新句子的向量的机制。
浏览 0提问于2020-06-20得票数 0
我正在尝试不同的单词嵌入方法，以选择最适合我的方法。我试过word2vec和FastText。现在，我想试试手套。在word2vec和FastText中，都有两个版本: Skip-gram (从word预测上下文)和CBOW (从上下文预测单词)。但是在Glove python包中，没有任何参数可以让您选择是否要使用skipg-gram还是c蝴蝶结。
考虑到手套的工作方式与w2v不同，我想知道:在使用手套方法时谈论跳过克和弓形是否有意
浏览 7提问于2017-05-22得票数 2
回答已采纳
2回答
在NLP的大型数据集中，需要很长时间才能对数据集进行分类。有没有一种方法可以告诉我哪种方法更有可能给出最高的F1分数。我试过在较小的子集(1000条记录)上测试它们，这是快速的，但在较小的子集中最好的方法并不意味着它在完整的数据集中是最好的。
还有其他方法来决定使用哪种方法吗？
浏览 0提问于2021-03-03得票数 0
我一直在使用预先训练的模型，如谷歌新闻或手套6B模型，但在我的文本数据中的许多单词没有它们的向量表示在那些预先训练的模型中。所以我想也许用我的数据来训练我自己的模型。在训练我们自己的两类分类模型时有什么缺点吗？还是我应该继续使用预先训练过的模型。训练我们自己的模型和使用预先训练的模式有什么区别？# This is how I am thinking to train the mod
浏览 0提问于2019-03-07得票数 0
2回答
因此，我是第一次学习Word2Vec，我的问题是非常基本的:如何知道使用什么方法？比如Tensorflow中的Word2Vec还是用Gensim训练的Word2Vec？在哪些情况下，通过更手动的第一种方法来实现它相对于第二种方法是有用的呢？如果已经有一种更简单的方法来使用gensim来训练word2vec模型，为什么不总是使用它呢？此外，使用像谷歌新闻数据集这样的
浏览 0提问于2018-01-08得票数 3
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
