0回答
在word2vec的上下文中，有人说“在相似的上下文中出现的单词具有相似的单词嵌入”；例如，“爱”和“恨”可能具有相似的嵌入，因为它们出现在诸如“我”和“电影”的上下文单词中，仅作为示例。我得到了跳过语法的直觉：“爱”和“恨”的嵌入都应该预测上下文词“我”和“电影”，因此嵌入应该是相似的。然而，我不能用CBOW得到它:它说“我”和“电影”的平均嵌入应该预测“爱”和“恨”；这是否必然导致“爱”和“恨”的嵌入应该是相似的
浏览 7提问于2018-07-13得票数 0
我知道一些生成单词嵌入的方法(例如CBOW)是基于预测给定单词在给定上下文中出现的可能性。我正在使用波兰语，它在分割方面有时是模棱两可的，例如根据上下文的不同，'Coś‘可以被看作一个单词，也可以被看作是两个相连的单词('Co’+ '-ś')。我想做的是创建一个上下文敏感的标记器。假设我有前面上下文的向量表示，以及所有可能的分词，我能以某种方式计算或近似特定单词在此上下文中出现的可能性吗？
浏览 17提问于2019-09-23得票数 0
我想创建一个单词嵌入预训练网络，它在word2vec CBOW之上添加了一些内容。因此，我首先尝试实现word2vec CBOW。因为我对非常陌生，所以我无法理解如何在其中实现CBOW。Initialization2*k + 1整数列表(表示上下文中的中心单词和2*k单词)共享的Embedding层应该接受这个整数列表，并给出它们相应的向量输出。更新1
我想共享
浏览 1提问于2017-01-27得票数 4
回答已采纳
1回答
CBOW:我们正试图根据上下文(定义为目标单词周围的某个单词窗口)来预测下一个单词。
RNN还可用于预测序列中的下一个单词，其中每次输入都是当前输入和最近过去(即前一步的输出)。我无法理解RNN的方法是如何更好的，因为我可以为CBOW定义一个非常大的窗口，然后它也将根据先前的信息预测单词。为什么我们说RNN将更好地预测，因为它有记忆？如果我们同时向CBOW提供所有东西，这是分步骤提供给RNN的，为什么其中一个比另一个好呢？这仅仅是因为
浏览 0提问于2021-08-19得票数 0
1回答
我决定采用head first方法，从fastText开始，它提供库和经过预处理的数据集，但很快就被困在了文档中：在CBOW模型中，将上下文(或周围词)的分布式表示结合起来来预测中间的单词。而在Skip模型中，使用输入词的分布式表示来预测上下文。有了这个定义，<
浏览 0提问于2020-03-22得票数 4
回答已采纳
2回答
我找到了跳格模型的明确解释。我们取输出权矩阵，用我们想要嵌入的字的一个热向量乘以它。📷
我知道我们必须取一个输入权重(Wvnx)，但是哪一个？
浏览 0提问于2021-11-21得票数 3
当从零开始训练CBOW词嵌入时，我对自然语言处理中传递给神经网络的输入感到困惑。我读了报纸，有些怀疑。Sentence1：“我喜欢自然加工领域。”我的问题如下：
如何将这些训练数据传递给上述数字的神经网络？如果将每一个词表示为维数的one-hot encoded向量，等于vocabulary V的大小，作为神经网络的输入，那么如何
浏览 0提问于2020-11-07得票数 4
现在，我在许多tensorflow示例中看到了这一行，但没有提到用于获取嵌入词的任何具体嵌入算法。, -1, 1))下面是一些示例：
我知道第一行将通过随机分布初始化单词的嵌入，但是嵌入向量是否会在模型中得到进一步的训练，以便更准确地表示单词(并将初始值更改为更精确的数字)，如果是的话，如果没有提到任何明显的嵌入方法，例如在代码中使用wor
浏览 1提问于2018-09-21得票数 1
回答已采纳
我正在使用TensorFlow做一个类似于连续单词包(CBOW)模型的定制嵌入训练。然而，与具有固定长度滑动窗口的CBOW不同，我的滑动窗口可以被认为是灵活的。以下是问题所在：
比方说，嵌入就是字嵌入。对于字t，我有一个张量表示它的上下文词的索引：-1，1，2，-1。最大窗口大小为4，因此向量的长度为4。但有时一个单词没有4个上下文单词，所以我使用'-1‘来表示’在这个位置上没有单词‘，而其他整数是一个单词
浏览 0提问于2018-01-10得票数 0
回答已采纳
1回答
构建doc2Vec算法时，需要有多个嵌入。有词向量的嵌入，同时也有文档本身的嵌入。该算法的工作方式类似于CBOW模型，但文档嵌入也用于使用给定窗口训练的每个文档。因此，如果我们有一个5个单词的窗口，我们将继续浏览这5个单词，但对于每个窗口，我们将始终包括文档嵌入向量本身，以便我们可以更新它。
浏览 7提问于2016-09-14得票数 0
回答已采纳
2回答
CBOW模型实际上以多个单词作为输入，以一个目标中心字作为输出。
就像在基因论中，它是如何将一个词映射到它的向量表示中的呢？但最终模型的输出将接近地面真理的一个热点嵌入，而不是一个带有上下文信息的向量。
CBo
浏览 0提问于2019-08-19得票数 2
在CBOW中，每个单词都有输入向量和输出向量，或者上下文向量和自向量，上下文集合了周围的单词，如果上下文也包含中心单词的输入向量，怎么办？
浏览 0提问于2021-03-09得票数 0
我看到了一些在神经网络模型中使用CBOW的例子(尽管我不理解它们)。
我知道，Word2Vec与BOW或TFIDF不同，因为CBOW没有单一的值，我看到的所有例子都使用了神经网络。2:是否有使用逻辑回归的CBOW使用的简单代码？
浏览 0提问于2021-06-12得票数 0
所有这些都是这个例子中最合适的词是“更大”，但“更高”也可以。我希望我能把我的问题解释得足够好。
浏览 0提问于2019-03-26得票数 1
回答已采纳
2回答
我经历过几个链接，但不能够理解CBOW and Skip Gram是如何从零开始训练的？Skipgram word2vec和CBOW word2vec在训练中的区别是什么，以及什么时候使用CBOW .？Example or Application where CBOW would be preferable choice but not Skip-gram and vice versa.
浏览 0提问于2020-10-12得票数 1
在浏览TensorFlow 时，我很难理解教程中关于存储跳转图模型输入的占位符的解释。解释说：
跳过图模型有两个输入。一个是一批表示源上下文单词的整数，另一个是表示目标单词的整数.现在我们需要做的是查找分批中每个源单词的向量..。现在我们已经有了每个单词的嵌入，我们想尝试预测目标单词。但是，由于我们使用的是跳过图模型(而不是CBOW)，难道我们不需要查找每个目标单词的单词向量，然后预测给定目标<e
浏览 3提问于2017-08-27得票数 1
回答已采纳
3回答
我完全了解单词嵌入(skip-gram，CBOW)的含义和方法。我知道，谷歌有一个word2vector应用程序接口，它可以通过获取单词来生成向量。但我的问题是:我们有一个子句，包括主语，宾语，动词...Google API以前嵌入了每个单词，现在“我们如何将这些向量组合在一起，以创建一个与子句相等的向量？”例如:子句: V=“狗咬人”在谷歌嵌入单词后，我们有V1，V2，V3，它们每一个都映射到狗，咬人，人。我们知道:V= V1+ V
浏览 2提问于2017-06-28得票数 10
我想知道Word2Vec是如何构建的。📷1) CBOW模型和Skip图模型都有一定的输入。3)将跳过图的输出作为中间神经网络的输出。CBOW的输出是对给定上下文的中心词的预测，跳跃图的输出是对周围中心词的预测。因此，我们首先训练CBOW，然后再训练中间神经网
浏览 0提问于2017-06-12得票数 6
回答已采纳
1回答
Gensim是Word2Vec的一个优化的python端口(参见)我将用gensim重新运行模型培训，因为他们的模型中有一些噪音标记。因此，我想找出word2vec在gensim中的一些等价参数是什么
是：在gensim中有P
浏览 2提问于2015-04-29得票数 3
回答已采纳
我开始使用gensim的FastText在一个专门领域的大型语料库上创建单词嵌入(在发现现有的开源嵌入在这个领域上没有很好的表现之后)，尽管我没有使用它的字符级n-克，所以它基本上只是word2vec。我通过查看一些与key“最相似”的单词来测试结果，而且模型似乎运行得很好，只是最相似的单词最多得到0.7的相似分数(使用余弦相似性，gensim的FastText most_similar()函数)；而google或spacy的嵌入同义词往往具有~0.95+相似性。我最好的猜测是，我使用的
浏览 0提问于2019-05-31得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
