如何通过CBOW (GenSim)从一组输入单词中找到最相似的单词？
CBOW (Continuous Bag-of-Words) 是一种用于自然语言处理的词嵌入模型，它可以将单词表示为连续的向量空间中的向量。CBOW 模型的目标是根据上下文单词来预测当前单词，通过训练模型，可以得到每个单词的词向量表示。
要通过 CBOW (GenSim) 从一组输入单词中找到最相似的单词，可以按照以下步骤进行：
- 准备数据：将要训练的文本数据准备好，并进行预处理，如分词、去除停用词等。
- 构建词汇表：将文本数据中的所有单词构建成一个词汇表，每个单词都有一个唯一的索引。
- 生成训练样本：根据 CBOW 模型的思想，从文本数据中生成训练样本。对于每个目标单词，选择其周围的上下文单词作为输入，构成一个训练样本。
- 定义和训练 CBOW 模型：使用 GenSim 库中的 CBOW 模型类，定义 CBOW 模型的参数，如词向量维度、上下文窗口大小等。然后，使用训练样本对 CBOW 模型进行训练，得到单词的词向量表示。
- 寻找最相似的单词：通过计算词向量之间的相似度，可以找到与给定单词最相似的单词。可以使用模型提供的
most_similar()方法来实现。该方法接受一个单词作为输入，并返回与之最相似的若干个单词及其相似度。
CBOW 模型的优势在于它可以将单词表示为连续的向量，捕捉到了单词之间的语义关系。它在自然语言处理任务中广泛应用，如词义相似度计算、文本分类、命名实体识别等。
腾讯云提供了一系列与自然语言处理相关的产品和服务，如腾讯云智能语音、腾讯云机器翻译等。这些产品可以与 CBOW 模型结合使用，实现更复杂的自然语言处理任务。你可以通过腾讯云自然语言处理产品官网了解更多相关信息：腾讯云自然语言处理。
相关·内容
我使用GenSim和CBOW来训练语料库。如何从一组输入单词中获取最相似的单词？
例如:给定一组输入词："David“、"Mary”、"married“。我可以推断出一些输出词，比如：“婚礼”，“丈夫”，“妻子”，“情侣”，等等？
浏览 16提问于2019-11-16得票数 0
回答已采纳
对于Skip-gram word2vec训练样本，如下所示：
Sentence: The fox was running across the maple forest
单词fox提供下一对用于训练：
fox-run, fox-across, fox-maple, fox-forest
每一个单词都是如此。CBOW w2v使用反向方法：
run-fox, across-fox, maple-fox, forest-fox
或者对于forest word：
fox-forest, run-forest, across-forest, maple-forest
所以我们得到了所有的对。如果我们在C
浏览 6提问于2018-09-10得票数 2
回答已采纳
我正在尝试使用gensim库在我自己的数据集上训练单词嵌入(Word2vec)。
model = Word2Vec(sentences=alp[:20],size=100, window=6, min_count=5)，其中alp是我的语料库中包含单个句子的标记的列表。
每当我尝试训练w2v model.Please帮助时，都会出现以下错误。
`Exception in thread Thread-2:
Traceback (most recent call last):
File "/usr/lib/python3.5/threading.py", line 914, i
浏览 0提问于2018-03-12得票数 0
1回答
我当前的doc2vec代码如下所示。
# Train doc2vec model
model = doc2vec.Doc2Vec(docs, size = 100, window = 300, min_count = 1, workers = 4, iter = 20)
我还有如下所示的word2vec代码。
# Train word2vec model
model = word2vec.Word2Vec(sentences, size=300, sample = 1e-3, sg=1, iter = 20)
我对在doc2vec中使用DM和DBOW以及在word2vec中使用Skip和CB
浏览 3提问于2017-10-21得票数 8
回答已采纳
我想创建一个单词嵌入预训练网络，它在word2vec CBOW之上添加了一些内容。因此，我首先尝试实现word2vec CBOW。因为我对非常陌生，所以我无法理解如何在其中实现CBOW。
Initialization
我计算了词汇表，并将单词映射到整数。
输入到(尚未实现)网络
2*k + 1整数列表(表示上下文中的中心单词和2*k单词)
网络规范
共享的Embedding层应该接受这个整数列表，并给出它们相应的向量输出。此外，还将获取2*k上下文向量的平均值(我相信这可以使用add_node(layer, name, inputs=[2*k vectors], merge_mode='
浏览 1提问于2017-01-27得票数 4
回答已采纳
1回答
CBOW:我们正试图根据上下文(定义为目标单词周围的某个单词窗口)来预测下一个单词。
RNN还可用于预测序列中的下一个单词，其中每次输入都是当前输入和最近过去(即前一步的输出)。
我无法理解RNN的方法是如何更好的，因为我可以为CBOW定义一个非常大的窗口，然后它也将根据先前的信息预测单词。为什么我们说RNN将更好地预测，因为它有记忆？如果我们同时向CBOW提供所有东西，这是分步骤提供给RNN的，为什么其中一个比另一个好呢？这仅仅是因为我们节省了后一种情况下的计算吗？
浏览 0提问于2021-08-19得票数 0
使用gensim.models.Word2Vec库，您可以提供一个模型和一个要查找最相似单词列表的“单词”：
model = gensim.models.Word2Vec.load_word2vec_format(model_file, binary=True)
model.most_similar(positive=[WORD], topn=N)
我想知道是否有可能为系统提供模型和“向量”作为输入，并要求系统返回最相似的单词(它们的向量与给定的向量非常接近)。类似于：
model.most_similar(positive=[VECTOR], topn=N)
我需要为双语设置此功能，其中我有
浏览 4提问于2016-06-15得票数 23
在CBOW中，每个单词都有输入向量和输出向量，或者上下文向量和自向量，上下文集合了周围的单词，如果上下文也包含中心单词的输入向量，怎么办？
浏览 0提问于2021-03-09得票数 0
我有一个包含描述的pandas数据格式。我想根据CBOW的含义对描述进行聚类。我现在面临的挑战是将每一行嵌入到等维向量中。首先，我使用gensim训练单词向量，如下所示：
from gensim.models import Word2Vec
vocab = pd.concat((df['description'], df['more_description']))
model = Word2Vec(sentences=vocab, size=100, window=10, min_count=3, workers=4, sg=0)
然而，我现在有点困惑如何用相
浏览 0提问于2018-11-22得票数 1
回答已采纳
我试着从一个使用一个更老版本的gensim的例子中学习。特别是，我有一段代码，如：
word_vectors = Word2Vec(vector_size=word_vector_dim, min_count=1)
word_vectors.build_vocab(corpus_iterable)
word_vectors.intersect_word2vec_format(pretrained_dir + 'GoogleNews-vectors-negative300.bin.gz', binary=True)
我的理解是，当可用时，这会用预先训练过的单词向量来填充单词向量词
浏览 9提问于2021-10-01得票数 0
回答已采纳
我开始使用gensim的FastText在一个专门领域的大型语料库上创建单词嵌入(在发现现有的开源嵌入在这个领域上没有很好的表现之后)，尽管我没有使用它的字符级n-克，所以它基本上只是word2vec。
我通过查看一些与key“最相似”的单词来测试结果，而且模型似乎运行得很好，只是最相似的单词最多得到0.7的相似分数(使用余弦相似性，gensim的FastText most_similar()函数)；而google或spacy的嵌入同义词往往具有~0.95+相似性。我在想他们为什么不在我的案子里。这不一定是一个问题，但我不清楚为何会出现这种情况，为什么即使是非常相似的词，使用非常相似的词也只能
浏览 0提问于2019-05-31得票数 4
我的目标是找出单词和文档之间的相似之处。例如，我想找出"new“和文档之间的相似性，为了简单起见，我说"Hello World!”。
我使用了gensim中的word2vec，但问题是它找不到一个看不见的单词的相似性。因此，我尝试使用gensim中的fastText，因为它可以为词汇表之外的单词找到相似度。
下面是我的文档数据示例：
[['This', 'is', 'the', 'only', 'rule', 'of', 'our', 'household&#
浏览 9提问于2020-10-04得票数 0
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import warnings
warnings.filterwarnings(action='ignore', category=UserWarning, module='gensim')
import logging
import os.path
import sys
import multiprocessing
# from gensim.corpora import WikiCorpus
from gensim.models import Wo
浏览 0提问于2018-05-17得票数 0
我在简历语料库上运行gensim word2vec代码(删除停止词)，以便从预定义关键字列表中识别出语料库中类似的上下文单词。
尽管有几次使用输入参数的迭代，删除停止词等，但类似的上下文词根本没有意义(就距离或上下文而言)。关联和矩阵在同一个窗口中发生了几次，但是矩阵在most_similar结果中没有下降。
以下是在Python2.7 Anaconda培训简历上运行的gensim 2.3.0系统和代码的详细信息:55,418句平均每句话:3-4个单词(删除终止语)代码：
wordvec_min_count=int()
size = 50
window=10
m
浏览 2提问于2017-09-11得票数 0
回答已采纳
1回答
我目前正在使用python，在那里我使用我提供的句子来训练一个Word2Vec模型。然后，我保存并加载模型，以获得用于训练模型的句子中每个单词的单词嵌入。但是，我得到以下错误。
KeyError：“单词'n1985_chicago_bears‘不在词汇表中”
然而，在培训期间提供的一项判决如下。
sportsteam n1985_chicago_bears teamplaysincity city chicago
因此，我想知道为什么在词汇中遗漏了一些单词，尽管这些词是从句子语料库中训练出来的。
在自己的语料库上训练word2vec模型
import nltk
import n
浏览 1提问于2019-05-08得票数 4
回答已采纳
我试着使用gensim最相似的功能，但是结果作为一个列表出现了，比方说a=(单词，余弦相似性)。但是，我不能通过a.Is检索单词，有办法访问单词本身吗？我需要用它作为输入。
浏览 15提问于2021-12-16得票数 0
回答已采纳
1回答
我有个关于CBOW预测的问题。假设我的工作是使用三个周围的单词w(t-3)，w(t-2)，w(t-1)作为输入来预测一个目标词w(t)。一旦模型被训练好，我想在句子后面预测一个单词的缺失。这个模型是否只适用于前三个单词已知，最后一个单词未知的句子？如果我有一个十个字的句子。前9个单词是已知的，我能用9个单词作为输入来预测那个句子中最后一个缺失的单词吗？
浏览 0提问于2018-04-09得票数 2
回答已采纳
我想对大型语料库数据进行word2vec (使用gensim)的培训。我所掌握的信息只有两个单词的重复出现。我的数据格式为
word__tab__context_word__tab__Number
(例如:危险为10，意为‘危险’和‘共同发生’10次，在语料库中的窗口大小为5)。gensim的word2vec接受这样的输入吗？我已经搜索了gensim教程，没有见过这样的例子。
非常感谢你的帮助。李
浏览 1提问于2018-02-12得票数 0
为了使用gensim.similarities.docsim.Similarity类计算单词之间的相似度，需要提供语料库和字典的大小。
在我的例子中，语料库是使用word2vec模型计算的词向量。
我想知道为什么gensim需要这么大的字典？另外，如果这里需要用于创建word2vec模型的字典的大小，或者语料库的字典的大小，我想要计算其相似度。
浏览 0提问于2020-06-23得票数 0
2回答
从已清理的数据中使用代理语句
、、、、
Gensim的Word2Vec模型将包含单个标记/句子单词的内部列表的列表作为输入。据我所知，Word2Vec用于使用向量“量化”文本中单词的上下文。我目前正在处理一个文本语料库，这些文本已经被分割成单独的标记，并且不再包含明显的句子格式(标点符号已被删除)。我想知道如何将这些输入到Word2Vec模型中？
如果我简单地将语料库分割成长度一致的“句子”(例如，每句10个标记)，这会是将数据输入模型的好方法吗？
本质上，我想知道输入句子的格式(列表列表)是如何影响Word2Vec?输出的。
浏览 0提问于2018-07-10得票数 0
2回答
TF的Word2Vec嵌入
、、、、
当您训练word2vec模型(例如使用gensim)时，您提供了一个单词/句子列表。但是，似乎没有办法为计算的词语指定权重，例如使用TF-以色列国防军。
通常的做法是将单词向量嵌入与相关的TF-IDF权重相乘吗？或者word2vec能以某种方式有机地利用这些优势吗？
浏览 0提问于2018-03-04得票数 16
我使用gensim Word2Vec模型来训练单词嵌入。我的代码是：
w2v_model = Word2Vec(min_count=20,
window=2,
vector_size=50,
sample=6e-5,
alpha=0.03,
min_alpha=0.0007,
negative=20,
w
浏览 4提问于2022-04-15得票数 0
1回答
现在我正在做一个NLP实验。我所想到的非常类似于Word2Vec。我想我的方式肯定已经存在了。也许有开箱即用的密码。但我不知道去哪找。
word 2 hot的输入字向量是单热的。所以每个单词向量的大小等于单词的大小。
但我的输入字向量是几个单一热向量的连锁。也许可以称之为“几个热”。它比一个热的要短得多，但仍然很稀疏。我仍然想用word2vec的方案来简化它。
我使用了Gensim的Word2Vec模型。它似乎只接受令牌作为输入。这意味着它在内部将令牌转换为一个热向量，对吗？我想知道是否存在接受自定义输入向量的Word2Vec代码。
浏览 8提问于2022-08-07得票数 1
回答已采纳
1回答
是否存在预训练的Gensim的Phrases模型?如果没有，是否可以使用预训练的单词嵌入进行逆向工程并创建短语模型？ 我正在尝试将GoogleNews-vectors-negative300.bin与Gensim的Word2Vec一起使用。首先，我需要将我的单词映射到短语中，这样我就可以从Google的预训练嵌入中查找它们的向量。 我搜索了Gensim的官方文档，但没有找到任何信息。谢谢!
浏览 18提问于2020-10-16得票数 1
回答已采纳
1回答
我正在尝试实现一个简单的单词预测算法，通过从以下几个选项中选择来填补句子中的空白：
在伦敦的街道上开车是不好玩的。
苹果
小汽车
书
国王
有了正确的模式：
问题1.为了找到最佳的合适选择，必须使用什么操作/功能？库中的相似函数定义在一个词到另一个词之间，而不是一个词到一个词列表(例如most_similar_to_given函数)之间。我在任何地方都找不到这个原始函数，尽管它是CBOW承诺的主要操作(参见下面)！我看到了一些不直观的建议这里！我在这里错过了什么？
我决定采用head first方法，从fastText开始，它提供库和经过预处理的数据集，但很快就被困在了文档中：
fastTex
浏览 0提问于2020-03-22得票数 4
回答已采纳
嗨，我正在使用Gensim Word2Vec在python中嵌入单词。
from gensim.models import Word2Vec, KeyedVectors
但我得到的错误如下：
from gensim import utils
# cannot import whole gensim.corpora, because that imports wikicorpus...
from gensim.corpora.dictionary import Dictionary
ImportError:无法导入名称实用工具。谢谢
浏览 0提问于2018-06-17得票数 2
2回答
我试图通过单词匹配找到句子相似度，然后应用余弦相似度评分。尝试了CBOW/Skip嵌入方法，但没有解决问题。
我这样做是为了产品评审数据。我有两栏：
SNo Product_Title Customer_Review
1 101.x battery works well I have an Apple phone and it's not that
with Samsung smart phone
浏览 1提问于2020-03-09得票数 2
2回答
我目前使用的Word2Vec模式是在谷歌新闻语料库上培训的(来自)，因为这是直到2013年才对新闻进行培训的，因此我需要更新矢量，并根据2013年以后的新闻在词汇表中添加新单词。
假设我在2013年后有了一个新的新闻语料库。我可以重新培训或微调或更新谷歌新闻Word2Vec模式吗？能用Gensim做吗？可以用FastText来完成吗？
浏览 4提问于2017-09-15得票数 3
我试图了解LDA如何用于文本检索，我目前正在使用gensim的LdaModel模型来实现LDA，这里是：。
我成功地识别了k个主题和它们最常用的单词，我知道LDA是关于主题的概率分布，以及单词如何在文档中的主题中分布，所以这很有意义。
也就是说，我不明白如何使用LdaModel检索与搜索查询的字符串输入相关的文档，例如“节育的负面影响”。我尝试在搜索查询中推断主题分布，并使用gensim的similarities.MatrixSimilarity计算余弦相似度，找出搜索查询上的主题分布与语料库中的主题分布之间的相似之处：
lda = LdaModel(corpus, num_topics=10
浏览 0提问于2018-04-26得票数 3
回答已采纳
2回答
CBOW模型实际上以多个单词作为输入，以一个目标中心字作为输出。
因此，经过训练的模型实际上将几个单词映射到一个单一的单词，我的意思是它需要上下文单词并输出中心单词。但是我们期望得到的是将一个单词映射到它的向量表示的模型。似乎输出是一致的，而不是输入和映射。
就像在基因论中，它是如何将一个词映射到它的向量表示中的呢？它是否只是将所有最终模型的输出保存为中心词的向量表示？但最终模型的输出将接近地面真理的一个热点嵌入，而不是一个带有上下文信息的向量。
简言之，我的问题是：
CBoW模型如何将一个词转换成它的向量表示？
浏览 0提问于2019-08-19得票数 2
1回答
我正在研究一个使用seq2seq模型的文本生成，其中使用了GloVe嵌入。我想在这段代码中使用自定义的Word2Vec (CBOW/Gensim)嵌入。有没有人可以帮我用我的自定义嵌入来代替GloVe？
def initialize_embeddings(self):
"""Reads the GloVe word-embeddings and creates embedding matrix and word to index and index to word mapping."""
浏览 4提问于2021-03-12得票数 0
我试图以以下方式使用gensim word2vec most_similar函数：
wv_from_bin.most_similar(positive=["word_a", "word_b"])
因此，基本上，我多个查询词，我想返回最相似的输出，但从一个有限的集合。也就是说，如果词汇表是2000字，那么我想从一组100字的单词中返回最相似的单词，而不是全部的2000字。
例如：
Vocab:
word_a, word_b, word_c, word_d, word_e ... words_z
Finite set:
word_d, word_e, word_f
浏览 6提问于2022-02-16得票数 0
回答已采纳
1回答
我有一个把单词转换成矢量的代码。下面是我的代码：
# word_to_vec_demo.py
from gensim.models import word2vec
import logging
logging.basicConfig(format='%(asctime)s : \
%(levelname)s : %(message)s', level=logging.INFO)
sentences = [['In', 'the', 'beginning', 'Abba','Yahweh', &
浏览 0提问于2018-11-12得票数 0
回答已采纳
1回答
在Gensim中，我有三个经常使用的函数，例如：
model = gensim.models.Word2Vec(corpus,size=100,min_count=5)
来自gensim的输出，但我无法理解如何在等效的min_count命令中设置大小和SciSpacy参数：
model = spacy.load('en_core_web_md')
(输出是嵌入的模型(太大了，无法在这里添加))。
这是我经常使用的另一个命令：
model.most_similar(positive=['car'])
这是来自gensim/SciSpacy预期输出的输出：
[(&#
浏览 2提问于2020-12-08得票数 1
回答已采纳
我有一些志愿者的论文，格式如下： volunteer_names, essay
["emi", "jenne", "john"], [["lets", "protect", "nature"], ["what", "is", "nature"], ["nature", "humans", "earth"]]
["jenne", "li"], [["lets"
浏览 8提问于2020-04-21得票数 0
回答已采纳
我的任务是将文档向量模型投入生产。我是一个R用户，所以我的原始模型在R中。我们的途径之一是用Python重新创建代码和模型。
我对Doc2vec的Gensim实现感到困惑。
在R中工作的过程如下：
离线
单词向量是使用text2vec包中的函数(即GloVe或GlobalVectors )在大型语料库上训练的，这给了我一个大的Word矢量文本文件。
在ML步骤发生之前，使用来自Doc2Vec库的TextTinyR函数将每个文本从一个更小、更具体的训练语料库中转换成一个向量。这不是机器学习的步骤。没有模特受过训练。Doc2Vec函数有效地聚合了句子中的单词向量，其意义与找到向量
浏览 45提问于2021-06-17得票数 1
回答已采纳
1回答
我想获取单词的向量表示。我尝试使用GENSIM api，但得到了与此处相同的错误(对于Python3.6)：ValueError when downloading gensim data set 从预先训练的模型中提取向量的最佳方法是什么？
浏览 28提问于2021-08-08得票数 0
2回答
我有一个100多万行的数据集。每行都有40个标记词。在此基础上，利用神经网络进行分类。词汇量是两万个独特的单词。这是一个二进制分类问题。我将gensim Word2Vec中向量的大小(维度)设置为150，并将这些向量保存到json文件中的每个数据点。json文件的大小非常大: 250 GB。因为我的RAM只有128 GB，所以我不能在一勺中将这个文件加载到内存中。我试图通过把这些矢量缩小到合适的尺寸来减小它们的物理尺寸。我浏览了一些在这个网站上提出的建议，比如。但是，向量的大小是100-300，也取决于问题。
以下是我正在做的事情：
# for training the word2vec mo
浏览 8提问于2022-06-21得票数 0
回答已采纳
我使用gensim来计算给定音符中的单词频率。 在应用以下代码后： from gensim import corpora
dictionary = corpora.Dictionary(sentences)
corpus = [dictionary.doc2bow(text) for text in sentences] 获取语料库，例如：(0，1)，(1，5)，(3，1) ... 我想要的语料库如下：(word_1，1)，(word_2，5)，(word_3，1) ... 所以我想要在语料库中获取单词而不是id单词。 有没有人能告诉我怎样才能将这样的语料库保存为excel文件？
浏览 36提问于2021-05-07得票数 0
我正在使用TSNE绘制一个经过训练的word2vec模型(由gensim创建)：
labels = []
tokens = []
for word in model.wv.vocab:
tokens.append(model[word])
labels.append(word)
tsne_model = TSNE(perplexity=40, n_components=2, init='pca', n_iter=2500, random_state=23)
new_values = tsne_model.fit_transform(tokens)
x =
浏览 13提问于2021-12-07得票数 1
回答已采纳
注意：发现.txt文件本身已经编码成不可读的format...is，有什么方法可以以可读的格式读取.txt文件？
b'‘b'\xd7\xa7\xd7\x90&\xd7\xa0\xd7\xa6\xd7\x9c\xd7\xa8\xd7\x99\xd7\xaa \xd7\x92\xd7\xa8\xd7\x9e\xd7\xa0\xd7\x99\xd7\x94 \xd7 7\xd7 7\xA0\xd7 7\x92\xd7 7\xd7 7 xd7 7 x\xd7 7\xd7 7 xd7 7 xd7 7
我试图使用FastText为希伯来语文本创建单词嵌入。看起来，FastText会
浏览 0提问于2019-04-22得票数 1
2回答
我有一个二进制word2vec文件，我正在使用gensim加载它。
而gensim中有两个单词之间的similarity函数，但没有计算和返回差异向量的函数。
我如何使用两个向量并得到它们的差向量？
我还试图使用这些差异向量作为文档中每个单词和每个class.Is之间的差异向量的特征，这是正确的方法吗？
例如，如果类是sport和politics
sport = [0.4,0.456,45,...] #wordvector of class
politics = [0.23,0.56...] #wordvector of class
我的话是football
football = [0.2,0
浏览 7提问于2019-07-04得票数 0
我想使用gensim word2vec作为神经网络的输入。我有两个问题：
1) gensim.models.Word2Vec获取大小作为参数。这个参数是如何使用的？大小是什么？
2)一旦训练完毕，gensim word2vec的输出是什么？正如我所看到的，这不是一个概率值(不是在0和1之间)。在我看来，对于每个单词向量，我们可以得到这个单词与其他一些单词之间的距离(cosinus) (但到底是哪些单词呢？)
感谢您的回复。
浏览 1提问于2017-01-03得票数 1
Here is model=gensim.models.KeyedVectors.load_word2vec_format('GoogleNews-vectors-negative300.bin.gz'，binary=True)，它包含大写的单词。我如何从这个模型中产生新的模型，其中所有的单词都是小写的？所有单词都将具有与源模型中相同的向量。
浏览 2提问于2019-05-07得票数 0
我现在正在做一个使用Gensim.word2vec的项目，我是这个领域的大一新生。
实际上我已经有一个模型了。有没有什么方法可以让我得到一个单词对另一个单词的相似度排名？例如，单词'girl‘的前两个最相似的单词是’女士‘，然后是’女人‘。有没有可以使用的函数，如果我输入“女士”可以返回1，如果我输入“女人”它可以返回2？
谢谢!
浏览 7提问于2018-07-28得票数 1
我正在将输入文本与文本文件中的文本进行比较。为此，我使用了Gensim包。在该包中，有几种方法可以将输入字符串与文本文件中的不同字符串进行比较:首先，通过查看单词的出现情况。只考虑单词的频率，而不考虑语义。因此，在这种情况下，文本的语言并不重要。然而，结果是“你多大了？”和“你多大了？”没有相似之处，因为这些句子只由不同的单词组成。我希望这两个句子重叠，因为它们具有相同的语义。
为此，我使用。gensim包的corpora和similarities模块用于此目的。但是，输入文本和数据库文件中的文本是荷兰语，而不是英语。
我找不到你可以在这些模块中使用非英语语言的地方，但我也没有读到你不能读到的
浏览 0提问于2021-04-22得票数 0
我真正想要的是把单词和短语聚在一起，例如针织/针织织机/彩虹织机/家用装饰品/织机/针织织机/.我只有语料库，而我只有单词/短语。我能用一个像GoogleNews/Wikipedia/.才意识到这一点？
我现在尝试使用Gensim加载GoogleNews预训练的模型，以获得短语的相似性。有人告诉我，GoogleNews模型包含短语和单词的向量。但我发现，我只能得到词的相似性，而短语相似性失败的错误信息，即短语不在词汇表中。请告诉我。谢谢。
import gensim
from gensim.models import Word2Vec
from gensim.models.keyedvecto
浏览 1提问于2019-08-09得票数 1
回答已采纳
1回答
我有个关于CBOW预测的问题。假设我的工作是使用三个周围的单词w(t-3)，w(t-2)，w(t-1)作为输入来预测一个目标词w(t)。一旦模型被训练好，我想在句子后面预测一个单词的缺失。这个模型是否只适用于前三个单词已知，最后一个单词未知的句子？如果我有一个十个字的句子。前9个单词是已知的，我能用9个单词作为输入来预测那个句子中最后一个缺失的单词吗？
浏览 0提问于2018-04-09得票数 5
回答已采纳
2回答
我目前是一个深度学习的业余爱好者，在这个网站上读到了关于word2vector的文章
对于CBOW或skipgram模型，我可以看到单词向量的维度是300，词汇表大小是15000。我在之前的文章中读到，我们可以对向量中的单词进行硬编码。所以我猜单词向量维度应该等于词汇表大小，或者换一种方式，这个单词维度是什么，以及如何可视化它。你怎么看待这个维度呢？
浏览 5提问于2016-07-01得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
