如何从word2vec上的语料库中找到相似的句子？
在word2vec上的语料库中找到相似的句子可以通过以下步骤进行：
- 数据预处理：将语料库进行预处理，包括去除标点符号、停用词等。可以使用Python中的NLTK库或其他文本处理工具来实现。
- 训练word2vec模型：使用预处理后的语料库训练word2vec模型。可以使用Python中的gensim库或其他相关工具来实现。通过训练，模型将为每个单词生成一个向量表示，以捕捉其语义特征。
- 获取目标句子的向量表示：将目标句子进行预处理，并将其中的单词转换为对应的向量表示。可以通过取单词向量的平均值或加权平均值等方式得到整个句子的向量表示。
- 计算句子之间的相似度：使用余弦相似度或其他相似度度量方法，计算目标句子向量与语料库中每个句子向量之间的相似度。
- 找到相似的句子：根据相似度的值，选择相似度高于某个阈值的句子作为相似句子。
推荐的腾讯云相关产品：无
请注意，本回答只是给出了一般的步骤和思路，并没有针对具体的技术细节和代码实现。实际应用中，还需要考虑语料库的规模、预处理方法、训练参数等方面的调优。此外，具体应用场景还可能需要结合其他技术和工具进行进一步处理和优化。
相关·内容
2回答
从已清理的数据中使用代理语句
、、、、
Gensim的Word2Vec模型将包含单个标记/句子单词的内部列表的列表作为输入。据我所知，Word2Vec用于使用向量“量化”文本中单词的上下文。我目前正在处理一个文本语料库，这些文本已经被分割成单独的标记，并且不再包含明显的句子格式(标点符号已被删除)。我想知道如何将这些输入到Word2Vec模型中？
如果我简单地将语料库分割成长度一致的“句子”(例如，每句10个标记)，这会是将数据输入模型的好方法吗？
本质上，我想知道输入句子的格式(列表列表)是如何影响Word2Vec?输出的。
浏览 0提问于2018-07-10得票数 0
我已经使用TensorFlow教程在我的语料库上实现了word2vec：https://www.tensorflow.org/tutorials/text/word2vec#next_steps现在我想给出一个句子作为输入，并想在语料库中找到一个类似的句子。 我该怎么做有什么线索吗？
浏览 19提问于2021-02-03得票数 0
回答已采纳
我需要将Word2Vec与我的CNN模型结合起来。为此，我需要为每个句子保留一个标志(二进制标记就足够了)，因为我的语料库有两种类型(即.a)。句子的目标类)。所以，我需要在创建后检索每个向量的标志。如何在Word2Vec的输入语句中存储和检索这些信息，因为我需要这两种信息来训练我的深层神经网络？
附注：我正在使用Gensim实现Word2Vec。
附注：我的语料库有6,925个语句，Word2Vec生成5,260向量。
编辑：关于我的语料库的更多细节(按要求)：
语料库的结构如下：
语句(标签：positive) -- Python
- `Feature-A`: **String**
-
浏览 5提问于2020-01-27得票数 2
回答已采纳
我有一个关于word2vec算法的问题。事实上，我的问题是训练语料库中句子的顺序是否重要。例如，给定两个培训语料库：
CorpusA:句子1.句子2.句子3.
CorpusB:句子3.句子1.句子2.
word2vec的结果会有所不同吗？
提前感谢
浏览 2提问于2016-04-07得票数 0
我在数据库中有大量的句子，我想找到这些句子中与用户输入的单个句子最相似的句子。
看起来我可以用做到这一点，但我能看到的所有例子都是使用word2vec，我相信它对于查找单个相似的单词很好，但不适用于句子。但是，我注意到AnnoyIndexer()可以采用word2vec或doc2vec模型。
我说的过程是一样的，但是把word2vec模型换成doc2vec模型，并使用搜索句子的doc2vec向量，对吗？
我是否需要以任何方式使用预训练的单词嵌入，或者我是否只需要使用数据库中的句子语料库来训练doc2vec模型？
谢谢!
浏览 19提问于2020-02-19得票数 0
我需要一些帮助来解决下采样问题。我必须制作一个较大的语料库(6 654 940个句子，19 592 258个标记)来与较小的语料库(15 607个句子，927 711个标记)相媲美，以便在2个可比较的word2vec模型上实现它们。每个语料库是一个列表列表，其中每个列表都是一个标记化的句子:例如[['the', 'boy', 'eats']['the', 'teacher', 'explains']...]
我希望对最大的句子进行下采样，使其具有与较小的句子相同的标记数(保持原始数据结构:对句子进行
浏览 3提问于2020-01-23得票数 0
这更像是一个一般的NLP问题。训练单词嵌入的合适输入是什么，即Word2Vec？属于一篇文章的所有句子是否都是一个语料库中的单独文档？或者每一篇文章都应该是所述语料库中的一份文件？这只是一个使用python和gensim的例子。
语料库按句子分割：
SentenceCorpus = [["first", "sentence", "of", "the", "first", "article."],
["second", "sentence&#
浏览 0提问于2015-11-08得票数 29
回答已采纳
2回答
我用Gensim在几个不同的语料库上对单词进行向量化，得到的结果使我重新思考了Word2Vec的功能。我的理解是，Word2Vec是确定性的，一个词在向量空间中的位置不会从训练变为训练。如果“我的猫在跑”和“你的狗不能跑”是语料库中的两个句子，那么“跑”(或它的茎)的价值似乎必然是固定的。
然而，我发现这个值确实随着模型的不同而不同，而且当我训练模型时，单词在向量空间上的位置一直在变化。这些差异并不总是很有意义，但它们确实表明存在某种随机过程。我在这里错过了什么？
浏览 0提问于2019-01-13得票数 3
回答已采纳
我想训练word2vec和fasttext，以获得我拥有的特定数据集的向量。
我的模型应该接受什么作为输入？
我的文件是这样的：
Customer_4: I want to book a ticket to New York.
Agent_9: Okay, when do you want the tickets for
Customer_4: hmm, wait a sec
Agent_9: Sure
Customer_4: When is the least expensive to fly
现在，我应该如何为word2vec运行准备我的数据？word2vec模型是否考虑了句子间的相似性，
浏览 0提问于2018-10-25得票数 2
我正在尝试在一个问题上实现word2vec。我会简单解释我的问题陈述：
我在处理临床数据。我想预测前N种疾病的一系列症状。
Patient1: ['fever', 'loss of appetite', 'cold', '#flu#']
Patient2: ['hair loss', 'blood pressure', '#thyroid']
Patient3: ['hair loss', 'blood pressure', '#flu]
..
浏览 1提问于2020-07-26得票数 0
回答已采纳
目前，我正在使用LSTM网络进行情感分析研究。
作为输入，我使用word2vec将句子转换成一组向量。
还有一些训练有素的单词向量，比如Google word2vec。
我的问题是，使用自定义的经过培训的word2vecs(使用与我们领域相关的数据集，例如电子项目的用户评论)是否比预先培训的数据集更有优势。
什么是最好的选择
使用预先训练过的word2vec
使用与域相关的数据集来训练我们自己的word2vec
有谁能帮我一下吗谢谢
浏览 0提问于2018-02-24得票数 2
回答已采纳
1回答
文档分类:预处理和多标签
、、、
我有一个关于单词表示算法的问题: word2Vec，doc2Vec和Tf-IDF算法中哪一个更适合处理文本分类任务？我的监督学习分类中使用的语料库由多个句子的列表组成，其中既有短句子，也有长句子。正如在this thread中所讨论的，doc2vec与word2vec的选择是文档长度的问题。至于Tf-Idf与word嵌入，这更多的是文本表示的问题。 我的另一个问题是，如果对于同一个语料库，我有多个标签链接到其中的句子，该怎么办？如果我为同一个句子创建了多个条目/标签，它会影响最终分类算法的决策。我如何告诉模型文档中的每一句话每个标签都是相等的？ 先谢谢你，
浏览 12提问于2020-03-27得票数 1
回答已采纳
我已经成功地实现了word2vec模型来生成词嵌入或词向量，现在我需要从生成的单词向量中生成句子向量，这样就可以给出一个神经网络来总结一个文本语料库。从单词向量生成句子向量的常用方法是什么？
浏览 1提问于2019-06-24得票数 2
回答已采纳
我有大约82个gzipped文件(每个文件大约180 82，总计14 82)，其中每个文件包含新的行分隔语句。我正在考虑使用gensim Word2Vec的来训练词汇表上的word2vec模型。这样，列表就会进入内存中。
现在我还想让嵌入包含多个单词的短语。但是从来看，我似乎需要一个已经训练过的短语检测器和我所有的句子。
from gensim.models import Phrases
# Train a bigram detector.
bigram_transformer = Phrases(all_sentences)
# Apply the trained MWE detector
浏览 2提问于2021-01-05得票数 0
回答已采纳
1回答
作为一个类项目的一部分，我正在尝试用Python语言编写一个word2vec实现，并在一个大约6 6GB的语料库上对其进行训练。我正在尝试编写一个合理优化的解决方案，这样我就不必让我的PC闲置几天。 浏览一下C word2vec源代码，我注意到，每个线程从文件中读取单词，并花时间查找每个单词的索引。最后，它存储了一个单词索引的“句子”。 将整个语料库转换为包含适当单词的整数索引的语料库不是很合乎逻辑吗？这样，在训练哈希表查找时不会浪费时间，而转换过程是一次性的开销。 我知道对于非常大的语料库，你实际上是在加倍它在磁盘上的数量，这是你可能想要避免的。 但是，如果您有足够的内存，这不是可以显著提
浏览 20提问于2019-12-25得票数 0
回答已采纳
根据，我可以使用gensim软件包中的word2vec模型来计算两个词之间的相似度。
例如：
trained_model.similarity('woman', 'man')
0.73723527
然而，word2vec模型无法预测句子的相似性。在gensim中，我发现了具有句子相似性的LSI模型，但这似乎不能与word2vec模型相结合。我的每句话的语料库都不长(短于10个字)。那么，有什么简单的方法来实现这一目标呢？
浏览 13提问于2014-03-02得票数 144
回答已采纳
假设我有一个短句语料库，字数从1到500个左右，平均字数在9个左右。如果我用Word2vec (默认情况下)训练Gensim window=5模型，我应该全部使用这些句子吗？还是我应该删除字数较低的句子？如果是这样的话，是否有一个经验规则的最低字数？
浏览 2提问于2021-05-13得票数 0
回答已采纳
我面临的一个问题是，我需要计算双语(英语和法语)文本的相似性。“数据库”如下所示：
+-+-+-+
| |F|E|
+-+-+-+
|1|X|X|
+-+-+-+
|2| |X|
+-+-+-+
|3|X| |
+-+-+-+
|4|X| |
+-+-+-+
|5| |X|
+-+-+-+
|6|X|X|
+-+-+-+
|7|X| |
+-+-+-+
这意味着我对每个“项目”都有英文和法文文本(可变的长单句)，或者在两个版本中都有(在本例中，版本是彼此松散的翻译)，或者只有一种语言。
其任务是为任何传入的新句子查找最接近的项ID，而不论“数据库”中的句子或传入句子的实际语言(即，“数据库”中
浏览 0提问于2018-11-17得票数 1
我使用Google News数据集加载了一个word2vec模型。现在，我想要获得我希望聚类的句子列表的Word2Vec表示。在浏览完之后，我找到了这个gensim.models.word2vec.LineSentence，但我不确定这就是我要找的。
应该有一种方法可以从预先训练的模型中获得句子列表的word2vec表示，对吗？我搜索的链接中没有任何关于它的内容。任何线索都将不胜感激。
浏览 1提问于2017-07-13得票数 0
回答已采纳
test = pd.read_csv('test.csv')
train = pd.read_csv('train.csv')
def prep_corpus():
sentences = []
for x in test['title']:
sentences.append(x.strip().split())
for x in train['title']:
sentences.append(x.strip().split())
return sen
浏览 1提问于2019-03-17得票数 0
回答已采纳
1回答
我成功地在Word2Vec上学习了Word2Vec教程，所以我能够加载已经受过训练的模型，或者根据一些原始文本来训练一个新的模型(更具体地说，我使用的是GoogleNews-vectors-negative300和Emoji2Vec预培训模型)。
但是，我想将这两种模式结合起来，原因如下:有一个句子(例如Instagram或Twitter的评论，其中包含表情符号)，我想识别句子中的表情符号，然后将其映射到与其相关的单词。为了做到这一点，我计划对句子中的所有单词进行迭代，并计算贴近度(表情符号和单词在向量空间中的位置有多近)。
我如何对已经存在的模型进行升级。然而，在这种情况下，没有添加新单词，
浏览 0提问于2018-03-23得票数 0
回答已采纳
2回答
跨语言语义相似性
、、、
我使用词嵌入来寻找两个句子之间的相似之处。使用word2vec，如果一个句子用英语，另一个句子用荷兰语(虽然不是很好)，我也可以得到一个相似性度量。
所以我开始怀疑是否有可能用两种不同的语言(没有明确的翻译)计算两个句子之间的相似性，尤其是如果语言有一些相似之处(英语/荷兰语)？
浏览 7提问于2017-08-08得票数 2
回答已采纳
1回答
我正试着读一整篇文章，用句子把文章分开，然后再用单词。然后我把它传递到Word2vec模型中，输出就出来了。
然而，我的目标是找到文章的正面或负面情绪。输入不受监督，因为它没有标签。
在输入到word2Vec之前，我需要在文章上做一些情绪评分吗？我不明白word2vec是如何帮助情感分析的。它告诉我的是，单词是相近的/有相同的背景，但实际上并不是积极的还是消极的。
我读过一些声称“使用word2vec进行情感分析”的文章，但实际上没有一篇文章是这样做的，所以我不确定我是不是误读了什么东西。
我在想我该怎么做。谢谢。
浏览 0提问于2021-07-02得票数 0
回答已采纳
3回答
在下面的代码。我不明白工人参数的含义。model =Word2Vec(句子、size=300000、window=2、min_count=5、workers=4)
浏览 0提问于2018-11-21得票数 1
回答已采纳
为了对gensim中的word2vec嵌入进行微调，以下代码适用于以前的版本： model = Word2Vec.load_word2vec_format('GoogleNews-vectors-
negative300.bin.gz', binary=True) 但是，当我使用以下命令时，我得到的错误消息是：Word2Vec.load_word2vec已取消：DeprecationWarning: Deprecated. Use gensim.models.KeyedVectors.load_word2vec_format instead. model = gensim.
浏览 24提问于2020-04-01得票数 3
我以不同的方式用三个词"1“、"2”、"3“来构造句子，并观察到每个单词的向量不变。
以下是不同的句子
第1类：["1“、"2”、"1“、"3"]
第2类：["1“、"2”、"3"]
第3类：["1“、"2”、"3"]
我正在培训Word2Vec模型如下
model = Word2Vec(sentences,min_count=1,size=2)
print (model.wv.most_similar("1"))
print (model.wv.mo
浏览 0提问于2020-01-07得票数 1
Word2vec是一个很好的工具是deeplearning4j。我在这个之后为一个语料库创建了一个向量。
现在的问题是如何用新的句子更新模型，而不必从头开始重建它。
对此有一些思考，这种方法会有帮助吗？
public void trainSentence(List<VocabWord> sentence){}
这会更新模型吗？如果是的话，如何准备将句子发送给这种方法？
浏览 1提问于2016-05-02得票数 2
回答已采纳
2回答
如果在不同的语言和不同的语法上实现word2vec，会有什么效果？我的意思是word2vec是第一次在英语语料库上实现，如果我们使用另一种语言语料库，会有什么影响吗？
浏览 26提问于2019-07-28得票数 0
为了使用gensim.similarities.docsim.Similarity类计算单词之间的相似度，需要提供语料库和字典的大小。
在我的例子中，语料库是使用word2vec模型计算的词向量。
我想知道为什么gensim需要这么大的字典？另外，如果这里需要用于创建word2vec模型的字典的大小，或者语料库的字典的大小，我想要计算其相似度。
浏览 0提问于2020-06-23得票数 0
3回答
我正在训练一个大语料库，使用word2vec和平均的单词向量来得到句子向量。什么是处理否定词的最好方法，使否定句和肯定句相互分离？对于“修复代码生效后”和“修复代码不起作用后”，理想情况下，应该给出彼此相距较远的句子向量。我听说一种方法是寻找“不”这样的否定词，然后否定下一个词向量。有人能澄清这是一个好方法还是可以建议一个更好的方法？
浏览 0提问于2016-12-17得票数 7
1回答
我目前正在使用python，在那里我使用我提供的句子来训练一个Word2Vec模型。然后，我保存并加载模型，以获得用于训练模型的句子中每个单词的单词嵌入。但是，我得到以下错误。
KeyError：“单词'n1985_chicago_bears‘不在词汇表中”
然而，在培训期间提供的一项判决如下。
sportsteam n1985_chicago_bears teamplaysincity city chicago
因此，我想知道为什么在词汇中遗漏了一些单词，尽管这些词是从句子语料库中训练出来的。
在自己的语料库上训练word2vec模型
import nltk
import n
浏览 1提问于2019-05-08得票数 4
回答已采纳
1回答
我正在尝试从莎士比亚的NLTK语料库中导入句子--跟随帮助站点--但是我很难访问这些句子(为了训练word2vec模型)：
from nltk.corpus import shakespeare #XMLCorpusreader
shakespeare.fileids()
['a_and_c.xml', 'dream.xml', 'hamlet.xml', 'j_caesar.xml', ...]
play = shakespeare.xml('dream.xml') #ElementTree object
pr
浏览 2提问于2017-05-01得票数 5
回答已采纳
我想对大型语料库数据进行word2vec (使用gensim)的培训。我所掌握的信息只有两个单词的重复出现。我的数据格式为
word__tab__context_word__tab__Number
(例如:危险为10，意为‘危险’和‘共同发生’10次，在语料库中的窗口大小为5)。gensim的word2vec接受这样的输入吗？我已经搜索了gensim教程，没有见过这样的例子。
非常感谢你的帮助。李
浏览 1提问于2018-02-12得票数 0
1回答
Word2vec和Glove嵌入对语料库中的每个单词都有相同的向量表示，不考虑上下文。
例如：
那条狗确实对人吠叫。
树的树皮很硬。
在上面的例子中，Word2vec和Glove为单词“树皮”创建了一个向量。但是使用Elmo，对于“树皮”这个词，它会有两种不同的表达方式，因为它考虑的是上下文。所以，我在尝试如何在数据集中给出一个新句子的向量的机制。
比如说，我们有一个预先训练过的模型，它对不同的单词有不同的向量。当我不得不在一个新句子上使用这个模型时，Elmo会产生一个新的向量吗？那么，当模型被应用到新的数据时，模型的微调总是发生吗？如果是这样的话，什么时候被认为是一个受过完全训练的模型？
浏览 0提问于2020-06-20得票数 0
我想在我自己的语料库上使用R中的rword2vec包训练word2vec模型。 用于训练模型的word2vec函数需要一个train_file。R中的包文档只说明这是训练文本数据，但没有指定如何创建它。 在GitHub上的示例中使用的训练数据可以从这里下载：http://mattmahoney.net/dc/text8.zip。我不知道这是什么类型的文件。 我已经浏览了rword2vec GitHub page上的自述文件，并查看了Google Code上的官方word2vec页面。 我的语料库是一个包含大约68,000个文档的.csv文件。文件大小约为300MB。我意识到在这种规模的语料库
浏览 15提问于2019-05-01得票数 2
回答已采纳
1回答
我正在尝试调整训练过的Google新闻word2vec模型以适应我的特定领域。对于我所看到的领域，某些词是众所周知的彼此相似的，所以在一个理想的世界中，这些词的Word2Vec表示应该代表这一点。我知道我可以在一个特定领域数据的语料库上训练预先训练的模型来更新向量。
但是，如果我确实知道某些词非常相似，并且应该在一起，那么有什么方法可以将这个约束合并到word2vec模型中呢？从数学上讲，我想在word2vec的损失函数中添加一个项，如果两个我知道相似的函数在向量空间中不是彼此靠近的话，它提供了一个惩罚。有没有人对如何实现这一点有建议？这是否需要我解压word2vec模型，或者是否有一种方法可
浏览 3提问于2016-12-11得票数 5
回答已采纳
我正在使用C版本的word2vec (如所示)，并在德语版维基百科(约17 GB原始文本，约1.4B字)的过滤转储上对其进行训练。我使用以下设置：
-cbow 1 -size 300 -window 5 -negative 25 -hs 0 -sample 1e-4 -threads 20 -binary 1 -iter 15 -min-count 1000
生成的输出文件包含约50k个单词，但其中没有一个单词包含字母ä、ö、ü或？我通过创建一个包含这些字母的单词的小型语料库，验证了word2vec可以处理它们，它们出现在输出中。
是什么原因导致包含这些字符的单词不出现在输出文件中？这是否与语
浏览 2提问于2017-03-04得票数 1
我在最新的维基百科文章转储上构建了一个盒子嵌入模型，我需要将它与gensim中的word2vec模型进行比较。我看到，如果我使用WikiCorpus类中的get_texts()方法将语料库数据生成为txt文件，会有很多停用词，所以这让我认为WikiCorpus不会删除停用词，不是吗？现在，一旦在维基语料库txt上训练了我的盒子模型，我注意到调用我为盒子嵌入打印创建的“最相似”函数经常会停止单词，而不是将相同的单词传递给在相同语料库txt上训练的word2vec模型的最相似函数，从而产生最佳结果。有人能告诉我为什么Word2vec模型在语料库txt上有很多停用词，而我的盒子模型在同一语料库上没有
浏览 13提问于2021-11-05得票数 0
1回答
Spacy创建向量表示的内置方法是什么？我在我的语料库上执行了NLP，然后使用.similarity (余弦相似度)来绘制出“相似”的文档。然而，我不确定spacy使用什么方法来创建向量表示。据我所知，我认为这可能是负采样的word2vec跳过语法，然而，我想确定！
浏览 7提问于2017-07-07得票数 1
我正在尝试使用训练word2vec模型，方法是使用语料库作者提供的中预先计算的二元语法计数共现计数。
如何使用实现这一点
浏览 0提问于2020-03-12得票数 1
1回答
我试图写一个算法，可以计算出一个句子的‘出乎意料’或‘信息复杂性’。更具体地说，我试图对一组句子进行排序，这样最简单的句子就会排在第一位。
我的想法是，我可以使用一个压缩库，比如zlib?，在同一种语言的大型文本语料库上进行“预训练”(称之为“语料库”)，然后将不同的句子附加到文本语料库中。
也就是说，我可以定义一个句子的复杂性度量，它需要多少字节才能压缩整个语料库，而整个语料库则需要一个不同的句子。(额外字节越少，该句子就越可预测或“预期”，因此复杂度就越低)。这有意义吗？
问题在于如何找到合适的库来让我这样做，最好是从python那里。
我可以把句子加到一个大语料库中，并要求压缩库来压缩整
浏览 1提问于2016-10-14得票数 1
回答已采纳
我想在我的星团上训练关于10G新闻语料库的word2vec模型。以下是我的星星团的心声：
1名硕士和4名工人
每个都有80G内存和24个核。
但是，我发现使用Spark进行Word2vec培训并没有充分利用集群的资源。例如：
如上图所示，只有100%的cpu用于一名工人，其他三名工人没有使用(所以没有粘贴他们的图片)，刚才我如何训练一个关于2G新闻语料库的word2vec模型，大约需要6小时，所以我想知道如何更有效地训练这个模型?谢谢大家：)
UPDATE1 1:下面的命令是我在星火壳中使用的
如何启动火花壳spark-shell \ --master spark://i
浏览 7提问于2015-12-20得票数 3
我感兴趣的是在Gensim word2vec模型上放置一个回调，以便在每个批处理之后触发一些函数。根据documentation，可以在批处理结束或纪元结束时进行回调。然而，如下面的MVE所示，只有纪元回调才会实际触发。 要运行示例，请让corpus_filepath转到一个由不带标点符号的句子组成的以行分隔的文件(给定一行的句子中的单词应以空格分隔)。您可能还需要在Word2Vec实例化中更改workers。 from gensim.models import Word2Vec
from gensim.models.callbacks import CallbackAny2Vec
cor
浏览 18提问于2021-01-18得票数 0
回答已采纳
1回答
我有和客户和代理商通话的记录。我在努力找出一位代理人对客户所作的承诺。
我已经做过标点符号修复了。但是有很多句子没有任何意义。我想把它们从笔录中删除。他们中的大多数只是一组没有关联的词。我想知道对这项任务最好的方法是什么？
我的想法是：
·使用tf、以色列国防军和word2vec从所有句子中创建向量。在此之后，我们可以进行某种异常检测，例如查找和删除与大多数其他向量高度偏离的向量。
·垃圾邮件过滤器。也许可以将垃圾邮件过滤器应用于此任务？
·将适当句子必须包含的部分词性标记的一些模式封装起来。例如，任何好句子都必须包括名词+动词。或者，例如，我们可以使用spacy中的依赖标记。
示例
我想保留
浏览 1提问于2020-01-10得票数 2
1回答
我正在使用gensim框架中的Doc2vec类来计算一个语料库中每个文档的向量表示。
语料库包含很短的句子，甚至可以有一个单词。我观察到，对于许多句子，特别是短句子，Doc2vec不提供任何表示。有人能解释一下原因吗？
浏览 3提问于2015-04-16得票数 1
回答已采纳
我尝试过使用word2vec，但我想更改两个单词之间的相似性。优选地，不是一个接一个地手动。我正在考虑的另一个选择是创建一个语料库，以强制执行正确的相似性，但我不知道如何做到这一点。谢谢你的建议。
浏览 2提问于2020-09-28得票数 0
假设你有一个(维基百科)预先训练的word2vec模型，并在额外的语料库(非常小，1000个气味)上对其进行训练。
你能想象一种将向量搜索仅限于“重新训练”语料库的方法吗？
例如
model.wv.similar_by_vector()
无论它是维基百科语料库的一部分，还是重新训练过的词汇表，都会简单地为给定的向量找到最接近的单词。
另一方面，对于'word‘搜索，这个概念存在：
most_similar_to_given('house',['garden','boat'])
我尝试基于小语料库从头开始进行训练，它在某种程度上与预期的一
浏览 3提问于2019-05-17得票数 0
请参考下面的图片( word2vec跳过图如何从输入句子中提取训练数据集的过程)。
例如：“我爱你。”==> (我，爱)，(我，你)
如果这个句子只包含一个单词，我可以问一下这个词对是什么？
是“快乐！”==> (快乐，快乐)吗？
我对word2vec算法进行了基因测试，当训练集中只有一个词时(而这个词不包含在其他句子中)，word2vec算法仍然可以为这个特定的词构造一个嵌入向量。我不知道这个算法是如何做到的。
===============UPDATE===============================
正如下面发布的答案，我认为为1字句子中的单词创建的单词
浏览 1提问于2020-06-05得票数 0
回答已采纳
我们想在俄语语料库上训练斯坦福神经依赖分析器，有什么提示吗？本文描述了超参数，但是最好了解如何准备培训数据(注释，特别是如何创建word2vec注释)。如有任何帮助或参考文件，我们将不胜感激！
谢谢!
浏览 2提问于2015-09-04得票数 5
1回答
我有一个文本文件中的10个句子的列表。我想使用现有的主题模型来获取每句话的主题。 在我找到的所有教程中-他们在他们的语料库上训练主题模型。我想使用一个在现有语料库中训练过的语料库，并将其应用于我的句子。 这个是可能的吗？
浏览 13提问于2020-04-21得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
