GloVe导入错误-语料库-无法导入
GloVe导入错误是指在使用GloVe进行自然语言处理时，出现了无法导入语料库的问题。GloVe（Global Vectors for Word Representation）是一种用于生成词向量的算法，它通过对大规模语料库进行训练，将每个单词表示为一个向量，从而捕捉到单词之间的语义关系。
在解决GloVe导入错误时，可以考虑以下几个方面：
- 检查语料库路径：首先，需要确保语料库的路径是正确的。语料库通常是一个文本文件，包含大量的文本数据用于训练词向量模型。检查路径是否正确，并确保文件存在。
- 检查语料库格式：GloVe算法要求语料库以特定的格式进行存储。通常，每个单词和其对应的词向量应该在一行中，用空格或制表符分隔。确保语料库的格式符合GloVe的要求。
- 检查语料库编码：语料库的编码方式也可能导致导入错误。确保语料库的编码方式与代码中指定的编码方式一致，常见的编码方式包括UTF-8和ASCII。
- 检查GloVe版本：GloVe有多个版本，不同版本之间可能存在一些差异。确保使用的GloVe版本与代码中的版本兼容，并查阅相应版本的文档以了解可能的导入错误解决方法。
- 检查依赖库：GloVe算法通常需要依赖一些其他的库或工具。确保这些依赖库已正确安装，并且版本与GloVe兼容。
对于语料库无法导入的问题，可以尝试使用腾讯云的自然语言处理相关产品来解决，例如：
- 腾讯云智能语音：提供了语音识别、语音合成等功能，可以将语音转换为文本，作为语料库进行训练。产品介绍链接：腾讯云智能语音
- 腾讯云智能文本：提供了文本分析、情感分析、关键词提取等功能，可以对文本进行处理和分析，辅助构建语料库。产品介绍链接：腾讯云智能文本
以上是关于GloVe导入错误的解决方法和腾讯云相关产品的介绍。希望能对您有所帮助！
相关·内容
1回答
训练我自己的手套模型时的编码问题
、、、、
我正在用我自己的语料库来训练一个GloVe模型，我很难用utf-8格式保存/加载它。
在这里，我尝试过：
from glove import Corpus, Glove
#data
lines = [['woman', 'umbrella', 'silhouetted'], ['person', 'black', 'umbrella']]
#GloVe training
corpus = Corpus()
corpus.fit(lines, window=4)
glove = Glove(no
浏览 0提问于2019-04-15得票数 1
回答已采纳
3回答
我正在使用GloVe作为我研究的一部分。我从下载了模型。我一直在使用GloVe进行句子分类。一些STEM主题说，我所分类的句子是特定于特定领域的。然而，由于现有的GloVe模型是针对一个通用的语料库进行训练的，因此对于我的特定任务，它们可能不会产生最佳的结果。
所以我的问题是，我应该如何加载经过再训练的模型，然后再在我自己的语料库上重新训练它，以学习我的语料库的语义呢？如果可能的话，这样做是有好处的。
浏览 7提问于2017-04-25得票数 7
回答已采纳
我下载了手套模型https://nlp.stanford.edu/projects/glove/ 我使用自己的语料库训练Glove模型，除了添加自己的语料库之外，我没有改变任何其他东西。但它会给出以下错误。 01/30/19 - 11:15.01AM, iter: 015, cost: 0.062701
$ python eval/python/evaluate.py
Traceback (most recent call last):
File "eval/python/evaluate.py", line 110, in <module>
main
浏览 17提问于2019-01-30得票数 2
回答已采纳
1回答
word2vec、glove和elmo之间的区别是什么？根据我的理解，它们都是用来训练单词嵌入的，对吗？
浏览 42提问于2019-06-18得票数 1
1回答
Gensim训练不更新权重
、、、、
我有一个领域特定的语料库，我试图为其训练嵌入。因为我想要更全面的词汇量，所以我从glove.6B.50d.txt中添加了单词向量。从这里添加向量后，我使用我的语料库来训练模型。
我正在尝试的解决方案，但是嵌入这个词似乎没有更新。
到目前为止，这就是我的解决方案。
#read glove embeddings
glove_wv = KeyedVectors.load_word2vec_format(GLOVE_PATH, binary=False)
#initialize w2v model
model = Word2Vec(vector_size=50, min_count=0, wind
浏览 7提问于2021-12-30得票数 0
回答已采纳
我正在尝试在我的文本语料库上使用python训练Glove模型，遵循本页面上指定的实现。从指定路径读取语料库文件时遇到问题
parser.add_argument('corpus', metavar='corpus_path',
type=partial(codecs.open, encoding='utf-8'))
如何为此参数指定文件路径。我使用了命令行参数，如下所示
C:\Users\JAYASHREE\Documents\NLP>python Glove_python_bbc.py &
浏览 13提问于2017-08-06得票数 0
回答已采纳
2回答
在我的NLP任务中，我使用Glove来获取每个单词的嵌入，Glove给出50个浮点数作为我句子中每个单词的嵌入，我的语料库很大，结果模型也很大，适合我的机器，我正在寻找一种方法将每个单词嵌入从50个数字减少到一些更少的，也许一个浮点数是可能的，有办法做到这一点吗？
我在考虑一种聚合的方法，比如取50个数字的平均数，这会有效吗？
浏览 0提问于2022-02-14得票数 0
回答已采纳
我正在尝试使用spaCy来训练一个NER模型，以识别位置、(人)名称和组织。我试图理解spaCy是如何在文本中识别实体的，但我一直未能找到答案。从 on Github和上可以看出，spaCy使用文本中的许多特性，如POS标记、前缀、后缀以及文本中的其他字符和基于单词的特性来训练平均感知器。
但是，代码中没有任何地方显示spaCy使用GLoVe嵌入(尽管句子/文档中的每个单词似乎都有它们，如果它们存在于GLoVe语料库中)。
我的问题是-
这些现在已经被应用到网络系统中了吗？
如果我要将单词向量切换到不同的集合，我是否应该期望性能发生有意义的变化？
在代码中，我可以找到(如果全部)
浏览 3提问于2017-06-12得票数 20
3回答
我试着跟踪
但有些时候我浪费了很多时间，结果却一无是处。
我只想在我自己的语料库上训练一个GloVe模型(~900 my corpus.txt文件)。我下载了上述链接中提供的文件，并使用cygwin编译了它(编辑了demo.sh文件后将其更改为VOCAB_FILE=corpus.txt )。我应该保持CORPUS=text8不变吗？)产出如下：
cooccurrence.bin
cooccurrence.shuf.bin
text8
corpus.txt
vectors.txt
如何使用这些文件将其作为python上的GloVe模型加载？
浏览 0提问于2018-02-24得票数 28
1回答
我已经实现了BBCNews数据集的glove模型，遵循这个代码，我已经形成了一个单一文件的语料库，words.Vocabulary文件之间有单个空格，generated.Can你能给我解释一下怎么读吗？
浏览 0提问于2017-08-07得票数 0
我的目标是询问是否可以在Tensorflow word-rnn生成模型中使用预先训练过的GloVe向量，如果可以，那么如何实现？
我从中引用了这一点，我理解(我认为)应该将向量放在line 35-37 of model.py中的嵌入中。从代码中，我看到他使用的不是任何预先训练过的向量，而是输入文本中的单词。
我见过像这样的其他答案，但由于我对Tensorflow和Python还不熟悉，所以我并不完全理解如何将其应用到代码中。
GloVe生成两个文件，即：
词汇表文件，并计数所有单词的出现情况。
矢量文件例如also -0.5432 -0.3210 0.1234...n_dimensio
浏览 0提问于2017-01-05得票数 4
我正在尝试评估一个自制的主题模型。为此，我使用主题列表(由关键字表示)，并希望使用gensim.models.coherencemodel.CoherenceModel，并在语料库上调用它，语料库是一个字符串列表(每个字符串都是一个文档)。CoherenceModel需要一个Dictionary，但我不明白它对应的是什么，以及如何才能获得它。我使用来自sklearn的TfidfVectorizer向量化文本，使用来自gensim的glove嵌入来计算我的模型中的相似度。
浏览 10提问于2020-03-25得票数 0
回答已采纳
是否有专门针对特定主题的预训练向量？例如" java "，所以我希望在文件中包含与java相关的矢量。意思是，如果我给输入继承，那么余弦相似度只显示多态性和其他相关的东西！我使用语料库作为GoogleNews- vectors negative300.bin和Glove向量。仍然得不到相关的单词。
浏览 6提问于2020-04-06得票数 0
我的数据集和自然语言处理任务与作者预先训练的模型(https://github.com/google-research/bert#pre-training-with-bert)的大型语料库有很大的不同，所以我不能直接微调。有没有什么示例代码/GitHub可以帮助我用自己的数据训练BERT？我希望得到像glove这样的嵌入。 非常感谢!
浏览 48提问于2019-06-13得票数 2
我需要训练一些手套模型，将它们与word2vec和fasttext输出进行比较。它是用C语言实现的，我不能读懂C代码。github是。
训练语料库需要格式化为单个文本文件。对我来说，这将是>>100G --对于内存来说太大了。在我浪费时间构建这样的东西之前，如果有人能告诉我，是glove algo试图将东西读入内存，还是从磁盘中流式传输，我将不胜感激。
如果是前者，那么glove当前的实现将与我的数据不兼容(我认为)。如果是后者，我会去做的。
浏览 20提问于2020-02-18得票数 1
我目前使用的是GloVe嵌入矩阵，它是在一个大型语料库上预先训练的。为了我的目的，它工作得很好，然而，有几个词它不知道(例如，'eSignature')。这有点损害了我的成绩。我没有时间或数据对不同的(更特定领域的)语料库进行再培训，所以我想知道是否可以在现有向量的基础上添加向量。用E( word )表示一个词的嵌入。下面的内容会有效吗？
E(eSignature) = 1/2 * ( E(electronic) + E(signature) )
如果不是，我还可以用什么方法在一个单词嵌入中添加几个单词呢？
浏览 0提问于2020-03-07得票数 2
回答已采纳
我使用的命令是"pip glove_python“。但它给了我以下错误：
‘运行setup.py安装手套-python.从命令/User/bin 6384/anaconda3 3/bin/python -u -c "import setuptools，-u 'open'，open)(file);code=f.read().replace('\r\n'，‘\n’)；f.close()中输出错误；编译(代码，文件，))“安装-记录/private/var/folders/xf/hy2wkn4s3nd98k159rpws03nnt3rbk/T/pip-
浏览 1提问于2018-04-20得票数 0
1回答
我想要计算文本相似度使用放松字移动距离。我有两个不同的数据集(语料库)。见下文。
A <- data.frame(name = c(
"X-ray right leg arteries",
"consultation of gynecologist",
"x-ray leg arteries",
"x-ray leg with 20km distance",
"x-ray left hand"
), stringsAsFactors = F)
B <- data.frame(nam
浏览 1提问于2018-09-03得票数 0
我运行了这段代码，遇到了下面的错误:我如何才能避开错误并继续下一个wrod？ GLOVE_DATASET_PATH = 'glove.840B.300d.txt'
from tqdm import tqdm
import string
embeddings_index = {}
f = open(GLOVE_DATASET_PATH, encoding="utf8")
word_counter = 0
for line in tqdm(f):
values = line.split()
word = values[0]
if word in di
浏览 16提问于2021-09-22得票数 0
3回答
上个月，我一直在研究单词嵌入和最著名的预先训练过的单词嵌入、Word2Vec、GloVe、FastText等。我已经读过很多次，在做给定的任务时利用预先训练过的模型是多么重要，但是我不明白一个经过训练的模型如何能够适应我给定的语料库。此外，如果我的新单词没有出现在预先训练的模型中，我能使用这个预先训练的模型来学习新单词的嵌入吗？
浏览 0提问于2021-04-10得票数 2
我对doc2vec非常陌生，然后我做了一些小的研究，发现了一些东西。下面是我的故事:我正在尝试学习使用doc2vec 240万文档。起初，我只试着用一个由12个文档组成的小模型来完成这个任务。我用第一个文档的推断向量对结果进行了检验，发现通过0.97-0.99余弦相似度度量，它确实与第一个文档相似。虽然当我尝试输入一个完全不同的单词的新文档时，我得到了0.8度量相似度的高分。然而，我把它放在一边，试图继续用240万份文档构建完整的模型。在这一点上，我的问题开始了。结果完全是胡说八道，我在most_similar函数中得到的结果相似程度为0.40.5，与新文档检查结果完全不同。我试着调优参数，但
浏览 0提问于2019-08-14得票数 0
1回答
在我的学士论文中，我需要在同一个语料库上训练不同的词嵌入算法来对它们进行基准测试。我希望找到预处理步骤，但不确定哪些步骤要使用，哪些步骤可能不太有用。
我已经找了一些研究，但也想问是否有人有这方面的经验。
我的目标是在同一个语料库上训练Word2Vec、FastText和GloVe嵌入。现在不太确定是哪一个，但我想到的是维基百科或类似的东西。
我认为：
POS-Taggingremove非字母字符与正则表达式或similarStopword removalLemmatizationcatching短语
是合乎逻辑的选择。
但我听说删除秒词可能有点棘手，因为某些嵌入可能仍然包含停止词，因为自动删
浏览 0提问于2020-12-22得票数 1
回答已采纳
我在我的项目中使用GloVe和gensim。我有一个数据集(比方说mydata.txt)，其中有一些新单词不在现有的手套中。那么，我如何再培训手套，使现有的预先训练手套现在必须包括我的语料库mydata.txt上的新词？我一直在苦苦挣扎，两周来一直未能找到解决方案。我发现的唯一类似的帖子就是这个对现有手套模型的改进
浏览 0提问于2018-06-29得票数 2
1回答
Word2vec和Glove嵌入对语料库中的每个单词都有相同的向量表示，不考虑上下文。
例如：
那条狗确实对人吠叫。
树的树皮很硬。
在上面的例子中，Word2vec和Glove为单词“树皮”创建了一个向量。但是使用Elmo，对于“树皮”这个词，它会有两种不同的表达方式，因为它考虑的是上下文。所以，我在尝试如何在数据集中给出一个新句子的向量的机制。
比如说，我们有一个预先训练过的模型，它对不同的单词有不同的向量。当我不得不在一个新句子上使用这个模型时，Elmo会产生一个新的向量吗？那么，当模型被应用到新的数据时，模型的微调总是发生吗？如果是这样的话，什么时候被认为是一个受过完全训练的模型？
浏览 0提问于2020-06-20得票数 0
我已经用wget下载了数据
!wget http://nlp.stanford.edu/data/glove.6B.zip
- ‘glove.6B.zip’ saved [862182613/862182613]
它被保存为压缩文件，我想使用压缩文件中的glove.6B.300d.txt文件。我想要实现的是：
embeddings_index = {}
with io.open('glove.6B.300d.txt', encoding='utf8') as f:
for line in f:
values = line.split()
浏览 3提问于2018-04-27得票数 6
回答已采纳
1回答
我正在用python进行一些NLP处理，并且我使用的是Glove库。 我正在尝试运行这段代码 from glove import Glove, Corpus
# creating a corpus object
corpus = Corpus() 但是，我得到了以下错误 Traceback (most recent call last):
File "C:/Users/malsa876/PycharmProjects/ReqPrioritization/glov.py", line 14, in <module>
from glove import G
浏览 39提问于2019-03-17得票数 1
回答已采纳
以下是我执行的操作：
Installed pip3 install glove_py ok。在Jupyter Python中，导入手套工作正常。
from glove import *
问题：
当我尝试使用基本设置代码来确保所有模块都已加载并正常工作时。我有这个代码，它的错误信息是："NameError: name 'glove‘is not defined“。现在由于模块手套导入工作正常，我尝试了函数' glove‘和'Glove'，这两个函数都没有定义NameError。
我确实找到了像'git clone ‘这样的库，并且用make下载并构
浏览 6提问于2020-03-22得票数 0
1回答
手套字模相似
、、
我想要计算文本相似度使用放松字移动距离。我有两个不同的数据集(语料库)。见下文。
A <- data.frame(name = c(
"X-ray right leg arteries",
"consultation of gynecologist",
"x-ray leg arteries",
"x-ray leg with 20km distance",
"x-ray left hand"
), stringsAsFactors = F)
B <- data.frame(nam
浏览 2提问于2018-09-08得票数 0
这是由Stanford GLOVE项目提供的流行的预训练word向量文件。它通常用于自然语言应用程序。
解析错误可能是我试图修复的一些不可预测行为的根本原因。在这个十六进制框架上执行as.data.frame后，出现了奇怪的东西(未显示)。所以我想以某种方式修复这个早先的错误。
# How to eliminate parse error?
g6B = h2o.importFile(path = "/mnt/fastssd/glove/glove.6B/glove.6B.100d.txt", header=FALSE, na.strings=NA, sep=" "
浏览 4提问于2017-04-08得票数 2
所以这里：
glove_path = './embeddings/glove_{}_{}.pkl'.format(dataset,mode)
if(os.path.isfile(glove_path)):
print("Reusing glove dictionary to save time")
#with open(glove_path,'r') as f:
with open(glove_path, 'rb') as f: #python 3 for pickle byte s
浏览 0提问于2018-03-09得票数 0
1回答
我在初始化一个在另一个结构中声明的结构元素时遇到困难。
我的结构看起来是这样的：
struct finger
{
// other fields
int pin;
};
struct Glove {
struct finger index;
struct finger middle;
struct finger ring;
struct finger pinkie;
struct finger thumb;
};
//Initializing the array
struct Glove glove = { .index.pin = 20, .middle.pi
浏览 0提问于2019-06-21得票数 0
回答已采纳
import numpy as np
%matplotlib notebook
import matplotlib.pyplot as plt
plt.style.use ('ggplot')
from sklearn.manifold import TSNE
from sklearn.decomposition import PCA
from gensim.test.utils import datapath, get_tmpfile
from gensim.models import KeyedVectors
from gensim.scripts.glove2wo
浏览 37提问于2021-05-08得票数 0
对于我正在开发的应用程序，我正在搜索一个文件目录，并期望找到匹配的文件对来进行进一步的分析。
在这种情况下，一对被定义为在某些属性子集上进行匹配，但在其他属性上则有所不同。
作为错误处理/警告的一部分，我希望识别发现的任何文件是“不可比较的”，即找不到对中预期的“合作伙伴”的文件。
我有一个对象类来存储结构化的属性信息，当我在目录中读取文件时，我会将找到的每个文件作为元素存储在这些对象的列表中。
下面是一个愚蠢的简单例子
class glove(object):
def __init__(self, size, color, is_right):
self.size =
浏览 0提问于2018-03-26得票数 2
回答已采纳
1回答
我想要训练一个简单的情感分类器在IMDB数据集上使用预先训练的GLoVe向量，一个LSTM和最终密集层的乙状结肠激活。
我的问题是，获得的准确度相对较低: 78%。当使用可训练嵌入层而不是GLoVe向量时，这低于82%的精度。
我认为主要原因是因为数据集中只有67.9%的单词在GLoVe文件中找到(我正在使用6B语料库)。
我查看了一些未在GLoVe文件中找到的单词，其中一些示例如下：
祖母的双胞胎
基本上，在GLoVe文件中找不到很多有引号的单词。
我想知道是否需要对数据进行不同的预处理。目前，预处理是由函数imdb.load_data()完成的。
我尝试使用更大的42B单词语料库，但这只得
浏览 1提问于2019-05-20得票数 0
我正在努力构建和分发一个废弃的。我做了一个。用代替在每台机器上构建它会让想法变得更容易，但它给我带来了很多问题。我成功地在py3{7,8,9,10}-manylinux_x86_64 (manulinux2014有Glibc 2.17)的cibuild轮中运行了构建过程，并且所有编译的python版本都在docker映像中成功地运行了测试。它在我构建的机器上也运行得很好，在码头外，它是Ubuntu18.04 python 3.8。但是，当我将它安装在另一台计算机(Fedora36Python3.10 GLibc 2.36)中时，其中一个编译好的pyx扩展二进制文件给了我这个错误：
Traceb
浏览 20提问于2022-08-11得票数 1
我想使用solr为我的语料库建立索引。
为了创建序列文件，我使用了以下命令：
./behemoth -i file://path/to/my/file/where/the corpus/is/located -o /user/user-name/file-to-which-the-putput-is-stored
在此之后，我给出了以下用于索引的命令：
./behemoth /user/user-name/pTH-to-which-output-is-stored-in-previous-command
但它给出了以下错误：
15/06/04 11:51:07 INFO mapreduce.
浏览 1提问于2015-06-04得票数 0
问题:R GloVe环境使用库(Text2vec)。使用rsparse::GloVe$new()的代码执行设置环境，但不使用GlobalVectors$new()的代码执行设置环境。
然后运行wv_main = glove$fit_transform(tcm...)，错误：
Glove$fit_transform出错(tcm...)tcm是有效的dgTMaticx，S4数据类型，dim为(545 X 545)
wv_main = glove$fit_transform(tcm, n_iter = 10, convergence_tol = 0.01, n_threads = 8)
cpp_gl
浏览 6提问于2020-03-22得票数 0
现在，我正在尝试使用GloVe学习Deeplearning4j。学习过程本身是一个很好的过程。
因此，我想用UIServer来监控这个学习过程，同时提到。在此页面上，启用了UIServer，代码如下所示。
// Define model
MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder()
// omitted
.build();
MultiLayerNetwork net = new MultiLayerNetwork(conf);
// Enable UIServer
UIServer ui
浏览 0提问于2018-06-14得票数 0
回答已采纳
我试图在python3.5 (x64)上安装glove-python包，但我得到了错误，如下所示。
请注意，我在Windows10上安装了TDM-GCC-64、MinGW32、MinGW64、Cygwin、microsot visual c++ for python2.7、microsoft visual 2008 (x64)和microsoft visual c++ 2015 (x64) Redistributable，试图解决这个问题。
我尝试了许多解决方案，比如使用mingw32/cygwin/mingw64创建distutils.cfg文件来构建包，但所有的试验都给出了不同的错误！所以
浏览 33提问于2017-07-05得票数 1
0回答
我试图编译这个文件(来自Stanford NLP 的glove.c)，但是我得到了一个未定义的引用错误。
aerin@capa:~/Desktop/GloVe/src$ gcc -pthread glove.c -o glove.out -lm
/tmp/ccZMsGyg.o: In function `glove_thread':
glove.c:(.text+0x9d7): undefined reference to `check_nan'
glove.c:(.text+0xa6a): undefined reference to `check_nan'
co
浏览 0提问于2018-07-11得票数 1
回答已采纳
1回答
我正在尝试实现关于How to align two GloVe models in text2vec?问题的一个解决方案。我不明白什么才是GlobalVectors$new(..., init = list(w_i, w_j)中合适的输入值。如何确保w_i和w_j的值是正确的？ 这是一个最小的可重现的例子。首先，准备一些语料库进行比较，这些语料库取自quanteda教程。我正在使用dfm_match(all_words)来尝试确保所有单词都出现在每个集合中，但这似乎没有达到预期的效果。 library(quanteda)
# from https://quanteda.io/article
浏览 12提问于2020-04-11得票数 3
回答已采纳
我正在尝试下载并加载一个带有gensim下载程序的预先训练好的模型到/从一个特定的位置。看起来我可以使用gensim.downloader.BASE_DIR成功地指定下载位置，但是我不知道如何从该位置加载。
我目前正在使用以下命令下载模型：
import gensim.downloader as api
api.BASE_DIR= 'mnt/project/models'
到目前为止，这是有效的-我可以看到模型被下载到正确的位置-但之后我无法访问模型。这段代码：
model = api.load('glove-twitter-25')
导致错误：
FileNo
浏览 2提问于2021-02-05得票数 0
我收到一个CSV文件从第三方，我需要导入到访问。他们声称他们无法添加任何类型的文本限定符；所有我常用的分隔符选项(逗号、制表符、管道、$、~、^等等)。所有这些似乎都出现在数据中，因此在Import中使用是不可靠的。我不能编辑数据，但是我们可以调整分隔符。记录计数在500 K范围x50列(250 50 )。
我尝试了一个非ascii字符作为分隔符(即，)，我可以添加到Import中，示例数据似乎可以分隔OK，但是在尝试实际导入时会得到一个错误(Subscript超出范围)。也尝试过一个多字符分隔符，但不去。
有什么建议可以让我收到这些csv表格吗？日常工作中，许多低技能用户，远程位置，导入功能
浏览 1提问于2019-03-01得票数 1
回答已采纳
我试图使用TorchText库在kaggle内核中加载手套嵌入向量。
from torchtext import vocab
vec = vocab.Vectors('glove.6B.100d.txt', '../input/glove6b100dtxt/')
我得到了以下错误：
OSError: [Errno 30] Read-only file system: '../input/glove6b100dtxt/glove.6B.100d.txt.pt'
添加屏幕截图以获得更多澄清：
浏览 2提问于2020-02-05得票数 1
回答已采纳
1回答
给出两个句子，我想量化两个文本之间的相似度--基于语义相似性。语义语篇相似性(STS)是衡量两个句子在语义上相互等价的程度。说我的意见是有根据的：
index line1 line2
0 the cat ate the mouse the mouse was eaten by the cat
1 the dog chased the cat the alligator is fat
2 the king ate the cake the cake was ingested
浏览 0提问于2020-02-14得票数 2
回答已采纳
我已经使用提供的代码和我自己的语料库生成了GloVe向量。因此，我有.bin文件和.txt文件向量。我正在尝试将这些文件导入gensim，这样我就可以像使用word2vec矢量一样使用它们。
我尝试过同时使用二进制格式和文本文件格式进行加载，但最终只得到了一个酸洗错误：
models = gensim.models.Word2Vec.load(file)
我尝试忽略unicode错误，但这不起作用。我仍然收到unicode错误。
model = gensim.models.KeyedVectors.load_word2vec_format(file, binary=True, unicode_
浏览 3提问于2019-10-29得票数 0
1回答
是否有可能只冻结一定的埋置权值？
、、、、
在NLP任务中使用GloVe嵌入时，GloVe中可能不存在来自dataset的一些单词。因此，我们实例化这些未知单词的随机权重。
是否有可能冻结从GloVe获得的权重，只训练新实例化的权重？
我只知道我们可以设置: model.embedding.weight.requires_grad = False
但这使得生词无法训练。
或者有没有更好的方法来提取单词的语义。
浏览 1提问于2019-02-28得票数 14
回答已采纳
我正在尝试为机器学习模型获取GloVe向量，而不必每次都加载模型。因此，我希望将glove_model字典保存到json文件中，以便在初始构造之后可以将其加载到其他地方。 然而，我一直收到这样的错误："TypeError: Object of type ndarray is not JSON serializable“-下面的完整错误。谢谢! import numpy as np
import json
def make_glove_model():
'''
Load gloVe pre-trained vectors.
Dic
浏览 20提问于2020-07-17得票数 0
我正试着用手套训练我的模特。我的代码如下：
#!/usr/bin/env python3
from __future__ import print_function
import argparse
import pprint
import gensim
from glove import Glove
from tensorflow.python.keras.utils.data_utils import Sequence
def read_corpus(filename):
delchars = [chr(c) for c in range(256)]
delchars = [x fo
浏览 4提问于2020-02-09得票数 0
在从Glove导入语料库时，我尝试了所有可能的方法--我尝试了Pip Install和Zip文件中的Pip3安装。似乎什么都不起作用。请帮帮忙。
浏览 27提问于2020-09-30得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
