将语料库分成N个单词，每个单词在R中
出现的次数作为特征，构建一个词袋模型。请问如何使用词袋模型进行文本分类？
相关·内容
1回答
我有一个TF-以色列国防军的标记文件(比如说5个标签)。
在应用任何模型(如NMF/LDA)之前，是否有一种方法可以估计最有可能有助于分类的顶级n个单词？我猜想它可以从每个标签中的TF-下手分数中得到.
浏览 0提问于2017-09-14得票数 -1
1回答
我想用字典对语料库进行词汇归一化。语料库有八千行，字典有数千个词对(非标准:标准)。
我采用了一种讨论的方法。代码如下所示：
with open("corpus.txt", 'r', encoding='utf8') as main:
words = main.read().split()
lexnorm = {'nonstandard1': 'standard1', 'nonstandard2': 'standard2', 'nonstandard3':
浏览 0提问于2020-03-25得票数 0
回答已采纳
我正在使用nltk将句子拆分成单词。例如：
nltk.word_tokenize("The code didn't work!")
-> ['The', 'code', 'did', "n't", 'work', '!']
标记化在拆分单词边界时效果很好，即从单词中拆分标点符号，但有时会过度拆分，单词末尾的修饰符被视为单独的部分。例如，didn't分为did和n't两个部分，i've分为I和've两个部分。显然，这是因为这些单
浏览 0提问于2016-01-11得票数 15
回答已采纳
1回答
我需要计算给定语料库中单词之间的拼写相似度(edit/Levenshtein距离)。
R包vwr似乎能够计算出：
coltheart.N(list1, list2)
其中在两个单词列表的匹配单词之间成对地计算Levenshtein距离。
我想知道是否有一种方法可以计算给定单词列表中所有可能的单词组合之间的Levenshtein距离。有人能给我个提示吗？
浏览 1提问于2017-12-07得票数 0
我试图解决的问题是:我有一百万个单词(多种语言)和一些类别，它们被归类为我的训练语料库。给定单词的测试语料库(数量肯定会随着时间的推移而增加)，我希望在训练语料库中获得这些单词中每个单词的最接近匹配，从而将该单词归类为其最接近匹配的相应类别。
我的解决方案是:最初，我做了这种没有规模的蛮力。现在，我想在训练语料库(O(n))的连接上构建一个后缀树，并查询测试语料库(固定时间)。尝试用python来做这件事。
我正在寻找工具或包，以帮助我开始，或者寻找其他更有效的方法来解决手头的问题。提前谢谢。
编辑1:至于如何找到最接近的匹配，我考虑的是精确匹配对齐的组合(从后缀树中)，然后对于剩余的输入字符
浏览 46提问于2019-06-26得票数 1
1回答
例如，如果我试图预测句子中的下一个单词，我可以使用二元语法方法，并根据语料库中的前一个单词计算单词出现的概率。
相反，我使用神经网络来预测下一个单词。训练数据由单词对组成，其中每对单词都包含语料库中的当前单词和下一个单词。训练网络使用输入值作为单词的矢量化表示，输出值是语料库中下一个单词的矢量化表示。
我希望神经网络表现得更好，但我不确定为什么？
什么时候使用神经网络比使用经典方法更好。在这种情况下，神经网络与n元语法模型。如果这个问题含糊不清，我深表歉意。
也许答案是试错，并检查哪个模型的性能更快，预测更好？
神经网络的性能会更好，因为预测只是一个向量乘法，而使用n元语法模型进行预测需要进行
浏览 13提问于2016-09-27得票数 2
回答已采纳
是否有任何算法可以有效地在大型文本语料库中找到n个最常见的k单词序列？
例如，如果n = 1和k = 5，我的语料库是：
a b a b a c d e f a b a b a c c b c b a b c
输出将是a b a b a
浏览 2提问于2019-06-06得票数 1
我猜想，这样做的技术类似于从任何数据帧中提取前N个字符，无论它是否是语料库。
我的尝试是：
create.greetings <- function(corpus, create_df = FALSE) {
for(i in length(Charlotte.corpus.raw)) {
Doc1<-Charlotte.corpus.raw[i]
Word1<-Doc1[1:25]
Greetings[i]<-Word1
}
return(VCorpus)
}
Greetings是以n=6开头的语料库，我不知道如何创建一个空语料库，或
浏览 4提问于2016-08-19得票数 0
我需要将一个语料库分成N个单词。假设这是我的语料库： corpus <- "I need to break this corpus into chunks of ~3 words each" 解决此问题的一种方法是将语料库转换为数据帧，对其进行标记化 library(tidytext)
corpus_df <- as.data.frame(text = corpus)
tokens <- corpus_df %>% unnest_tokens(word, text) 然后使用下面的代码(取自here)按行拆分数据帧。 chunk <- 3
n &
浏览 7提问于2020-06-23得票数 1
回答已采纳
2回答
例如，当计算语料库中某个单词的通用折扣时，一个公式是log(N/n)，其中N是语料库中的文档数，n是包含该单词的文档数。
文档是以新行结尾的字符串吗？
浏览 3提问于2017-03-17得票数 0
我将单词转换为词根，并建立了一个包含10万个文本的语料库，但每个文本的格式都不适合删除停用的单词 我尝试了.join函数，但它为每个字母添加了'‘和'’ corr=[]
pattern = r'\w*'
for a in range (0,113340):
rew = re.sub(pattern, lambda m: str(my_dictionary.get(m.group(0),
m.group(0))), te.CUST_TXT[a])
corr.append(rew) 上面我将单词转换为root，结果如下： prin
浏览 7提问于2019-09-18得票数 0
2回答
我想做一个由大写字母组成的正则表达式的单词列表。数据集是一堆被称为语料库的生物文本文件。
len(corpus.fileids())的结果是487，这意味着语料库中有487篇论文。
这样做的主要原因是收集词表来过滤生物单词，如基因名称和etc(ATP，BRCA)
以下是我一直在尝试的一些代码。(附注：我正在使用python3)
我不得不编写函数来调用语料库中的所有文件。对于一个单独的文件，我认为这是可行的。
capital = re.findall(r'[A-Z]+', GNICorpus)
但问题是，我必须在语料库中浏览这些txt文件中的所有单词，但我对此一无所知。第一次试验
浏览 38提问于2020-05-12得票数 0
2回答
我试图使用来计算跨标准语料库的一个单词的TF-以色列国防军得分，但是对于我收到的结果有点不清楚。
我期待有一个浮点数，它代表了语料库中单词的频率。那我为什么要收到一份清单(?)在7个结果中？
"acculer“实际上是一个法语单词，所以期望从英语语料库中得到0的结果。
word = 'acculer'
vectorizer = textacy.Vectorizer(tf_type='linear', apply_idf=True, idf_type='smooth')
tf_idf = vectorizer.fit_transform(w
浏览 1提问于2019-04-19得票数 5
回答已采纳
下面是我的代码：
while (<LIST>) {
if (m|^\w|) {
chomp;
print "$_\n";
}
if (m|^\t|) {
chomp;
$search = substr($_, 1);
print " $search\n";
while (<BIBLE>) {
while ($_ =~ /\b$search\b/ig) {
$boo
浏览 2提问于2011-12-24得票数 1
3回答
我试图设计一种方法，能够将给定数量的英语单词分为2组--“罕见”和“普通”--指的是它们在语言中的使用程度。
我想分类的单词数量是有限的--目前大约在10,000个左右，包括从文章到可以从其他语言借用的专有名词(因此被归类为“罕见”)。我在语料库中做了一些频率分析，我有这些单词的分布(从1种用法到最多100种)。
我对这样一个系统的直觉是使用单词列表(如BNC词频语料库，wordnet，内部语料库频率)，并在其中一个语料库中对其进行权重分配。
例如，一个词在语料库中具有中等频率(例如50)，但出现在单词列表W中-可以被认为是常见的，因为它是整个语言中最常见的单词之一。我的问题是-为这样的事情建
浏览 8提问于2009-07-08得票数 4
回答已采纳
1回答
我有一个名为corpus的列表，我正在尝试使用sklearn内置的函数对其进行TF-下手。该列表有5项。这些项目中的每一个都来自文本文件。我已经为这个例子生成了一个名为语料库的玩具列表。
corpus = ['Hi what are you accepting here do you accept me',
'What are you thinking about getting today',
'Give me your password to get accepted into this school',
'The man went
浏览 2提问于2020-05-20得票数 7
回答已采纳
我在一个目录中有一个文本文件列表。
我想要创建一个矩阵，在每个文件中，每个单词在整个语料库中的频率。(语料库是目录中每个文件中唯一的单词。)
示例：
File 1 - "aaa", "xyz", "cccc", "dddd", "aaa"
File 2 - "abc", "aaa"
Corpus - "aaa", "abc", "cccc", "dddd", "xyz"
产出矩阵：
[[2, 0,
浏览 2提问于2017-10-26得票数 4
回答已采纳
我有一个场景，我需要运行两个Hadoop作业，计算两个不同语料库的n-gram统计数据，并确保它们将每个n元语法(以及它的分数)写入相同的reducer (以便将来我可以在本地读取数据，并比较和对比来自两个语料库的两个分数)。例如，如果作业J1在机器M上执行其缩减程序之一，并在本地编写n元语法N，我希望作业J2也将n元语法N写入同一机器M。
我知道如何计算语料库的n元语法统计(参考谷歌发布的 )。我还定义了我的自定义分割器(根据n元语法中的前两个单词进行哈希)。现在，我如何确保同一程序的两次不同运行(在两个不同的语料库上)最终将相应的输出写入相同的缩减程序？
浏览 1提问于2013-10-08得票数 0
我试图从文本或语料库中提取关键词。这些不是最常见的词，而是最“关于”文本的词。我有一个比较示例，我生成的列表与示例列表非常不同。你能给我一个指针，帮助我生成一个好的关键字列表，其中不包括像“你”和“它”这样的低意义单词？
我用“罗密欧与朱丽叶”作为我的短信。我的方法(见下面的Scott & Tribble )是将R&J与莎士比亚的完整戏剧进行比较，并在R&J中与完整的戏剧相比，更多地使用出现在R&J中的单词。这应该会剔除像"the“这样的常用词，但在我的代码中却没有。
我得到了很多像“你”、“她”和“它”这样的词，这些词没有出现在他们的名单上，我也没有得
浏览 8提问于2017-04-27得票数 0
回答已采纳
所有人。
我有一个“优化”问题，我真的不知道我应该从哪一个方向出发。下面是对我问题的描述：
我有一个包含大量文本句子的语料库。现在，我需要获得最小的句子记录(作为音频文件)，但同时最大限度地利用原始语料库中的句子数量--更准确地说是从记录的单词中。
我需要做的一个非常简短的例子：
语料库：
黑狗
灰猫
大狗
灰鼠
大鼠
包含原始语料库最大值的最小句的示例：
黑狗
大鼠
灰猫
从以上三个句子(和他们的单词)，我们可以形成其余的句子在语料库中。当然，我正在寻找一些计算上最优的方法，因为我的语料库包含了数千个句子。你知道适合这个问题的方法吗？
谢谢你的
浏览 1提问于2017-02-16得票数 0
回答已采纳
2回答
我是一个专业的语言学家，用Perl来帮助我整理数据，所以我一点也不熟练，我的解决方案也不是很简单:)我今天的问题是，我想在一个例句语料库中的单词列表中标记所有的项目。
我为另一个实验编写了一个(草率的)脚本，但它只从它找到的列表中识别出第一个单词，然后移到下一个。我需要它找到所有句子中的所有单词，在此基础上，在单词列表的第二列中指定一个标签。我就是想不出该怎么做。帮助!
因此，假设我的wordlist如下所示(一个选项卡分隔的.txt文件，其中1列表示单词，1列表示要分配的标记，每个单词和标记位于一行)：
boy (\t) ID01
sleep (\t) ID02
dog (\t) ID03
浏览 3提问于2022-11-10得票数 2
2回答
使用LDA的相似单词
、、、
我希望将LDA算法应用于语料库，以便在给出一个单词或短语作为输入时找出相似的单词。如何做到这一点？
另外，LDA会忽略文档中单词的顺序吗？它是否也忽略了文档在语料库中的顺序？
也可以使用一些其他策略来搜索相似的单词。文档中单词的顺序并不重要，因为我使用的是文档的语言，也就是说，我的文档是一个单词的袋子，单词的顺序并不重要。
浏览 1提问于2017-06-27得票数 0
1回答
我是Python和Scikit学习库的初学者。目前我需要做一个NLP项目，它首先需要用一个单一的热编码来表示一个大的语料库。我读过Scikit-学习关于preprocessing.OneHotEncoder的文档，然而，它似乎不是我的术语的理解。
基本上，这一想法类似于以下内容：
1000000星期日；0100000星期一；0010000星期二；. 0000001星期六；
如果语料库只有7个不同的单词，那么我只需要一个7位向量来表示每个单词。然后，一个完整的句子可以用所有向量的连词来表示，这就是一个句子矩阵。然而，我试过用Python，它似乎不起作用.
我怎么才能解决这个问题？我的
浏览 2提问于2015-05-20得票数 3
回答已采纳
我已经用Gensim在非常短的句子(最多10个单词)语料库上训练了快速文本模型。我知道我的测试集中包含不在我的训练语料库中的单词，即我的语料库中的一些单词，如“催产素”、“来曲霉素”、"Ematrophin“、”Betaxitocin“。 给定测试集中的一个新词，fasttext非常清楚地知道通过使用字符级n-gram来生成与训练集中的其他相似词具有很高余弦相似度的向量 如何将快速文本模型合并到LSTM keras网络中，而不会将快速文本模型丢失为词汇中的一个向量列表？因为那样我就不会处理任何OOV了，即使fasttext做得很好。 有什么想法吗？
浏览 25提问于2020-07-06得票数 4
回答已采纳
我看过很多不同的帖子来处理重音字符，但是没有一个在文本语料库中特别找到重音字符。我试图识别文本中的单词，比如nǚ，但是代码不应该包括非拉丁字母的结果。例:不应该选择女。用于测试的字符串是：
"nǚ – woman; girl; daughter; female. A pictogram of a woman with her arms stretched. In old versions she was seated on her knees. It is a radical that forms part tón of characters related to women and
浏览 3提问于2020-06-07得票数 0
回答已采纳
.i 1
.t
effici machineindepend procedur
garbag collect variou list structur
.w
method return regist free
list essenti part list process
system. paper past solut recoveri
problem review compar. new algorithm
present offer signific advantag speed
storag util. routin implement
浏览 0提问于2012-04-14得票数 1
回答已采纳
我是word2vec的新手，我通过word2vec训练了一个文本文件，用于特征提取，而不是当我看到训练过的单词时，我发现它是单个字符而不是单词，我在这里错过了什么？有人帮忙吗？
我尝试将令牌而不是原始文本输入到模型中。
import nltk
from pathlib import Path
data_folder = Path("")
file_to_open = data_folder / "test.txt"
#read the file
file = open(file_to_open , "rt")
raw_text = file.r
浏览 2提问于2019-08-30得票数 0
回答已采纳
1回答
在word2vec中，我理解选择一个向量的大小，比如100，会给我一个单词向量，它在单词和语料库中的其他100个单词之间有相关性(某种程度)。
我的问题是，这100个单词对每个单词都一样吗？
浏览 0提问于2021-10-26得票数 1
2回答
我一直在互联网上寻找解决方案，并认为我找到了一个解决方案，但我认为tm包的升级已经将输出更改为findAssoc。
我已经从语料库构建了术语文档矩阵和文档术语矩阵。当我运行以下命令时，我得到了一个带有相关性的列表或单词。
serviceAssoc <- findAssocs(serviceTDM, "service", 0.10)
输出如下所示：
customer desk ...
0.63 0.25
这给出了一个很好的单词列表(由1个单词组成的列表)，这些单词与它们的相关性配对。
servicedf <- data.frame(
浏览 0提问于2015-09-03得票数 0
1回答
总的来说，我是编程新手，我认为现在是自学Python的好时机。
我目前正在尝试实现的是确定一个单词列表，这些单词完全由我将选择的词根、音节、前缀和后缀的可变集合组成。
到目前为止，这就是我要做的；
from nltk.corpus import words as english
vocab = set(w.lower() for w in english.words())
syllables = ('in', 'con', 'sis', 'tent', 'tant', 'si', 'at
浏览 0提问于2020-04-07得票数 1
我有一个文本语料库，其形式如下：
约翰:谢谢你们来，各位！
(每个人都抱怨)
罗杰:他们很高兴见到你，是吗？
戴维斯:他们很高兴见到你们两个。
为了分析课文，我想把它按说话人分成几个部分。我想留住约翰和罗杰，但不是戴维斯。我还想找出在每个人的演讲中出现的某些短语(每个人都抱怨)的次数。
我的第一个想法是使用NLTK，所以我导入它并使用以下代码删除所有标点符号并对文本进行标记，从而使语料库中的每个单词成为一个单独的标记：
f = open("text.txt")
raw_t = f.read()
tokenizer = RegexpTokenizer(r'\w+&
浏览 4提问于2015-09-16得票数 1
回答已采纳
这是我的职能之一，还涉及其他几个方面。
main' :: IO ()
main' = do putStr "Enter a string: "
yx <- getLine
let a = chunks yx
let counter = (length . concat . map pairToList) a
let c = 0
let loop = do
let b = a !! c
le
浏览 1提问于2017-11-27得票数 1
回答已采纳
1回答
在使用NLTK的python中，如何在按类别筛选的文档中找到不停止字数的计数？
我可以想出如何使语料库中的单词被一个类别过滤，例如棕色语料库中所有用于“新闻”的单词是：
text = nltk.corpus.brown.words(categories=category)
另外，我可以弄清楚如何获取特定文档的所有单词，例如，棕色语料库中文档‘cj47’中的所有单词是：
text = nltk.corpus.brown.words(fileids='cj47')
然后，我可以循环的结果和计数的词，不是停止词。
stopwords = nltk.corpus.stopwords.w
浏览 2提问于2016-03-05得票数 0
回答已采纳
1回答
我想在R中使用Wordnet的getLemma函数对语料库进行词汇化，但我不太确定如何使用它。
以下是使用R..中的wordnet包给出的词汇化文档。
filter <- getTermFilter("StartsWithFilter", "car", TRUE)
terms <- getIndexTerms("NOUN", 5, filter)
sapply(terms, getLemma)
我的问题是，我有一个包含5000个单词的文档，在这种情况下，我希望将每个单词转换为其基本/词根单词。例:发烧-->发烧
我想列出语料库
浏览 3提问于2013-02-19得票数 0
给出了一个语料库和测试集，语料库包含10000个完整句子。测试集包含100个不完整句子，其中每个句子有3个连续的单词。我想用ngram训练语料库，并预测测试集的下一个单词。
text = 'dataset.txt'
# Order of the grams
n = 2
ngrams = {}
words = nltk.word_tokenize(text)
for i in range(len(words)-n):
gram = ' '.join(words[i:i+n])
if gram not in ngrams.keys():
浏览 0提问于2018-11-02得票数 1
我想在一个非常大的语料库上训练word2vec模型，这样嵌入的单词就不能分配给内存。
我知道算法并行化有一些现有的解决方案，例如，但我想使用tensorflow库。
有可能吗？
浏览 8提问于2017-07-01得票数 2
回答已采纳
1回答
从语料库中删除\\r\\n无效
、、、、
我有一个很大的文本语料库，\r\n我已经尝试了Stackflow中记录的所有选项，\r\n无法从中删除。
65\\r\\n ,\\r\\n\", \"English translation of Holy Torah - Book 01\\r\\n Table"
我尝试过不同版本的c1=gsub("\r\n"，“"，corp)，使用[]，\，以及"，‘等。
感谢你的帮助。
浏览 5提问于2020-11-18得票数 1
在NLTK语料库中，每个单词与其对应的PoS标记一起呈现，如下所示(其中'AT, 'NP-TL'...是标记)：
nltk.corpus.brown.tagged.words()
[('The', 'AT'), ('Fulton', 'NP-TL'), ...]
我想得到所有这些标签的列表(每行一个标签)，没有它们所伴随的单词。例如：
AT
NP-TL
...
有人知道我只需要使用哪个函数才能访问标签而不是单词吗？
浏览 1提问于2018-10-31得票数 0
回答已采纳
3回答
我正在写一个小脚本来转换摩尔斯电码为纯文本。 例如： "···· · −·−− ·−−− ··− −·· ·" 将返回"HEYJUDE"。但是，我希望它是"HEY JUDE"，两个单词之间有一个空格。 在"HEY"和"JUDE"的摩尔斯电码之间有3个空格，我认为.split()在这方面帮不了我。你能给我指点一下吗？ def decodeMorse(morse_code):
morseDict = {".-" : "A", "-..." : "B
浏览 42提问于2020-07-28得票数 0
回答已采纳
我有一个庞大的n-gram语料库和几个外部n-gram。我想根据这个语料库(计数)计算每个外部n-gram的PMI分数。
有没有什么工具可以做到这一点，或者有人能给我提供一段Python代码来做这件事？
问题是我的n-gram是2-gram、3-gram、4-gram和5-gram。因此，计算3-gram或更多的概率真的很耗时。
浏览 0提问于2011-03-08得票数 4
回答已采纳
我正在做项目，在那里，我需要找出在一个超过1亿孟加拉语单词的大语料库中每个单词的频率。文件大小约为2GB。实际上，我需要最频繁的20个单词和最少20个单词的频率计数。我在PHP中也做过同样的代码，但是花费了很长时间(代码在一周后仍在运行)。因此，我试图用Java来实现这一点。
在这段代码中，它的工作方式应该如下，
-read (语料库nahidd_filtered.txt )中的一行
使用空白的-split
对于每个吐字，读取全频文件freq3.txt
- if the word found then increase the frequency count and store i
浏览 2提问于2019-03-01得票数 0
回答已采纳
在文本语料库中，有50个文本文档，每个文档大约有80行。我想将我的语料库作为输入提供给tensorflow，但我想在系统读取每个文档时对每个文档进行批处理？实际上与用于图像的TfRecord相同，我想使用Tf.Data对语料库中的每个文档进行批处理，以便按顺序读取它？
我该如何解决这个问题？
浏览 0提问于2017-11-14得票数 0
1回答
在我的研究中，我试图从语料库中统计存储在文件中的一系列复合术语(例如，安全危险)在目标关键字(例如，设施)的16个单词窗口内出现的次数(例如，安全危险)，每个短语一行。我不是一个程序员，一直试图将其分解为2个元素:首先从语料库中提取一个文件，在那里我有一个与我的目标关键字匹配，与8个单词之前和之后。然后尝试将我的“词汇文件”与该摘录进行匹配。在第1部分中，我已经尝试过了，但我只是在0x028FFE78>消息中获得了<_sre.SRE_Match对象，并且正在努力尝试使用repr:任何建议或其他方法都可以做到这一点。最终，我想要一个导出文件，其中包含我的词汇表单词，后面有一个计数，表
浏览 2提问于2013-06-04得票数 0
回答已采纳
3回答
如何降低文档嵌入的维数？
、、、、
让我们假设我有一组文档嵌入。(D)每个文档嵌入由N个单词向量组成，其中每个预训练向量具有300个维度。 语料库将表示为D，N,300。 我的问题是，将D，N,300减少到D,1,300的最好方法是什么？我应该如何用单个向量而不是N个向量来表示文档？ 提前谢谢你。
浏览 23提问于2018-12-21得票数 1
我试图使用TensorFlow 0.9.0中的word嵌入和递归神经网络编写语言模型，使用tf.nn.dynamic_rnn图操作，但我不明白input张量是如何构造的。
假设我有一个n个单词的语料库。我将每个单词嵌入长度为e的向量中，并希望我的RNN展开到t个时间步骤。假设我使用默认的time_major = False参数，那么input张量[batch_size, max_time, input_size]会有什么形状？
也许一个很小的例子会让这个问题变得更清楚。假设我有一个由n=8单词组成的语料库，如下所示。
1, 2, 3, 3, 2, 1, 1, 2
假设我将其嵌入到一个大小为e=
浏览 3提问于2016-06-29得票数 4
回答已采纳
我有一个文本文件，其中包含或多或少的段落。文本实际上不是单词，而是逗号分隔的数据；但这并不重要。文本文件在某种程度上被分成几个部分；可以是部分，也可以是子部分。部分的划分由多个换行符表示，小节由一个换行符表示。
因此，示例数据：
This is the, start of a, section
908690,246246246,246246
246246,246,246246
This is, the next, section,
sfhklj,sfhjk,4626246
4yw2,fdhds5juj,53ujj
因此，上面的数据包含两个部分，每个部分有三个子部分。但是，有时在部分之间有多个
浏览 1提问于2010-10-22得票数 5
回答已采纳
1回答
在R的语篇语料库中，是否有一种简单的方法不仅可以找到最频繁的词，而且还能找到最常用的词组(多个词，一组词)？
使用tm包，我可以找到以下最常见的术语：
tdm <- TermDocumentMatrix(corpus)
findFreqTerms(tdm, lowfreq=3, highfreq=Inf)
我可以使用findAssocs()函数找到与最频繁的单词相关联的单词，因此我可以手动对这些单词进行分组。但我怎样才能在语料库中找到这些词组出现的次数呢？
Thx
浏览 1提问于2014-05-14得票数 4
回答已采纳
1回答
我有一个有m个文档和n个独特单词的语料库。
基于这个语料库，我想要计算一个词的共生矩阵，并计算它们的相似度。
为此，我创建了一个NumPy数组occurrences (m )，它指示每个文档中存在哪些单词。
基于occurrences，我创建了如下cooccurrences：
cooccurrences = np.transpose(occurrences) @ occurrences
此外，word_occurrences给出了语料库中每个单词的和：
word_occurrences = occurrences.sum(axis=0)
现在，我要根据关联强度来计算cooccurrences中
浏览 2提问于2021-12-23得票数 1
1回答
每年从语料库中删除单词
、、、、
我正在使用一个语料库，语料库的演讲时间跨度为几年(聚合到人-年级别)。我希望删除一年中出现少于4次的单词(不是针对整个语料库删除，而是仅针对未达到阈值的年份)。
我尝试过以下几种方法：
DT$text <- ifelse(grepl("1998", DT$session), mgsub(DT$text, words_remove_1998, ""), DT$text)
and
DT$text <- ifelse(grepl("1998", DT$session), str_remove_all(DT$text, words_re
浏览 11提问于2020-03-06得票数 1
回答已采纳
我想计算一个文本语料库中单词的词频。为了完成这个任务，我已经使用了NLTK的word_tokenize，然后是probability.FreqDist。word_tokenize返回一个列表，该列表由FreqDist转换为频率分布。然而，我最近在集合中遇到了计数器函数(collections.Counter)，它似乎在做完全相同的事情。FreqDist和计数器都有一个most_common(n)函数，它返回n个最常见的单词。有人知道这两者之间有什么区别吗？一个比另一个快吗？是否有这样的情况:一种会起作用，而另一种则不会？
浏览 4提问于2016-01-05得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
