将语料库分成N个单词，每个单词在R中
出现的次数作为特征，构建一个词袋模型。请问如何使用词袋模型进行文本分类？
相关·内容
我需要将一个语料库分成N个单词。假设这是我的语料库： corpus <- "I need to break this corpus into chunks of ~3 words each" 解决此问题的一种方法是将语料库转换为数据帧chunk <- 3r <- rep(1:ceiling(n&#x
浏览 7提问于2020-06-23得票数 1
回答已采纳
2回答
单句分类
、、、、
我有4个不同的类别，我也有大约3000个单词，属于每个类别。现在，如果一个新的句子出现，我可以将句子拆分成单词，并获得更多与之相关的单词。所以说，对于每个新句子，我可以从句子中生成20-30个单词。现在，将这个句子归入上述类别的最好方法是什么？我知道一袋单词效果很好。我还研究了LDA，但它适用于文档，因为我有一个单词</
浏览 1提问于2015-03-11得票数 0
我在一个目录中有一个文本文件列表。Corpus - "aaa", "abc", "cccc", "
浏览 2提问于2017-10-26得票数 4
回答已采纳
我正在使用nltk将句子拆分成单词。例如：标记化在拆分单词边界时效果很好，即从单词中拆分标点符号，但有时会过
浏览 0提问于2016-01-11得票数 15
回答已采纳
4回答
我是一名研究人员，有大约17,000个自由文本文档，其中大约30-40%与我的结果相关。有没有开源工具可以用来确定与结果相关的最常见的单词(甚至是短语，但不是必需的)，并对已经出现的单词的频率进行归一化？所有的文档都是由卫生保健工作者编写的，因此规范化将很重要，因为两个文档都有技术语言，并且还希望筛选出" the“、" it”等词。我试图做的是使用正则表达式或NLP构建一个工具，然后使用这些单词来识别基于新文档的结果。我不打算花大量的时间定制一<em
浏览 3提问于2013-03-22得票数 4
1回答
我想在R中使用Wordnet的getLemma函数对语料库进行词汇化，但我不太确定如何使用它。terms <- getIndexTerms("NOUN", 5, filter)我的问题是，我有一个包含5000个单词的文档，在这种情况下，我希望<e
浏览 3提问于2013-02-19得票数 0
我得到了一个很长的.txt文件，当read返回一个长字符串时，它是一个由\n分隔的大型单词语料库，如下所示： \na+\nabound\nabounds\nabundance\nabundant\naccessable我需要将这个字符串拆分成这些单词的列表，但我通常用于.csv文件的命令都不起作用。我尝试过剥离、替换()、拆分()、拆分行()，没有任何东西可以将这些单词列在列表中。
浏览 17提问于2019-04-09得票数 1
堆定律基本上是一个经验函数，它表示文档中的不同单词数量随着文档长度的增长而增长。维基百科链接中给出的公式是
📷
用对数给出的方程显然也是堆定律。增
浏览 0提问于2019-04-09得票数 1
回答已采纳
我将单词转换为词根，并建立了一个包含10万个文本的语料库，但每个文本的格式都不适合删除停用的单词 我尝试了.join函数，但它为每个字母添加了'‘和'’ corr=[] m.group(0))), te.CUST_TXT[a])
corr.append(rew) 上面我
浏览 7提问于2019-09-18得票数 0
1回答
因此，如果文档被表示为单词袋，那么我们将有一个n维特征，其中n个单词在文档中。现在，如果我决定我也想使用文档长度作为特性，那么这个特性的维度(长度)将是一个维度。那么，我如何结合使用这两个特征(长度和包字)。现在应该将特征考虑为二维(n维矢量(弓形)和一维特征(长度)).如果这不起作用，我如何组合这些功能。在这方面有什么建议也会有帮助吗？
浏览 3提问于2012-09-08得票数 1
1回答
因此，我正在制作一个“冰箱磁铁”交互式的，我试图找出一个有效的数据集的单词，以供用户拖动。
以及在哪里找到更有效的单词集的想法
浏览 0提问于2012-05-22得票数 0
回答已采纳
2回答
以下代码错误地将"Said Business School“列在类别中，因为它是‘Sa.s’。如果我能创造一个文字边界，它就能解决这个问题。把这件事搞砸后再放个地方。我用的是熊猫，它们是dfs。gprivate_n = ('Co|Inc|Llc|Group|Ltd|Corp|Plc|Sa |Insurance|Ag|As|Media|&|Corporation')
df.loc[df[df.Name.str.contains('{0}'.forma
浏览 4提问于2014-03-12得票数 6
回答已采纳
2回答
假设我有N个文本文档，并以以下两种方式运行LDA，
我也知道要选择多少个主题；在第一种情况下，我可以选择N作为主题的数量(假设每个文档都是一个主题)，但是如果我单独在每个文档上运行它，不确定如何
浏览 5提问于2014-10-03得票数 1
回答已采纳
我正在解决一个问题，其中我得到了很多单词，并列出了它们的出现频率。，而像'infonewsletter’这样的单词本身并不是真正的英语单词，但我们可以看到它们实际上是英语中的单词，并且有一定的意义。但是，像'OnKxnXecCINJ‘这样的单词没有任何意义(实际上它们是来自其他字符集的单词，但我在练习中忽略了它们，并坚持使用英语)-我可以将它们作为垃圾丢弃
在Python
浏览 0提问于2016-02-29得票数 2
我正在尝试将一个句子拆分成单词，并将每个单词作为句子的值。vocab[i].append(line[0].lower().split())
return vocab 但是这段代码返回一个键错误当我把 vocab[i] = (line[0].lower().split()) 对于每个键，我都得到相同的值。 我的语料库是句子的数据名。
浏览 11提问于2021-03-29得票数 0
我试图解决的问题是:我有一百万个单词(多种语言)和一些类别，它们被归类为我的训练语料库。给定单词的测试语料库(数量肯定会随着时间的推移而增加)，我希望在训练语料库中获得这些单词中每个单词的最接近匹配，从而将该单词归类为其最接近匹配的相应类别。现在，我想在训练语料库(O(n))的连接上构建一个后缀树，并查询测试<
浏览 46提问于2019-06-26得票数 1
这更多的是一个架构问题，您将如何在规模上解决这个问题。["This", "a", "test", "of", "two", "words","what","words","blah
浏览 3提问于2017-02-20得票数 0
回答已采纳
2回答
我正在寻找一个正则表达式，用于将像"w o r d"，"o v e r f low“这样的单词分别替换为"word”和"overflow"，遍及输入字符串(包括开头和结尾)。
浏览 0提问于2012-11-23得票数 1
1回答
我需要计算给定语料库中单词之间的拼写相似度(edit/Levenshtein距离)。R包vwr似乎能够计算出：其中在两个单词列表的匹配单词之间成对地计算Levenshtein距离。我想知道是否有一种方法可以计算给定单词列表中所有可能的单词组合之间的Levenshtein距离。有人能给我个提示吗？
浏览 1提问于2017-12-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
