假设我们有一个来自10K个相当小的文档的语料库的tf-idf加权dfm。 提取顶级特征的quanteda方法是什么，即文档的最大tf-IDF值？我确实希望在计算tf-idf时将整个语料库作为参考。一些类似的东西 topfeatures(some_dfm_tf_idf, n =3, decreasing = TRUE, groups ="
浏览 26提问于2019-12-03得票数 0
回答已采纳
从我从网上找到的文档中，我计算出了用于确定语料库中术语的词频和反向文档频率权重的表达式我正在研究gensim中提到的tf-idf的实现。文档中给出的示例如下>>> print tfidf[doc_bow] # step 2 -- u
浏览 7提问于2012-02-28得票数 4
remove_punct = TRUE, remove_numbers = TRUE, remove_symbols = TRUE) %>%dfm() 如何计算所有文档的tf，并将其乘以特定于术语的idf，并将结果作为dfm再次得到？
浏览 27提问于2020-08-19得票数 1
回答已采纳
1回答
假设我计算了一个文档语料库的TF-IDF分数，得到了TF-IDF特征矩阵。如果这些文档的子集属于某个类，我是否可以以某种方式“组合”该子集的分数，以便以有意义的方式获得该类中每个特征的单个值？例如，如果我有一个包含1000个文档的语料库，而corpus[0:200]属于A类，那么我是否可以获取tf-idf分数的第0-200行，并
浏览 0提问于2015-09-02得票数 3
1回答
我使用TF-IDF来影响权重，这可以帮助我构建字典。但是我的模型不够好，因为我有非结构化的文本。
对TF-IDF类似的算法有什么建议吗？
浏览 6提问于2017-02-22得票数 1
回答已采纳
“在大型语料库中使用Tf-Idf方法的一个本质是，使用的语料库越大，术语的唯一权重就越多。这是因为语料库中文档大小或文档长度的增加使得语料库中两个术语的权重值重复的概率较低。也就是说，Tf-Idf方案中的权重可以呈现权重的指纹。在小语料库中，Tf-Idf不能造成这种差异，因为有巨大的潜力找到具有相同权重的两个术
浏览 2提问于2017-07-01得票数 6
2回答
使用tfidf作为功能
、、、、
我想使用n-gram对两组文档进行分类。一种方法是使用tfidf提取每个文档的重要单词，然后生成如下所示的csv文件： document, ngram1, ngram2, ngram3, ..., label
1, 0.0, 0.0, 0.0但由于文档数量的限制，文件将变得庞大而稀疏。另一种方法是合并每个组中的所有文档并提取ngram。在此之后，我可以计算每个ngram在每个<em
浏览 30提问于2021-02-08得票数 0
我在找类似这个的东西但我没有正面和负面的例子，我有一些正面的例子和一堆未标注的数据，这些数据将包含一些正面的例子，但大部分是负面的。我计划在管道中使用这个方法将文本数据转换为向量，
浏览 0提问于2020-12-12得票数 0
我从中得到的理解是，如果max_feature =n，这意味着它是根据Tf-IDF值选择前n个特征。我浏览了scikit learn上的TfidfVectorizer文档，但没有正确地理解它。
浏览 0提问于2018-07-06得票数 0
我想要为SVM文本分类构建文档向量。我已经将我的文档索引为2个正文档和负文档。并用IG方法选择特征空间。谢谢！致以最好的敬意！
浏览 1提问于2011-07-30得票数 1
3回答
我读到了关于scikit learn的TfidfVectorizer 的文章，我不明白这个方法的输出是什么，例如：[[ 0.57735027 0.57735027 0.57735027 0. 0. 0. 0.
0.
浏览 0提问于2014-09-18得票数 25
回答已采纳
1回答
二值特征提取
、、
我是一个在自然语言处理的特征提取方面的初学者。我想知道如何使用hashmap来提取文本的特征。如果每个特征都是hashmap中的"key“，并且它的值是" value”(所有特征都是二进制的，0或1)，这是否意味着我需要n个hashmap (n是文本中的单词数)？因为对于每个单词，我都需要提取特征。
我说的对
浏览 3提问于2013-03-07得票数 1
2回答
到目前为止，我用于训练支持向量机的特征向量是由训练文本中出现的单元图和二进制图的TF-下手统计数据组成的。但是，我测试经过训练的支持向量机模型的结果并不准确，所以有人能给我关于我的程序的反馈吗？我正在按照这些步骤对文本进行分类：
计算每篇训练课文中每张字元/字元出现的次数，以及在训练课文中出现的
浏览 1提问于2013-06-07得票数 5
回答已采纳
我正在尝试从一个庞大的新闻文章语料库中检索主题列表，我计划使用gensim使用LDA来提取每个文档的主题分布。我想知道lda的gensim实现所需的处理文章的格式，以及如何将原始文章转换为该格式。我在维基百科上看到了关于使用lda的链接，但我发现语料库处于已处理状态，其格式在任何地方都没有提到
浏览 5提问于2012-04-02得票数 3
回答已采纳
2回答
我正在使用文本语料库专业电子邮件进行分类，我已经完成了所有基本的预处理步骤(词干、删除停止词、标点符号、低频单词、单词长度……)这给了我F1的分数= 0.6。我想知道下一步是什么(S)来提高我的成绩，我想到了“堆叠”(使用多个量词)，或者删除不同类(4种不同类型的文本)中常见的单词不确定这个解决方案。编辑：
我尝试了15个不同的分类器，其中最好的分类器是梯度增强(gbm )，F1-分数=0.6002159。这些特征是通过Tf-
浏览 0提问于2016-06-28得票数 2
2回答
NLP & ML短语提取
、、、、
我可以使用什么ML算法来训练给定句子中的动作短语。cricket Label2: wash clothes
我有一个大约2k个句子和相应的动作短语(标签)的数据，需要根据它们预测另一组句子。使用哪个Algo来做同样的事情？(最好是python)
浏览 0提问于2017-02-04得票数 0
1回答
我正在从事Java中的WEKA库的一个文本挖掘项目。在预处理步骤中，我应用了StringToWordVector滤波器。在这个过滤器中，我设置了几个选项，如标记化、停止词删除、词干提取和TF-IDF加权方案。
我有一些问题: 1-是否有必要在每个文本挖掘项目中进行特征选择过程?2-是否有必要估计文档的相似度，例如:使用余弦相似度？或者这两个选项是可选的？是StringToWordVector filter做了其中的一些工作吗？
浏览 2提问于2017-05-20得票数 1
1回答
我想知道什么可以用来确定页面与游戏、电影等主题的相关性。
在这个领域有没有一些研究，或者只计算一些相关的单词出现了多少次？
浏览 1提问于2012-01-16得票数 1
回答已采纳
我正在做一个使用python中的朴素贝叶斯分类器进行文档分类的项目。我已经使用了nltk python模块来做同样的事情。这些文档来自路透社数据集。我执行了词干提取和停用字消除等预处理步骤，并继续计算索引项的tf-idf。我使用这些值来训练分类器，但准确率非常低(53%)。我应该做些什么来提高准确率？
浏览 2提问于2012-05-09得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
