语料库对象缺少文本
是指在自然语言处理（NLP）领域中，语料库对象（corpus object）中缺乏文本数据的情况。语料库是指用于研究和开发自然语言处理算法和模型的大规模文本数据集合。
语料库对象是指对语料库进行封装和管理的数据结构或对象。它可以包含多个文本文档，每个文本文档代表一个语料库中的样本。每个文本文档可以是一段文字、一篇文章、一本书籍或其他形式的文本数据。
缺少文本的语料库对象可能是由于数据采集、数据处理或数据存储过程中的错误或问题导致的。这可能是因为数据采集过程中未能正确获取到文本数据，或者在数据处理过程中丢失了文本内容，也可能是在数据存储过程中发生了数据损坏或丢失。
解决语料库对象缺少文本的问题通常需要对数据采集、处理和存储过程进行检查和修复。以下是一些可能的解决方法：
- 数据采集：检查数据采集过程中的代码或脚本，确保正确获取到文本数据。可以使用网络爬虫技术、API接口或其他数据源来获取文本数据。
- 数据处理：检查数据处理过程中的代码或脚本，确保文本数据在处理过程中没有丢失或损坏。可以使用文本处理工具或库来处理文本数据，例如分词、去除停用词、词性标注等。
- 数据存储：检查数据存储过程中的代码或脚本，确保文本数据正确地存储到语料库对象中。可以使用数据库或文件系统来存储文本数据，并确保数据的完整性和可访问性。
在云计算领域，腾讯云提供了一系列与语料库对象相关的产品和服务，可以帮助解决语料库对象缺少文本的问题。以下是一些推荐的腾讯云产品和产品介绍链接：
- 腾讯云对象存储（COS）：提供可扩展的云存储服务，可以用于存储和管理语料库对象中的文本数据。详情请参考：https://cloud.tencent.com/product/cos
- 腾讯云数据库（TencentDB）：提供高性能、可扩展的云数据库服务，可以用于存储和管理语料库对象中的文本数据。详情请参考：https://cloud.tencent.com/product/cdb
- 腾讯云人工智能（AI）：提供多种人工智能服务，包括自然语言处理（NLP）和文本分析等功能，可以用于处理和分析语料库对象中的文本数据。详情请参考：https://cloud.tencent.com/product/ai
请注意，以上推荐的腾讯云产品仅供参考，具体的选择和使用需根据实际需求和情况进行。
相关·内容
R和文本挖掘的初学者。当前使用tm包。
我试图把两个不同文件的文本放在一个语料库中。当我使用这样的语句时
c(corpus.doc[[1]],corpus.doc[[2]])
或粘贴语句
paste(corpus.doc[[1]],corpus.doc[[2]])
我得到了每一行合并的文本的结果。
例如:如果
> corpus.doc[[1]]
He visits very often
and
sometimes more
> corpus.doc[[2]])
She also
stays
我从这些陈述中得到的是
He visits very often
浏览 0提问于2012-01-27得票数 5
1回答
在阅读了大量的帖子后，我仍然很难在nltk中制作一个定制语料库。我有一个标记句子的文本文件，表格字符串中的每一项.单词/标签。我想用这东西训练一个标签师。我正在尝试使用一个名为列车标签的nltk包，它可以训练各种类型的tagger。2个问题。1)训练标记者可以使用文本文件作为输入还是只使用nltk语料库对象? 2)如果只使用一个语料库，如何从文本文件中创建一个文本文件？我试过以下代码来创建一个语料库..。
import nltk
from nltk.corpus import PlaintextCorpusReader
corpus_root = './'
newcorpus
浏览 2提问于2012-05-29得票数 0
3回答
我正在使用R和tm包来做一些文本分析。我试图根据某个表达式是否在各个文本文件的内容中找到，来构建一个语料库的子集。
我创建了一个包含20个文本文件的语料库(谢谢lukeA给出了这个例子)：
reut21578 <- system.file("texts", "crude", package = "tm")
corp <- VCorpus(DirSource(reut21578), list(reader = readReut21578XMLasPlain))
我现在只想选择那些包含字符串“降价”的文本文件来创建一个子集-语料库。
检查
浏览 3提问于2016-03-24得票数 2
回答已采纳
1回答
在这个中，我询问了如何分割一个巨大的数据以创建一个语料库。多亏了这个答案，我才能从一个dataframe中创建一个列表。我的问题仍然是从我创建的列表中获取一个语料库，以便进行文本挖掘，并根据搜索项对数据进行聚类。
浏览 2提问于2015-12-03得票数 4
回答已采纳
我无法使用R中的tm包创建一个术语文档矩阵，当我试图从预处理的语料库中创建一个时，这会引发以下错误。
Error in UseMethod("TermDocumentMatrix", x) :
no applicable method for 'TermDocumentMatrix' applied to an object of class
"character"
下面是我正在使用的脚本。我使用Rv3.4.1和tm软件包v0.7-1。
data <- readLines("Data/en_US/en_US_sample.t
浏览 5提问于2017-10-26得票数 0
回答已采纳
我试着用一组文本文件创建我自己的语料库。但是，我想在文本文件被语料库化之前对它们做一些预处理，我想不出如何做到这一点，除非创建一个脚本，先运行每个文本文件，然后进行文本预处理，保存一个新的文本文件，然后在新的、后处理的文件上创建语料库。(这现在看来效率很低，因为我有大约200 mb的文件，我需要读两遍，而且如果我有一个更大的语料库，就不能真正地扩展。)
我想做的预处理是非常基本的文本操作：
使语料库中列出的每一个单词小写
移除括号内的任何物品，例如咳嗽。
删除每行开头的数字(它们是原稿中的行号)，这是每一行的前四个字符
关键的是，我想在单词进入语料库之前做这个预处理--我不
浏览 0提问于2018-05-09得票数 0
1回答
在text2vec中，我能找到的关于Stopword的唯一函数是“create_vocabulary”。但在文本挖掘任务中，通常需要消除资源文档中的断点，然后构建语料库或其他进一步的过程。如何使用“秒针”来处理使用text2vec构建语料库、dtm和中医的文档？
我以前使用tm进行文本挖掘。它具有分析PDF文档的功能，但它将一份文件作为多个向量(一行、一个向量)读取，而不是像我所期望的那样将每个文档作为向量读取。此外，tm中的格式交换函数在中文中存在乱码问题。如果使用text2vec读取文档，它能将一张纸读入矢量吗？向量的体积是否足以在期刊上发表一篇论文？)否则，在text2vec中构建的语料
浏览 7提问于2016-07-12得票数 1
回答已采纳
1回答
我正在做代码转换的研究。我收集了一些带有英语代码开关的双语波兰语文本消息(例如，语料库A)以及一本英语词典(也是一个列表，语料库B)。我想从语料库A中提取语料库B中的所有单词实例-这样我就可以看到哪些英语单词出现在双语语料库中。这是我用来创建这些常用单词列表的代码(它远不优雅，但我是一个新手，所以不要对我太苛刻了，哈哈)： intersection=common.intersection(corpusB)
commonlist=list(intersection)
with open("commonlist.txt","w") as z:
pri
浏览 33提问于2021-06-29得票数 0
2回答
我正在处理摘录的文本数据，在构建我自己的字典(用于监督分析)之前，我尝试使用stm (结构化主题建模)来查看非监督提取的主题。我正在处理一个问题，我想知道以前是否有人遇到过同样的问题。在运行findThoughts()时，我得到以下错误：
findThoughts中的错误(out.stm，主题= 27，文本=语料库$ documents $ texts，提供的文本数量和建模的文档数量不匹配
我不知道我的数据有什么问题。我认为这可能与语料库中没有抽象的那些空行中的NA值有关，但在删除NA行之后也会发生同样的情况(如下所示)：
df[!is.na(df$abstract),]
如果你对这件
浏览 0提问于2017-04-19得票数 1
我试图建立一个闪亮的应用程序，可以动态显示从数据库列匹配语料库从文本框，即句子。当用户开始在文本框中键入文本时，所有将匹配的句子(来自键入的文本的语料库)都需要按与我尝试过的语料库匹配的词数顺序显示kwic函数，但这无助于动态匹配语料库，我尝试的方法，
require(quanteda)
require(tm)
data(crude, package = "tm")
mycorpus <- corpus(crude)
kwic(mycorpus, "company") # Pass the words from the text box corpus
请
浏览 5提问于2017-08-14得票数 0
回答已采纳
1回答
下面的例子是语料库中14个文本的列表。语料库由14个文档组成。我正在尝试找到一种将所有文本合并到一个文档中的方法。然后，语料库将由1个文档组成，而不是14个文档。
浏览 1提问于2018-06-23得票数 2
1回答
我正在使用readtext包将我所有的文本文件读取到一个df中。
df <- readtext(directory, "*.txt")
.txt文件使用doc_id (文档名)和text (内容)存储在df中。
在我升级到最新版本的quanteda之前，当我使用以下命令创建语料库时，doc_id存储在语料库对象中：
corpus <- corpus(df)
但现在这不再起作用了，语料库对象的'documents'-df只存储‘Texts值’，而不再存储doc_id-values。
如何将doc_id返回到我的语料库对象中？
浏览 0提问于2018-05-05得票数 1
2回答
从已清理的数据中使用代理语句
、、、、
Gensim的Word2Vec模型将包含单个标记/句子单词的内部列表的列表作为输入。据我所知，Word2Vec用于使用向量“量化”文本中单词的上下文。我目前正在处理一个文本语料库，这些文本已经被分割成单独的标记，并且不再包含明显的句子格式(标点符号已被删除)。我想知道如何将这些输入到Word2Vec模型中？
如果我简单地将语料库分割成长度一致的“句子”(例如，每句10个标记)，这会是将数据输入模型的好方法吗？
本质上，我想知道输入句子的格式(列表列表)是如何影响Word2Vec?输出的。
浏览 0提问于2018-07-10得票数 0
2回答
如何标记文本语料库？
、、、
我想使用NLTK库标记一个文本语料库。
我的语料库看起来：
['Did you hear about the Native American man that drank 200 cups of tea?',
"What's the best anti diarrheal prescription?",
'What do you call a person who is outside a door and has no arms nor legs?',
'Which Star Trek character is a mem
浏览 0提问于2019-08-06得票数 0
回答已采纳
1回答
我想为法语创建一个很大的gensim字典，尝试在主题检测、文本之间的相似性和其他类似的事情上获得更好的结果。因此，我计划使用维基百科转储，并按以下方式处理：
从frwiki-YYYYMMDD-pages-articles.xml.bz 2中提取每篇文章(已完成)
标记每一篇文章(基本上将文本转换为小写，删除停止词和非单词字符)(已完成)
在文章上训练短语模型以检测搭配。
在每一篇文章中停止产生的标记。
向字典提供新的语料库(每行一篇词干搭配-标记化文章)
由于语料库非常大，我不会在内存中存储任何东西，也不会通过smart_open访问该语料库，但似乎gensim短语
浏览 0提问于2019-01-23得票数 1
回答已采纳
1回答
我要问的问题听起来可能非常类似于post ，但我已经完成了对文本中句子的解析和令牌化。我的问题是
到目前为止，我在NLTK电影评论示例中看到的任何示例似乎都与我的问题非常相似，但是对于movie_review，培训文本已经以一种形式存在，因为它有两个文件夹pos和neg，文本存储在那里。如何对我的大型文本进行分类，是否手动读取数据并将其存储到两个文件夹中。这是否构成了语料库。在此之后，我可以像示例中的movie_review数据那样处理它们吗？
2.如果对上述问题的回答是肯定的，是否有任何手段可以加快这项任务。例如，我只想处理包含"Monty“内容的文本。然后我将它们手动分
浏览 0提问于2012-05-19得票数 1
2回答
我正在构建一个文本分类器，它将文本分类为主题。
在我的程序的第一阶段，作为清理数据的一部分，我删除了所有的非英语单词。为此，我使用nltk.corpus.words.words()语料库。这个语料库的问题是，它删除了“现代”英语单词，如Facebook、Instagram等。有没有人知道另一个，更现代的语料库，我可以用现在的语料库来替换或合并？
我更喜欢nltk语料库，但我愿意听取其他建议。
提前感谢
浏览 2提问于2017-06-14得票数 0
2回答
我最近偶然看到了。我已经从中获得了SGML格式的语料库。这是这个语料库的文件：
我只想提取文件中的文本。文档中语料库的编码和标记信息是：
文本被编码为两字节Unicode文本.有关Unicode的更多信息。文本在SGML中使用1级CES兼容的标记进行标记.每个文件还包括一个完整的标题，它指定文本的出处。
我很难脱下这些标签。我试过用“正则表达式”和“漂亮的汤”，但它不起作用。这是示例文本文件。我想保留的语言是旁遮普语。
浏览 0提问于2016-11-10得票数 0
回答已采纳
我正在寻找一个德语的带注释的数据集，类似于著名的英语IMDB电影评论数据集()。
背景是，我想将德语文本分为多个类别(从积极情绪/负面/中性开始)。
我还没有找到用情感分析预先训练过的德语单词嵌入，也没有找到合适的数据集来训练我自己的单词嵌入。
如有任何建议，我们将不胜感激！
浏览 0提问于2019-04-03得票数 2
我是一个初学者r用户，我需要一些帮助，我的项目。
我想为文本分析建立一个量化语料库。我已经从一些网站刮网页，从而获得了每个网站的数据。我想做的是分析文本数据。我有兴趣了解这些网页的总体内容，但我也希望有一个单一的网站作为变量，我可以选择，因为我想看看是否有任何重大的变化在这个水平。我试图为每个网站的语料库指定一个不同的标签，然后将它们合并：
corp_site1<-corpus(dataframe_site1$txt，meta= "site1")
corp_site2<-corpus(dataframe_site2$txt，meta= "site2"
浏览 4提问于2020-11-09得票数 0
回答已采纳
8回答
我在R和tm包中是全新的，所以请原谅我愚蠢的问题;-)我如何在R包中显示纯文本语料库的文本？
我在语料库中加载了包含323个纯文本文件的语料库：
src <- DirSource("Korpora/technologie")
corpus <- Corpus(src)
但当我打电话给语料库时：
corpus[[1]]
我总是得到这样的输出，而不是语料库文本本身：
<<PlainTextDocument>>
Metadata: 7
Content: chars: 144
Content: chars: 141
Content: cha
浏览 12提问于2015-05-25得票数 10
回答已采纳
4回答
我想为下载的HTML文件的集合创建一个语料库，然后在R中读取它们，以便将来进行文本挖掘。
本质上，这就是我想要做的：
从多个html文件创建一个语料库。
我尝试使用DirSource：
library(tm)
a<- DirSource("C:/test")
b<-Corpus(DirSource(a), readerControl=list(language="eng", reader=readPlain))
但是它返回“无效的目录参数”。
同时从语料库中读取html文件。不知道该怎么做。
解析它们，将它们转换为纯文本，删除标记
浏览 2提问于2013-02-22得票数 8
我注意到ZODB.DB中有一个"large_record_size“选项，我认为这是一种在ZODB中存储长文本的可能性。
第一次尝试存储文本语料库(语料库的总大小为59.1MB，6000个文本，最长的一个的长度为82KB)，并将"large_record_size“选项设置为16777216时，我简单地从connection.root()开始，然后发出一个警告，报告根PersistentMapping的大小，并指出存储这么大的对象可能不是一个好主意。
然后，我尝试使用OOBTree来存储相同数量的文本。这次没有警告。生成的数据库文件为59.2MB，理想情况下较小。我通过随机检索
浏览 8提问于2013-10-26得票数 1
我在R中使用tm包进行文本挖掘，我执行了以下步骤：
在R系统中导入数据并创建文本语料库
dataorg <- read.csv("Report_2014.csv")
corpus <- Corpus(VectorSource(data$Resolution))
清理数据
mystopwords <- c("through","might","much","had","got","with","these")
cleanset <- tm_ma
浏览 1提问于2014-01-07得票数 0
与原始textVector对象相比，在R中使用'tm‘包创建的’语料库‘对象的大小不成比例地膨胀。有没有办法压缩“语料库”的大小？从data.frame创建的文本向量有1800万行。
textVector <-
sapply(df, as.character)) #df contains one 'character' column with 18M rows
system.time(corpus <- VCorpus(VectorSource(textVector)))
object.size(textVector) # 601 MB
object.siz
浏览 4提问于2016-02-04得票数 1
Iramuteq和Alceste是文本挖掘程序(在法国仍然非常流行)，它们处理格式奇怪的txt文件:语料库中的每个文档都必须以*开头，然后每个语料库变量都必须编码为*variablename_value (遵守一些格式规则)，并且要分析的文本必须在新行上。例如：
**** year_2021 country_france
Bonjour, je m appelle Dario
**** year_2021 country_germany
Guten Tag, ich heisse Dario
如何将文本和语料库变量作为列的数据帧转换为这种格式？
浏览 0提问于2021-11-28得票数 0
在文本语料库中，有50个文本文档，每个文档大约有80行。我想将我的语料库作为输入提供给tensorflow，但我想在系统读取每个文档时对每个文档进行批处理？实际上与用于图像的TfRecord相同，我想使用Tf.Data对语料库中的每个文档进行批处理，以便按顺序读取它？
我该如何解决这个问题？
浏览 0提问于2017-11-14得票数 0
我正在尝试学习如何使用NLTK标记西班牙语单词。
在中，使用英文单词的示例来标记它们是非常容易的。因为我对nltk和所有的语言处理都是新手，所以我对如何处理感到非常困惑。
我已经下载了cess_esp语料库。有没有办法在nltk.pos_tag中指定语料库。我查看了pos_tag文档，没有看到任何建议我可以这样做的内容。我觉得我遗漏了一些关键概念。我必须在cess_esp语料库中手动标记文本中的单词吗？(我指的是手动标记我的sentance，然后在语料库上运行它)，或者我完全错了。谢谢
浏览 1提问于2013-02-06得票数 19
回答已采纳
IBM NL分类器和NLU自定义模型分类之间的区别是什么？ NL分类器在文本(可能是短文本)上进行训练，当检查NLU自定义模型时，它也可以在自定义数据上进行训练以进行分类。 有人知道有什么不同吗？谢谢
浏览 9提问于2019-10-14得票数 0
我试图反复训练由我自己提供的多个文本。然而，当我不止一次地训练这个模型时，我总是遇到一个问题：
ValueError:您必须指定total_examples或total_words，以便正确地计算学习速度和进度.如果您刚刚使用相同的语料库构建了词汇表，那么使用模型中缓存的计数就足够了: total_examples=model.corpus_count。
我现在正在创建这样的模型：
model = Word2Vec(sentences, min_count=0, workers=cpu_count())
model.build_vocab(sentences, update=False)
浏览 5提问于2022-12-01得票数 0
2回答
我正在尝试用NLTK创建我自己的语料库。我已经阅读了一些关于这方面的文档，它看起来相当复杂……我想做的就是用我自己的文本“克隆”影评语料库。现在，我知道我可以将move评论语料库中的文件更改为我自己的...但这限制了我一次只能处理一个这样的语料库(即。我必须不断地交换文件)。有没有办法克隆影评语料库？
谢谢，亚历克斯
浏览 1提问于2012-06-04得票数 0
回答已采纳
1回答
如何从句子转换中找到真实的句子？
、、、、
我试图用句子转换和faiss来进行语义搜索。
我能够从语料库生成公示，并使用查询xq执行查询。但什么不是
from sentence_transformers import SentenceTransformer, util
model = SentenceTransformer("flax-sentence-embeddings/st-codesearch-distilroberta-base")
def get_embeddings(code_snippets: str):
return model.encode(code_snippets)
def build
浏览 11提问于2022-07-23得票数 2
回答已采纳
我有很多文件的语料库，里面有很长的文本。为了进一步分析，我想标记这个语料库，但是，文本包含括号内的无关数据(通常是引用，例如：“(例如)”)，所以我想删除它们。我已经找到了文本对象堆栈溢出的方法，但是，我不知道如何将其应用于一个语料库(括号之间的单词将被视为独立的标记，而不是由regex删除)。我认为在删除标点符号之前我应该这样做(因为后者也去掉了括号)。
你能帮我做这个吗？提前谢谢你！
我只够到了"(.)“
浏览 5提问于2021-07-21得票数 0
回答已采纳
1回答
我已经完成了我计划用于语料库的数据的收集，但我对是否应该规范化文本感到有点困惑。我计划在将来对语料库进行标记和分块。NLTK的一些语料库都是小写的，其他的不是。
有没有人能解释一下这个问题？
浏览 0提问于2011-07-21得票数 6
2回答
对于所有其他NLTK语料库，调用corpus.raw()将从文件中生成原始文本。例如：
>>> from nltk.corpus import webtext
>>> webtext.raw()[:10]
'Cookie Man'
但是，当调用brown.raw()时，您会得到带标记的文本。
>>> from nltk.corpus import brown
>>> brown.raw()[:10]
'\n\n\tThe/at '
我已经阅读了我能找到的所有文档，但似乎找不到一个明显的解释或
浏览 6提问于2017-11-15得票数 5
2回答
我试图使用检查查看语料库中的文本数据。
我得到了输出，因为有些数字如下：
[[19139]]
<<PlainTextDocument>>
Metadata: 7
Content: chars: 100
但是，当我在Web命令中搜索时，大多数快照都将文本显示为输出。
问题：
在R中，当试图使用检查函数查看语料库数据时，为什么不能查看其中的文本？
浏览 4提问于2015-06-05得票数 0
我想将许多类似的命令恢复到for循环中。
q001<-Corpus(VectorSource(read.table("./q001.txt",encoding="latin1")))
q001<-Corpus(VectorSource(read.table("./q001.txt",encoding="latin1")))
....
q150<-Corpus(VectorSource(read.table("./q150.txt",encoding="latin1")))
我有有限
浏览 3提问于2015-04-10得票数 0
回答已采纳
1回答
我有一个很大的文件清单，我想阅读R作为一个语料库。所有的文件都是pdf，但最近，我意识到其中一些文件将是txt。
在获得文本文件之前，我只是创建了目录中的pdf文件列表，并使用readerControl的语料库函数读取它们：
getwd()
files <- list.files(pattern = "pdf$")
corp <- Corpus(URISource(files),
readerControl = list(reader = readPDF))
我尝试创建pdfs和txt的组合列表，但我无法找到一种方法来使用readerC
浏览 1提问于2019-06-18得票数 1
回答已采纳
我是R中的文本分析新手，有没有一种简单的方法可以将syuzhet: get_nrc_sentiment应用于具有x个元素(加载的单个文本文件)的语料库？我猜你需要将语料库转换回一个组合的纯文本文件并使用它？
s<-get_nrc_sentiment(.....)
谢谢
浏览 8提问于2018-02-26得票数 0
1回答
我有一个项目，要求我搜索各种公司的年度报告，并在其中找到关键短语。我已经把报告转换成文本文件，创建并清理了一个语料库。然后我创建了一个文档术语矩阵。tm_term_score函数似乎只适用于单个单词，而不是短语。是否有可能在语料库中搜索关键短语(不一定是最频繁的)？
例如-
我想看看在每个文档中“供应链财务”这个短语在语料库中的次数。然而，当我使用tm_term_score运行代码时-它返回没有文档有短语..。而事实上他们确实如此。
我的进展如下
library(tm)
library(stringr)
setwd(‘C:/Users/Desktop/Annual Reports’)
de
浏览 1提问于2015-07-15得票数 3
1回答
我想评估两个语料库有多相似或不同，以及这种相似性是否具有统计学意义。一些接近Kolmogorov-Smirnov测试的统计数据，但文本数据。
对于附加语境，两个语料库与同一事件相关，其中一个语料库随后比另一个语料库大。
任何关于这方面的线索/suggestions都将不胜感激。谢谢
浏览 0提问于2023-01-10得票数 1
2回答
向R中的STM添加元数据
、、、、
我在R中的STM包遇到了问题，我已经在Quanteda中建立了一个语料库，我想把它转换成STM格式。我已经将元数据保存为一个独立的CSV文件，并且我想要将文本文档与元数据合并的代码。readCorpus()和"convert()函数不会自动将元数据信息添加到语料库。
下面是它在Quanteda中的样子：
EUdocvars <- read.csv("EU_metadata.csv", stringsAsFactors = FALSE)
EUdocvars$Period <- as.factor(EUdocvars$Period)
EUdocvars$Cou
浏览 1提问于2016-06-30得票数 1
1回答
我试图写一个算法，可以计算出一个句子的‘出乎意料’或‘信息复杂性’。更具体地说，我试图对一组句子进行排序，这样最简单的句子就会排在第一位。
我的想法是，我可以使用一个压缩库，比如zlib?，在同一种语言的大型文本语料库上进行“预训练”(称之为“语料库”)，然后将不同的句子附加到文本语料库中。
也就是说，我可以定义一个句子的复杂性度量，它需要多少字节才能压缩整个语料库，而整个语料库则需要一个不同的句子。(额外字节越少，该句子就越可预测或“预期”，因此复杂度就越低)。这有意义吗？
问题在于如何找到合适的库来让我这样做，最好是从python那里。
我可以把句子加到一个大语料库中，并要求压缩库来压缩整
浏览 1提问于2016-10-14得票数 1
回答已采纳
2回答
在小型定制语料库上预训练语言模型
、、、、
我很好奇是否可以在文本生成中使用迁移学习，并对特定类型的文本进行再培训/预训练。
例如，有一个经过预先训练的BERT模型和一个小型的医学语料库(或任何“类型”)文本，就可以生成一个能够生成医学文本的语言模型。假设你没有大量的“医学文本”，这就是为什么你必须使用转移学习。
我把它说成是一条管道，我把它描述为：
使用经过预先训练的伯特装置。
从我的新文本中获取新的标记，并将它们添加到现有的经过预先培训的语言模型中(例如，vanilla BERT)。
使用组合标记器在自定义语料库上重新训练预训练的BERT模型。
在小型定制语料库中生成类似于文本的文本。
这听起来耳熟吗？抱着脸
浏览 5提问于2020-04-24得票数 7
2回答
我想做一个由大写字母组成的正则表达式的单词列表。数据集是一堆被称为语料库的生物文本文件。
len(corpus.fileids())的结果是487，这意味着语料库中有487篇论文。
这样做的主要原因是收集词表来过滤生物单词，如基因名称和etc(ATP，BRCA)
以下是我一直在尝试的一些代码。(附注：我正在使用python3)
我不得不编写函数来调用语料库中的所有文件。对于一个单独的文件，我认为这是可行的。
capital = re.findall(r'[A-Z]+', GNICorpus)
但问题是，我必须在语料库中浏览这些txt文件中的所有单词，但我对此一无所知。第一次试验
浏览 38提问于2020-05-12得票数 0
我正在为两个类别构建一个朴素的贝叶斯分类器，pos和neg。我希望分类器将一个句子分类为pos，如果它包含某些单词，如果它不包含这些单词，则将其分类为neg。
我的pos语料库是包含这些单词的518个句子。我的问题是: neg的语料库必须有多大？
在NLTK的movie_reviews语料库中，这两个类别包含相同数量的文本文件。但是，该分类器也会学习否定词，不是吗？我真的只关心分类器识别属于pos类别的某些单词，我不关心neg类别的单词。
那么，两个语料库都包含518个文本文件很重要吗？
浏览 4提问于2016-06-08得票数 2
我有两个语料库(我把它们转换成DocumentTermMatrices，数据帧，然后是词云)，其中一个是另一个的子集。准确地说，一个是关于一所大学的文本语料库，另一个是关于该会议中所有大学的文本语料库。
在R中，有没有一种方法可以只提取较小词集独有的单词？这是我到目前为止为每个语料库运行的内容(这是针对‘会议’语料库的)
> SECDraft = read.csv("SECDraftScouting.csv", stringsAsFactors=FALSE)
> SECcorpus = Corpus(VectorSource(SECDraft$Report))
&g
浏览 2提问于2015-05-29得票数 2
我对Python非常陌生，所以我不确定是否有简单的解决方案来解决我的问题。我有一个庞大的文本语料库，分为大约40,000个文档，每个文档都在一行中(已经进行了标记，所以一行中的每个单词都是一个标记)。我使用以下代码计算了每个两个单词组合的共现次数： import itertools
from itertools import combinations
from collections import Counter
cooccurrences = []
for tokens in data['tokenized_text']:
tokens_pairs = iter
浏览 20提问于2021-01-21得票数 0
回答已采纳
2回答
我有一个数千行文本的数据集，我的目标是计算tfidf分数，然后计算文档之间的余弦相似性，这就是我在Python中使用gensim所做的工作，遵循本教程：
dictionary = corpora.Dictionary(dat)
corpus = [dictionary.doc2bow(text) for text in dat]
tfidf = models.TfidfModel(corpus)
corpus_tfidf = tfidf[corpus]
index = similarities.MatrixSimilarity(corpus_tfidf)
假设我们已经建立了tfidf矩阵和相
浏览 0提问于2017-02-13得票数 8
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
