从文件创建句子列表并将其添加到数据帧中
的过程可以通过以下步骤完成：
- 首先，需要读取文件并将其内容存储在一个字符串变量中。可以使用编程语言提供的文件操作函数或库来实现。
- 接下来，将字符串变量中的文本内容按照句子的分隔符进行拆分，将每个句子存储在一个列表中。句子的分隔符可以是句号、问号、感叹号等标点符号。
- 创建一个数据帧（DataFrame）对象，可以使用编程语言中的数据处理库或框架来实现。数据帧是一种二维表格结构，可以用于存储和处理结构化数据。
- 将句子列表添加到数据帧中，可以将列表作为一列数据添加，或者将列表拆分为多个列，每个列存储一个句子。
- 最后，可以对数据帧进行进一步的处理和分析，例如对句子进行文本挖掘、情感分析、机器学习等操作。
在腾讯云的产品中，可以使用以下相关产品来完成上述任务：
- 对于文件操作和文本处理，可以使用腾讯云对象存储（COS）服务来存储和读取文件，腾讯云自然语言处理（NLP）服务来进行文本分割和处理。
- 对于数据处理和分析，可以使用腾讯云数据万象（CI）服务来创建和操作数据帧，腾讯云人工智能开发平台（AI Lab）提供了各种机器学习和自然语言处理的功能。
- 如果需要进行大规模数据处理和分析，可以使用腾讯云弹性MapReduce（EMR）服务来进行分布式计算。
请注意，以上仅为示例，实际选择使用的产品和服务应根据具体需求和技术栈来确定。
相关·内容
2回答
我正在使用下面的代码从文件文档中创建一个句子列表。该函数将返回一个句子列表。 def extract_sentences(file):
content = nlp(file)
sentences = list(content.sents)
return sentences 之后，我想将每个句子添加到数据帧中的“句子”列下。问题是，在数据帧中，句子看起来像一个单词列表，用逗号分隔，例如：(this，process，includes，different，stage...)。但是我希望它看起来像这样:这个过程包括不同的阶段
浏览 18提问于2021-06-16得票数 2
回答已采纳
1回答
我有一个句子列表，例如：['i hate dogs', 'i like cats']和一个包含句子和类型的熊猫数据帧。 我想做的是将这些句子与我的熊猫数据框列“句子”中的相同句子进行匹配，并提取出“类型”列。 因此，我会有另一个类型列表，这些类型都与第一个列表中的句子匹配。 sentence_list = ['i hate dogs', 'i like cats']
Type_list = ['neg','pos']
浏览 11提问于2021-08-29得票数 0
回答已采纳
我有一个熊猫数据帧df，它包含许多行和2列，如下所示： | Query | Description |
| -------- | -------------- |
| First sentence | First description |
| Second sentence | Second description | 我已经创建了一个方法new_sentences(query)，它接受查询语句并从中生成n更相关的句子。我们的目标是创建一个新的数据框架，它由原始数据框架+通过new_sentences(query)方法获得的新句子组成。这个
浏览 12提问于2021-02-12得票数 1
回答已采纳
1回答
我有一个像这样的数据文件：
Sentence bin_class
"i wanna go to sleep. too late to take seroquel." 1
"Adam and Juliana are leaving me for 43 days take me with youuuu!" 0
我也有一个正则表达式的列表，我想在这些句子中使用。我想要做的是，在数据帧中的每一个句子上re.
浏览 1提问于2015-06-15得票数 3
回答已采纳
2回答
我的数据框架中有一个文本列，其中包含(S)段，在数据帧的每个实例/示例/行中都有多个可变的句子。然后，我使用nltk的sent_tokenizer创建了该段的句子标记，并将其放入另一列。
所以我的数据框架是这样的：
index text class
0 ["Hello i live in berlin", 'I'm xxx']
浏览 0提问于2020-09-01得票数 0
回答已采纳
1回答
如何使用Pandas模块将项目列表[1,2,3,4,5]写入excel文件中的特定选项卡中，从特定的行和列位置开始？是否涉及pandas.DataFrame.to_excel函数?在将list写入excel文件之前，是否需要将其转换为dataframe？
我是否要先将列表转换为序列，然后将序列转换为数据帧，然后将数据帧写入excel文件？
浏览 24提问于2016-08-04得票数 0
我正在尝试保存和读取具有以下格式的数据帧
index sentence
0 ['aa', 'bb', 'cc']
1 ['dd', 'ee', 'ff']
当我读取保存的csv文件并使用tolist()将“语句”列转换为列表时，创建的列表将处理
“aa”、“bb”、“cc”作为字符串(包括括号和')
是否有方法将该列读入字符串列表？[“aa”、“bb”、“cc”、“dd”、“ee”、“ff”)
还是建议在保存句子列时设置格式？
浏览 7提问于2022-04-13得票数 0
回答已采纳
我有计划创建一个应用程序，它给我与我在我的文本中输入的文字相关的单词和句子的列表，让我详细说明。我在我的项目中有一个字典，由单词和可能的一些句子组成，然后我有一个文本box.Whenever我在该文本框中输入一些单词说我输入“玫瑰”，然后与单词相对应的单词，如“玫瑰”，“玫瑰”，“玫瑰是美丽的”等(这些单词和句子将在字典中)必须显示在列表上，当选择任何单词或句子时，则必须显示在文本框上，就像谷歌搜索引擎一样，我们输入一个单词，我们就会得到包含该单词的单词和句子的列表。
因此，任何人对此有任何想法，请给我从哪里开始的方向。
谢谢，克丽丝蒂
浏览 0提问于2011-05-04得票数 0
回答已采纳
我正在处理一个excel格式的文档，我将它作为一个列表导入到R中。该列表由多种数据帧类型组成。例如，当我输入 data_list <- import_list("my_doc.xlsx") 我得到了一个包含3种数据帧类型的列表-- 1* 30、30* 31或0*1。可以想象，0* 1是标量值。 在此之后，我创建了一个整合的数据框架，如下所示： my_data<- ldply (data_list, data.frame)
my_data<-t(my_data)
colnames(my_data) <- my_data[1,]
my_data<-
浏览 64提问于2021-02-03得票数 0
我刚开始使用BeautifulSoup，一开始就遇到了一个障碍。我查找了类似的帖子，但没有找到解决我的具体问题的方法，或者有一些基本的我不理解的东西。我的目标是从这个页面中提取日语单词和他们的英语翻译和例子。
并将它们保存在dataFrame或csv文件中。
我可以看到解析后的输出和一些标记的内容，但是每当我尝试用我感兴趣的类请求一些东西时，我都得不到任何结果。首先，我想要得到一个日语单词的列表，我想我应该能够这样做：
import urllib
from bs4 import BeautifulSoup
url = ["https://iknow.jp/courses/56692
浏览 37提问于2018-09-12得票数 0
回答已采纳
1回答
我有一个这样的结构；用来创建一个pandas数据帧：
my_dict = { 'name' : ["joe", "jack", "jill", "joan", "jesse","jacob", "jonas"],
'age' : [20,27, 35, 55, 18, 21, 35],
'designation': ["VP", "CEO
浏览 6提问于2019-07-15得票数 0
回答已采纳
1回答
我正在努力的是让一个pygame程序在前一个函数中按下"y“键5次后停止我的函数。 我在pygame中创建了一个程序，用于与参与者进行研究。我已经创建了一个函数，它在屏幕上显示一个句子，每个句子取自数据帧中的一行。根据给定的参与者，无论该句子是否正确，都将按下"y“或"n”键，并将其记录在数据帧中的新列中。 现在，我的函数正在迭代数据帧中的所有100个句子。我希望它在"y“键被按下5次后停止迭代。 在从键盘获得响应的过程中，我写道： def getResponse(trialNum):
while True:
sentence = py
浏览 22提问于2019-03-02得票数 0
回答已采纳
1回答
我有一个使用igraph包创建多个网络图的函数，并将网络存储在一个列表中(g.list是最终输出)。 该函数如下所示-并使用数据帧列表(节点和边)来创建网络。 network.fun <- function(nodes, edges){
g <- graph_from_data_frame(d = edges, vertices = nodes, directed = FALSE)
V(g)$color <- ifelse(V(g)$Treatment == "Water", ff.1[3], ff.1[4])
w1 <- resc
浏览 20提问于2021-02-02得票数 1
回答已采纳
2回答
在Spark中创建数据帧列表是否可取？
List<Dataset<Row>> list = some method
方法读取x个文件以从中创建x个数据帧。这些数据帧被推送到列表中。
此方法从驱动程序调用，并返回通过在列表中联接数据集而创建的单个数据框。
我搞不懂这个列表将在哪里形成，是在驱动程序节点上还是在工作节点上？
创建数据帧列表是否可取？
浏览 11提问于2019-07-13得票数 1
我使用PDFMiner读取了一个pdf文件，并为NLP analysis提取了其中的文本。由于我将处理研究文章，我通过将文本的段落转换为句子标记列表对文本进行了轻度清理。我的目标是选择包含文本引用的句子，以便进行进一步的分析。 例如，数据格式如下： ['this is my new project' , 'I am very excited about this (Abbasi, 2015)'] 预期输出： 1.This is my new project
2.I am very excited about this (Abbasi, 2015) 是否可以
浏览 18提问于2020-06-19得票数 0
回答已采纳
2回答
我有6个csv文件，其中一列是句子，第二列是整数。
所有csv文件中的句子都是相同的，但它们在文件之间的关键顺序是不同的。
我想逐句合并所有数据帧，这样我就有了一列句子，然后每个整数列都与来自每个csv文件的句子相关联。
我尝试了常见的“句子”列的各种合并和缩减技术，但最终得到的行数比正常情况下多了几个数量级。
例如：
data_frames = [df1, df2, df3, df4, df5, df6]
reduce(lambda x,y: pd.merge(x,y, on='sentence', how='inner'), data_frames)
产生一
浏览 0提问于2020-01-07得票数 1
3回答
我有一个命令，用于将句子转换为标题大小写。必须从文本文件中复制此命令，然后将其粘贴到终端，然后再粘贴到我想要转换的句子中，这是效率低下的。该命令是：
echo "my text" | sed 's/.*/\L&/; s/[a-z]*/\u&/g'
如何将其转换为脚本，以便只需从终端调用如下内容：
TitleCaseConverter "my text"
有可能创建这样的脚本吗？它可以使它在任何文件夹的位置工作吗？
浏览 7提问于2017-03-21得票数 8
回答已采纳
我有一个数据框架df，其中包含一个名为strings的列。这一栏中的值是一些句子。
例如：
id strings
1 "I like you"
2 "I like you, too."
3 "I like you so much
4 "I like you very much"
5 "I don't like you"
现在，我有一个关键字列表，
["I", "don't", "like", "you
浏览 1提问于2019-04-27得票数 0
回答已采纳
我在一个txt文件上得到了成千上万的句子，我的第一个Android应用程序应该从那里提取一个句子，并将其放到textView上。
我可以将txt文件作为资源，或者也可以尝试获取所有句子并将其转换为数组。我不想把我的txt放到应用程序中，而是直接把数组和句子放在一起。我如何将成千上万的句子自动“翻译”成一个类似数组的列表呢？
浏览 2提问于2012-05-25得票数 1
回答已采纳
我正在用python写一篇名人琐事测验，从维基百科获得线索。
我使用以下代码将段落分成几个句子：
sentences = line.split(". ")
它适用于所有的事物，除非在句子中有一个以句号结尾的词。例如，"XXX是美国参议员。“被错误地拆分为"XXX是一个美国“。
我创建了一个例外列表，其中删除了这些单词中的句号：
line = line.replace("Dr. ", "Dr ").replace("Mr. ", "Mr ").replace("Gen. ", "
浏览 9提问于2021-12-23得票数 1
3回答
将列表列表转换为数据帧
、、、、
我有这种格式的数据帧。数据帧中共有907行，2列分别命名为音频和句子。音频列包含列表列表，如您所见。此列表的总长度为10000。 Audio sentence
[[-0.32357552647590637], [-0.4721883237361908],.....],the kind of them is a relative all the little old lady is it to confide in them and head for buying them hate it
浏览 21提问于2019-09-12得票数 1
我们有需求，我们在数据帧中有一堆SQL，并且希望在BQ中执行。如果该查询返回数据，则希望在数据帧中设置标志Y else。有没有办法在BQ中执行多个句子？？一次执行，也就是一次命中BQ。
浏览 4提问于2021-12-16得票数 -1
我有一个列表，当我在控制台中打印时，它看起来像一个数据帧。我希望能够将此列表转换为数据帧(具有7行和2列)，但我不确定如何做。当我取消列出这个对象时，它开始变得更加混乱。
library('gmailr')
my_messages <- gm_messages(serch ="a",num_results =7)
length(my_messages)
my_messages
glimpse(my_messages)
如何从当前结构的列表中创建与控制台中的数据帧完全相同的7x2数据帧？
浏览 0提问于2020-06-12得票数 0
我有一个包含28个FCS文件的目录(来自流式细胞仪的原始数据)。我正在将'flowFrame‘对象的列表转换为数据帧列表，我希望在每个数据帧中创建一个引用文件名的列。
library(flowCore)
list = list.files(pattern = "*.fcs") # create a list with all of the files
list = lapply(list, read.FCS) # import all of the FCS files
# Convert the list of FCS files into a list of da
浏览 1提问于2020-02-13得票数 1
回答已采纳
我有一排的数据和一份长的文件。我希望将文档按句子拆分(sent_tokenize)，然后为每个句子创建行，以便观察的数量从1(文档)增加到10,000 (句子)。例如，我的文档只有一行，如下所示：
document category
0 life is full of fake data.. wonderland
我想要的是文档被句子分割，并为所有句子创建行。
document category
0 life is full of fake data.. wond
浏览 2提问于2018-12-02得票数 2
回答已采纳
1回答
根据另一列的值筛选行中的值
、、、、
我想在我的训练数据中为三个不同的标签创建一个特定否定词的列表。这个词应该只出现在特定的标签上，而不是这三个标签。我有一个包含3列的数据框架: id、句子、标签 我也有两个不同的积极的词典文件(都是词汇化的形式) 我想为每个标签创建单词列表 到目前为止，我成功地创建了显示每个句子的否定词的列。但我不知道如何做之后，选择和提取的词是唯一的每一个标签。这意味着只出现在标记为三类之一的句子中的单词。 总而言之:我想在我的否定词库中创建一个单词列表，这些单词出现在标记为A、B或C的句子上。这些单词对于每个类别都应该是唯一的，如下面的预期输出列表数据文件中所示 ? 脚本的一部分我的脚本(我只是将
浏览 14提问于2020-01-09得票数 0
我有一个应用程序，在页脚，我们可以从一堆句子中随机选择一个漂亮的句子。到目前为止，我们在视图文件中有一个由这些句子组成的数组，并对其进行了迭代，但这使得footer.html.erb非常不可读。 我想过在公共文件夹中创建一个csv或文本文件，然后从那里加载文本-但是解析csv的代码应该放在视图中的什么位置呢？在应用程序控制器中？或者我应该创建一个自定义的初始化器，在启动服务器时加载句子数组，并在视图中每次随机获取一个句子。
浏览 7提问于2020-01-24得票数 0
回答已采纳
我想将文本保存在.txt文件中，并使用 f = open("test.txt", "r")
f1 = f.readlines() 这将返回一个列表，这似乎很完美，因为我可以从列表中选择我想要的元素。但是，我需要在一行中保存多个句子，以便对正确的句子进行分组。如果我想在单独的行上打印一组句子，那么在读取.txt文件时，我不能使用/n来开始换行。但是如果我通常定义一个包含/n的列表，它会创建一个换行符，没有问题。有谁知道解决这个问题的方法吗？
浏览 45提问于2020-10-23得票数 0
1回答
我正在尝试分解数据帧的一列，以获得多行。要分解它的列称为关键字，这是作为关键字从FlashText包返回的情感列表。这意味着如果一个关键字在文本列(有句子的列)中，那么它将返回对应于该句子的情感或多个情感 如果我使用自己创建的示例数据帧，这将与预期的输出完美地工作，但是当应用于数据帧分解时，它将返回随机的行组合。 我认为这种意外的结果是因为数据帧有重复的索引，然而，删除它们会得到相同的错误结果。 预期输出 from flashtext import KeywordProcessor
kp = KeywordProcessor()
kp.add_keywords_from_dict(keywo
浏览 14提问于2021-03-22得票数 0
回答已采纳
我有一个dataframe，它有一个"token“列，它有一个由多个文本提取的单词，例如：
text = "hello it's me"
df['token']
0 hello
1 it
2 '
3 s
4 me
数据帧非常长，因为我有1000个句子，所有句子都像我上面写的那样被拆分。现在我有了一个三元组列表，比如['no way out', 'my life is', 'hello my name']，我想检查这些句子是否以列表中的一个三元组开头，我该怎么做呢？
浏览 0提问于2020-05-26得票数 0
我有一只熊猫的数据，如下所示。在这个框架中有更多的列与任务无关。列id显示sentenceID，而e1和e2列包含句子的实体(=words)及其在列r中的关系
id e1 e2 r
10 a-5 b-17 A
10 b-17 a-5 N
17 c-1 a-23 N
17 a-23 c-1 N
17 d-30 g-2 N
17 g-20 d-30 B
我还
浏览 2提问于2018-06-16得票数 3
回答已采纳
1回答
我需要处理大量的txt文件来构建word2vec模型。现在，我的txt文件有点混乱，我需要删除所有的“\n”换行符，从我加载的字符串(txt-file)中读取所有句子，然后标记每个句子，以便使用word2vec模型。
问题是:我不能一行行地读文件，因为有些句子不会一行行结束。因此，我使用“nltk.tokenizer.tokenize()”，它将文件分割成句子。
我不知道如何将字符串列表转换为列表列表，其中每个子列表都包含句子，同时通过生成器传递。
或者我真的需要将每个句子保存到一个新的文件中(每行一句)才能通过生成器传递它吗？
好吧，我的代码看起来如下：‘tokenizer = nl
浏览 1提问于2019-07-20得票数 0
回答已采纳
我已经找到了解决以下问题的方法，但是我想了解为什么下面的代码会在列表中创建一个字符串列表，即将这个字符串列表作为外部列表中的唯一元素。
我有一个.txt文件，我正在阅读，其中包括大约25句话。这只是一个很长的段落，所以我想把它分成几个句子，用句号分隔。我最初使用这段代码来执行这个步骤：
file = open("love_life.txt", "r")
list_of_sentences = []
for line in file:
new = line.split('.')
list_of_sentences.append(n
浏览 5提问于2020-05-25得票数 0
回答已采纳
我有两个数据帧-一个包含句子/短语的列，另一个包含标签词的列表。我想创建一个新列，用于显示出现在该句子/短语中的标签词。
Sentence <- c(1,2,3)
Description <- c("I like potatoes, tomatoes, and broccoli", "Carrots, Radishes, and Potatoes", "Thanksgiving is my favorite because of Turkey")
df <- data.frame(Sentence, Description)
浏览 0提问于2019-04-30得票数 1
我已经将标记化的句子列表转换为数据帧。现在，我需要过滤其中有引用的行(句子)。 示例数据帧： sentences
1 This is my house
2 This is clear water(World Health organisation, 2018).
3 This house was built in 2000
4 According to me (Sundar, 2015)it is good. 预期输出： sentences
1 This is clear water(World Health organisation, 2018).
2 Accor
浏览 18提问于2020-06-27得票数 0
回答已采纳
1回答
我试图在数据框架中添加两个值作为列表，一个是句子，另一个是我得到的单词列表。
现在，我已经完成了以下代码
from nltk.tokenize import word_tokenize
example = ['Mary had a little lamb' ,
'Jack went up the hill' ,
'Jill followed suit' ,
'i woke up suddenly' ,
'it was a really bad dre
浏览 0提问于2019-02-17得票数 2
回答已采纳
1回答
我使用googleLanguageR从数据帧的文本列中自动检测文本语言。对于一个特定的句子，我做以下几点：
library(googleLanguageR)
gl_auth("credential.json")
gl_translate_detect(df[[45, 'text']])
其中text是数据帧df中的列。45是我想要检测语言的行号。"credential.json“是谷歌的一个私有API密钥。
它给出了相应的检测语言作为输出。但是，我想申请英文和德文混合文本的整个文本栏，并将它们分开。
我尝试了以下几点：
gl_translate_det
浏览 8提问于2022-06-03得票数 1
回答已采纳
1回答
我有两个数据框架，列的词和相关的分数这些词。我想通过这些框架进行评论，并根据句子中出现的单词创建一个加法分数。
我想要在很多很多评论中这样做，所以它需要计算效率。例如，“嗨，他说。为什么可以”这个句子会得到.98 + .1 + .2的分数，因为“嗨”、“为什么”和“好”都在数据帧a中。任何句子也可能有来自几个数据帧的单词。
有人能帮我创建列"add_score“，它的过程可以很好地扩展到大数据帧吗？谢谢
a <- data.frame(words = c("hi","no","okay","why"),score =
浏览 4提问于2017-06-18得票数 0
回答已采纳
3回答
下面是一个场景：
我从数据库(MySQL)中得到一个句子列表。
我把一个文件读入字典。
根据字典处理每个句子。
我最初(可怕的)做法是：
有两个模块。
ModuleA从数据库中获取句子，每个句子调用functionB。
FunctionB在ModuleB中从文件中填充字典。每一次。然后对句子进行处理。
之所以这样做，是因为最初我分别测试了ModuleB。后来，当FunctionB被反复调用时，我不得不修复这个问题。我的解决方案是将字典的填充从文件移动到一个单独的函数，并设置一个全局字典。代码如下：
ModuleA
import ModuleB
def m
浏览 0提问于2015-08-20得票数 1
回答已采纳
我在某种程度上读到了一堆关于预测句子中缺失单词的论文。我真正想要的是创建一个模型，从一个不完整的句子中建议一个单词。 Example:
Incomplete Sentence :
I bought an ___________ because its rainy.
Suggested Words:
umbrella
soup
jacket 从我读过的期刊上看，他们利用Microsoft句子完成数据集来预测句子中缺少的单词。 Example :
Incomplete Sentence :
Im sad because y
浏览 27提问于2019-06-30得票数 2
回答已采纳
我确实知道一些帖子与我的问题非常相似，但没有一个帖子能给我正确的答案。我希望，对于pandas数据帧的每一行，执行从几列中获取的值的总和。由于列数趋于变化，因此我希望从列列表中执行此求和。 目前，我的代码如下所示： df['Sum'] = df['Col A'] + df['Col E'] + df['Col Z'] 我希望它是这样的： df['Sum'] = sum(list_of_my_columns) 或 df[list_of_my_columns].sum(axis=1) 但是它们都会返回一个错误。可能是
浏览 40提问于2019-03-07得票数 4
回答已采纳
1回答
我正在尝试根据像这样的数据建立一个列表
TRAINING_DATA = [
["accepted",{"APP": True , "FEE": False, "THY": False}],
["change accepted",{"APP": True , "FEE": False, "THY": False}],
["yes i approve these changes",{"APP": True , "F
浏览 2提问于2021-02-04得票数 1
回答已采纳
1回答
我有一个大列表(z)，包含3个10帧数据帧的列表。我想将这个对象折叠成一个包含3个数据帧的列表，其中每个数据帧是10个先前数据帧的之和(考虑矩阵相加)。下面是我正在做的工作，请记住这些都是假数字，因为真实的数据是从数百个*.csv文件中读取的。
x = rep(1,100)
x = matrix(x,10,10)
x = as.data.frame(x)
y = list(x,x,x,x,x,x,x,x,x,x)
z = list(y,y,y)
所需的最终产品如下所示：
x1 = rep(10,100)
x1 = matrix(x,10,10)
y1 = list(x1,x1,x1)
我一
浏览 4提问于2020-01-21得票数 2
回答已采纳
2回答
我一直在尝试在Python中为dataframe使用动态名称。我的目标是读取如下文件夹中的csv文件列表： aaa.csv
bbb.csv
ccc.csv 例如： path = "../somepath/"
files = [f for f in os.listdir(path)] 然后，对列表进行循环，并为每个步骤从csv文件创建一个数据帧，如下所示 df_aaa = pd.read_csv('/../csv/aaa.csv') 我正在尝试创建一个函数来读取文件夹中的文件并创建数据帧，以供其他python脚本调用和重用，而不是在每个脚本中手动创建数据帧。
浏览 17提问于2021-04-19得票数 0
1回答
我在pandas中运行了一个很长的ETL管道。我必须创建不同的pandas数据帧，并且我想为一些数据帧释放内存。 我一直在阅读如何释放内存，我发现运行此命令不会释放内存： del dataframe 下面是这个链接：How to delete multiple pandas (python) dataframes from memory to save RAM?，其中一个答案说del语句并不删除实例，它只是删除了一个名称。 在答案中，他们说将数据帧放在列表中，然后删除列表： lst = [pd.DataFrame(), pd.DataFrame(), pd.DataFrame()]
del
浏览 171提问于2020-10-15得票数 2
回答已采纳
2回答
所以有一个excel文件，我通过pandas读取了它，并将其存储在一个数据帧'df‘中。现在，excel文件包含24列“问题”和631行“回答/回答”。
因此，我将一个这样的问题转换为一个列表，以便我可以对其进行标记化，并在其上应用更多与nlp相关的任务。
df_lst = df['Q8 Why do you say so ?'].values.tolist()
现在，这给了我一个包含631个句子的列表，其中一些句子是非英语的。所以我想过滤掉非英语句子，这样最后我只剩下一个只包含英语句子的列表。
我所拥有的：
df_lst = ['The excecutive
浏览 31提问于2018-04-04得票数 0
我已经创建了很多数据帧作为预处理的一部分。由于我限制了6 6GB的内存，我想从内存中删除所有不必要的数据帧，以避免在scikit-learn中运行GRIDSEARCHCV时耗尽内存。
1)是否有一个函数可以只列出当前加载到内存中的所有数据帧？
我尝试了dir()，但它提供了许多数据帧以外的其他对象。
2)我创建了一个要删除的数据帧列表
del_df=[Gender_dummies,
capsule_trans,
col,
concat_df_list,
coup_CAPSULE_dummies]
范围(&R)
for i in del_df:
del (i)
但它不会删
浏览 1提问于2015-08-27得票数 52
我对Python非常陌生，所以请容忍我。我有一个30+ .xlsx文件列表，我希望将这些文件读入数据帧列表中。之后，我希望将它们连接到一个数据帧中。
我有一个函数，它从给定的目录中创建一个.xlsx文件列表：
from os import listdir
working_directory = 'N:/path to files'
def find_xlsx_filenames(path_to_dir, suffix=".xlsx"):
"""
The function find_xlsx_filena
浏览 1提问于2021-05-28得票数 0
回答已采纳
1回答
我试图用一个简单的后退模型来构建一个预测词算法，但是我很难创建单词的频度表来创建选择下一个单词的概率。我需要创建与其适当的频率的ngram列表。
这项任务是课程的一部分，所以我不能提供数据，因为它是从学校获得的。我使用的样本是10,000个句子，每个句子都有不同的长度。
我有一个解决方案，但我知道这是不好的形式，因为我正在循环与重新绑定，显然，这需要太长时间。
library(quanteda)
library(data.table)
ntimes2<- ngrams(tokenize(sampNews,removePunct = TRUE,removeNumbers = TRUE,
浏览 1提问于2015-12-22得票数 0
2回答
我使用预先训练过的语言模型进行二进制分类。我通过培训数据优化模型，我的下游任务。结果表明，该方法的F值几乎为98% .
然而，当我从训练数据中删除一个特定的相似句子并将它添加到我的测试数据中时，分类器无法预测该句子的类别。例如，情感分析任务
“我喜欢这部电影，更确切地说，演技很棒”
我从训练中删除了所有包含“更具体”单词的句子，令人惊讶的是，在测试集中，它们都被错误分类，因此精确性下降了大量。
对于如何进一步微调/改进我的模型，以便在培训中更好地处理看不见的文本，以避免上述问题，有什么想法吗？(当然，没有提供包含“更具体”字样的句子模型)
注意:不管使用中的语言模型是什么，我都观察到了相同的性
浏览 0提问于2021-12-22得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
