我有一个生成器，它返回未知数量的数据行，我希望将这些数据转换为索引的pandas数据帧。据我所知，最快的方法是将CSV写入磁盘，然后通过'read_csv‘解析回来。我知道创建一个空的dataframe，然后不断地追加新的行是没有效率的。我不能创建预置大小的dataframe，因为我不知道将返回多少行。有没有一种方法可以将迭代器输出转换为pandas数据帧而不写入磁盘？
浏览 1提问于2017-03-24得票数 12
我有一个propitiatory cursor (arcpy.da.SearchCursor)对象，需要将其加载到pandas数据帧中。它实现了next()、reset()，正如您对Python中的生成器对象所期望的那样。
使用中的另一篇文章，我创建了一个类，使生成器的行为类似于文件对象。这适用于默认情况，其中没有设置块大小，但当我为每个数据帧设置块大小时，它会使python崩溃。
浏览 8提问于2016-07-27得票数 1
回答已采纳
我是机器学习的新手，正在使用Python中的pandas创建一个数据集。我查阅了一个教程，只是在尝试创建数据帧的基本代码，但我一直得到以下回溯：我在Excel 13中将csv文件保存为csv(逗号分隔以下是我的代码： import csv
mydata = pandas
浏览 11提问于2015-08-01得票数 9
我想从InstaCart 加载大型.csv (340万行，206k用户)开源数据集
基本上，我在将orders.csv加载到Pandas DataFrame时遇到了问题。我想学习将大文件加载到Pandas/Python中的最佳实践。
浏览 3提问于2017-06-14得票数 1
有一个主数据帧(df_summary)和另一个数据帧，其中包含必须从主数据帧中删除的行的名称。以下是我尝试过的方法：import pandas as pd
df_summary = r
浏览 28提问于2019-10-25得票数 0
回答已采纳
我有共享的代码，这些代码是通过数据文件来工作的。
是否有一种方法可以逐行读取gzip文件，而不使用任何分隔符(使用整行，该行可以包括逗号和其他字符)作为一行并在dataframe中使用？我希望它将每一行视为数据帧中的一行。如何才能做到这一点？如有任何建议，将不胜感激。
浏览 7提问于2019-10-01得票数 3
1回答
嗨,
我使用python中的read_csv函数从url导入数据。我要导入的数据由一个字符/字符串列组成，其他列由数字组成。有没有办法把第一列也换成数字？例如，将M替换为1，F替换为2，I替换为3？我在考虑使用条件语句的某种循环，但我不知道python的正确语法。
浏览 6提问于2017-01-24得票数 1
导入pandas库后，为什么一些方法需要pd，而其他方法不需要？ 示例：pd.read_csv('df.csv') 示例2：df.head()
浏览 5提问于2019-01-10得票数 0
回答已采纳
我在sql中有一个表，我希望将其读入到pandas数据帧中。我可以读入表，但所有列数据类型都是作为对象读入的。当我将表写入csv，然后使用read_csv重新读回它时，假定数据类型是正确的。显然，这个中间步骤效率很低，我只希望能够直接从sql读取数据，并假定数据类型正确。
我在df中有650列，因此显然不可能手动指定数据类型。
浏览 46提问于2019-11-14得票数 0
Operator,Flight #,Route,Type,Registration,cn/In,Aboard,Fatalities,Ground,Summary 我的代码在下面，但这打印了整个文件，有没有办法使用CSV或搁置模块，我可以使用它来创建一个持久的数据库。这里的最终目标是对数据进行切片和分割，例如:按日期排序，按年分组等。 #!
浏览 16提问于2021-04-17得票数 0
我正在尝试通过"df_sum“数据帧的”contract“列的唯一值来迭代它。然后为每个“合同”值创建数据帧以供进一步计算。from pandas import read_csv
df_sum = read_csv(r'path_to_sum.csv', sep=",", low_m
浏览 2提问于2019-10-28得票数 1
当我使用pandas read_csv时，pandas为数据帧增加了一些小价值，从-0.079257增加到-0.07925700000000001，为什么会发生这种情况，我如何解决这个问题？我试过使用float_precision，但似乎什么也做不了，我刚接触pandas df = pd.read_csv('filepath')
print(df.iat[0,0]) Dataset Link我使用</em
浏览 29提问于2019-04-07得票数 0
试图从下载过去100天的交易数据，然后将它们写入日期框中，我可以运行数字并准确地让它工作-我一直在尝试另一种方法，将它们放在硬盘上，但仍然无法获得pathlib os io bucketing之类的东西
浏览 0提问于2020-06-06得票数 1
1回答
我使用pandas从csv文件中读取多组数据。有没有办法指定用read_csv读入的数据的日期格式？例如，我有一个数据文件，它有一个日期时间列，格式如下：和另一个，格式如下：我想读入这些文件，然后匹配第二个日期格式。然后，我可以使用to_datetime来确保列格式为datetime格式，并且可以用作pandas索引。有没有办法用to_datetim
浏览 3提问于2017-11-14得票数 0
我正在使用python对过去9年的Nifty intraday数据进行反向测试。为此，我需要准确的日期和时间列，以便我可以生成我的买入和卖出信号，并对它们进行反向测试。此数据为我提供了不同列中的日期和时间，我希望合并这两列，并希望生成一个类似DD/MM/YYY HH:MM:SS的时间戳import csv
df = pd.read_csv('ticks2.csv
浏览 1提问于2017-05-04得票数 1
2回答
我正在尝试运行以下脚本以添加到文件左侧的列中；但是它总是给我 valueError: header must be integer or list of integers 下面是我的代码： import pandas
浏览 61提问于2019-10-04得票数 0
比方说，如果我使用read_csv或read_table将一个400MB的csv文件读入到pandas数据帧中，有没有办法猜测这将需要多少内存？只是想更好地了解数据帧和内存...
浏览 4提问于2013-08-07得票数 160
import pandas as pdimport csvimport matplotlib.dates
浏览 1提问于2018-12-10得票数 0
3回答
我用perl做了很多数据分析，我正在尝试用python复制这项工作，使用pandas、numpy、matplotlib等。一般工作流程如下：2)解析文件，因为它们有元数据4)将匹配标签和加载数据的行拆分为散列到目前为止，我遇到的每个pandas数据结构示例都是精心设计的，整个结构(索引和值)都是在一个命令中手动分配的，然后通过操作
浏览 2提问于2012-11-13得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
