2回答
我想读取一个大文件(4GB)作为一个Pandas数据文件。由于直接使用Dask仍然会消耗最大的CPU，所以我将文件读取为熊猫数据格式，然后使用dask_cudf，然后转换回熊猫数据格式。但是，我的代码仍在使用Kaggle上的最大CPU。GPU加速器开机。dask.distributed import Clientclient = Client(cluster)
df = pd.read_csv/in
浏览 12提问于2022-07-31得票数 2
我有一个csv文件，它有一个存储时间戳的时间列。使用vaex.from_csv()方法将此文件转换为hdf5格式后，time列中的值为字符串。例如： df = vaex.open("data.csv.hdf5")print(time)<class 'st
浏览 48提问于2020-09-30得票数 0
回答已采纳
2回答
我下载了IBM的；未压缩的CSV是84 GB。我想做一个类似于的分析，并使用金库库。我试图将CSV转换为一个hdf5文件，以便使它对于vaex libary来说是可读的：import vaexdf = vaex.from_csv(r"D:\airline.csv", convert=True, ch
浏览 29提问于2022-09-30得票数 0
1回答
我最初尝试用pandas pd.read_csv读取一个4 4GB的csv文件，但是我的系统内存不足(我猜)，并且内核正在重启或者系统挂起。因此，我尝试使用vaex库将csv转换为HDF5并对其执行操作(聚合、分组依据)。为此，我使用了： df = vaex.from_csv('Wager-Win_April-Jul.
浏览 51提问于2020-10-07得票数 1
1回答
使用这段代码将csv转换为具有给定块大小的HDF5 dv = vaex.from_csv('Wager-Win_April-Jul.csv', convert=True, chunk_size=5_000_000) 但是在执行上面的代码时会出现这个错误 .local/lib/python3.6/site-packages/vaex/__init__.py in fr
浏览 27提问于2020-10-06得票数 0
1回答
#zip_file = ZipFile(file) output = output_dirvaex to hdf5接下来，我做了一个大HDF5：import接下来，我将新的.csv添加到
浏览 5提问于2021-04-10得票数 0
回答已采纳
1回答
我使用vaex.from_csv()将csv转换为hdf5。import vaex
vaex.from_csv("/Users/xxxx/development/vaex/dataAN/testdata1.csv", convert=True) 到达 IPythonEXT_SUB_ACC'
浏览 62提问于2020-04-13得票数 0
回答已采纳
在Python中，我使用vaex (vdf = vaex.open('test_*.hdf5'))从多个hdf5文件中打开一个数据框。一切似乎都运行得很好，例如将两个列组合成一个新的列(vdf['newcol'] = vdf.x+vdf.y)。但是我无法让vaex的groupby正常工作：vdf.groupby('x', agg='count')抛出了一个TypeError: unhasha
浏览 24提问于2020-09-07得票数 0
1回答
我有一个从hdf5文件读取的vaex数据帧。它有一个日期列，该列被读取为字符串。我把它转换成了datetime。但是，我不能做任何日期比较。我可以从日期中提取日、月、年等，因此转换是正确的。import vaexvaex_df['pDate']=vaex_df.Date.v
浏览 0提问于2020-03-23得票数 0
1回答
使用Vaex读取拼图文件
、、、
我正在尝试使用Vaex从一个Parquet文件中读取一些数据到python中。 这是我使用vaex.open函数得到的输出。>>> import vaex>>> trade
Traceback (most recent call last):_as_table(0, n, N - n, N, form
浏览 34提问于2020-11-25得票数 2
我有一个超过1300万行的csv文件，我想转换成hdf5:我可以运行代码：但如果我运行以下代码：我收到错误：
<code>A2</code
浏览 63提问于2021-03-13得票数 0
1回答
我在一个Kaggle笔记本中使用Python库来使用.csv方法将一个vaex.from_csv()数据集转换为.hdf5。我无法找到为hdf5文件指定输出目录的方法。由于空间限制，将数据集复制到输出目的地，然后进行转换不是一个选项。
谷歌搜索、堆叠溢出和文档都没有成效。
浏览 3提问于2022-08-02得票数 0
1回答
用金库绘制大数据
、、、
我一直在努力创造一个有数百万行的csv的情节。我正在尝试使用金库模块，但我被困住了..df = vaex.open("mydir/cov2.csv", convert='hdf5')
# chr pos cov in
浏览 1提问于2020-05-05得票数 2
回答已采纳
基本上我有一个脚本，它接受一些csv文件作为输入，经过一些数据操作后，它输出2个csv文件。在这个脚本中，一个大约有1400万行的表上有一个循环，它的目标是创建另一个具有相同行数的表。我正在使用Python进行这个项目，但是循环太慢了(我知道这一点，因为我使用tqdm包来测量速度)。 因此，我正在寻找关于我应该使用什么来实现我的目标的建议。
浏览 20提问于2021-04-10得票数 0
1回答
Hdf5文件中未显示的列
、、、
我有一个很大的数据集(13亿个数据)，我想用Vaex进行可视化。由于csv中的数据集非常大(在520个单独的文件中，大约130 in )，我使用pandas dataframe.to_hdf函数将它们合并到一个hdf5文件中(格式:表，附加到每个csv文件)。，我可以访问任何我想要的列，形状是(1000,3)正如它应该是的。但是，当我尝试使用vaex.open函数加载hdf5文件时：0 &#
浏览 0提问于2019-12-16得票数 1
2回答
首先，我使用vaex读取CSV文件。>>> import vaex as vx>>> df.column_names
['0', '1', '2', '3', '4', '5', '6'
浏览 4提问于2021-08-08得票数 0
4回答
如何有效地将.csv文件转换为.npy文件？Q(第1部分)：对于大型CSV文件，有什么方法可以有效地将.csv加载/转换为.npy？另外
浏览 58提问于2022-10-13得票数 0
1回答
我有一个数据集，为8600万行x20列，其中包含一个头，我需要将其转换为csv，以便将其转储到大型查询中(从中添加多个标记)。逻辑上的解决方案是用.txt读取pd.read_csv文件，但是我的设备上没有8600万行内存，它会导致jupyter崩溃。
我知道其他线程，如()，但我的问题似乎相当利基。我已经获得了要生成的较小文件的csv (仅使用35个总.txt文件中的3个)，但是当我尝试使用所有文件时，上面的代码都失败了。如果我没有得
浏览 4提问于2022-10-12得票数 1
1回答
在第一部分的分析中，我使用dask.dataframe进行了一些处理，我的目的是将我计算出来的数据导出到一些vaex读取中。我想将数据导出为内存映射格式，如hdf或箭头。Vaex允许进口hdf和箭头。两者都允许将导出和导入作为csv文件，但我想避免这种情况。到目前为止，我有以下选择(和问题)：
如果我导出到一个().I文件中，因为以行格式导出该文件，但是以列格式读取该文件，则无法导入该文件，可以将数据导出到拼花文件中，但我不知道如何从vaex<
浏览 3提问于2020-04-27得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
