1回答
我使用Python语言中的dask从已建立的连接中读取SQL表(我使用cx_Oracle、sqlalchemy)。我自己的表是现成的，但我不知道如何访问其他用户提供给我的表。在SQL本身中，我只会使用other_user.their_table来引用该表。但是，使用dask import dask.datafr
浏览 10提问于2019-12-20得票数 0
index='filename', columns='code', values='frequency') 我在使用pivot时遇到了问题，因为数据集太大，在pivot之后大约有50,000列 人们建议使用dask库 所以我将这段代码构建为 import dask.dataframe as dd
df_features = dd.read_sql_table(table=&
浏览 7提问于2020-04-10得票数 0
回答已采纳
我正在用dask.dataframe.read_sql_table连接到Oracle数据库，尝试跨越一些较大的表，其中一些表有超过1亿行，然后将它们以拼花格式写到s3桶中。但是，即使我试图指定Dask建议的分区数，我仍然会遇到内存错误。我读过一些关于dask.distributed的文章，但不知道如何在dask.dataframe.read_sql_table中使用它。如果有人对如何使用da
浏览 2提问于2019-11-18得票数 0
回答已采纳
你好，到目前为止，我看到的使用dask的所有示例都是使用dask read_csv调用读取的文件夹中的多个csv文件。如果我被提供了一个带有多个选项卡的xlsx文件，我可以使用dask中的任何东西来并行地读取它们吗？
P.S.我用熊猫0.19.2和蟒蛇2.7
浏览 13提问于2017-06-20得票数 4
python似乎已经安装-- Dask返回一个ValueError。朱庇特和工人的舵手： - name: EXTRA_CONDA_PACKAGES - name: EXTRA_PIP_PACKAGES容器显示python-snappy (通过conda列表)
浏览 0提问于2018-05-15得票数 2
回答已采纳
每个文件都有文件名，如fileaa、fileab、fileac、filead、.通常我使用read_csv，但是由于内存错误，'read_csv‘不能工作。/file.csv"所以我想尝试一下python2.7中的并行处理。
浏览 1提问于2017-07-09得票数 0
回答已采纳
传递压缩的gzip文件会给出一个错误，即不支持在gzip中查找，因此它不能以块的形式读取。from dask.bytes.compression import seekable_files
import lzmaffi/lib/python3.5/site-packages&#
浏览 11提问于2017-02-10得票数 1
回答已采纳
1回答
我们已经生成了一个拼花文件，一个用Dask (Python)，另一个用R Drill (使用Sergeant数据包)。他们使用不同的parquet 实现。我们无法交叉读取文件( python不能读取R文件，反之亦然)。在R环境中读取parquet文件时，我们会收到以下错误：system error: Illegalstatexception: UTF8 can only annotate binary filed。当在Dask
浏览 3提问于2017-08-01得票数 0
回答已采纳
当我尝试通过读取pickle文件来创建dask数据帧时，我得到了一个错误ds_df = dd.read_pickle("D:\test.pickleAttributeError: 'module' object has no attribute 'read_pickle'
在大熊猫身上，它一如既往地成功了所以，如果我在这里或者在dask</e
浏览 1提问于2015-12-14得票数 7
我正在尝试学习如何使用dask模块来克服脚本中的内存问题。当我读取csv并从它创建dask数据帧时，我得到了以下错误： File "C:\Users\username\AppData\Local\Programs\Python\Python39\lib\site-packagespath.startswith("file://"):
AttributeError: '_io.TextIOWrapper&#
浏览 271提问于2021-02-02得票数 0
2回答
我是python的新手。我正在使用dask读取5个大的(>1 GB) csv文件，并将它们合并(类似SQL)到一个dask数据帧中。现在，我正在尝试将合并后的结果写入单个csv。我在dask dataframe上使用compute()将数据收集到单个df中，然后调用to_csv。但是，compute()在读取所有分区的数据时速度很慢。我尝试在dask df上
浏览 5提问于2017-03-23得票数 4
1回答
我试着用Dask从kaggle的sqlite数据库中读取一张表，import dask.dataframe as ddf
# Read sqlite query res
浏览 1提问于2022-04-19得票数 0
回答已采纳
我正在尝试在Dask DataFrame中读取S3中的一组CSV。存储桶具有很深的层次结构，并且还包含一些元数据文件。调用看起来像这样 dd.read_csv('s3://mybucket/dataset/*/*/*/*/*/*.csv') 这会导致Dask挂起。真正的问题是，s3fs.glob在尝试解析具有那么多星星的球状图
浏览 22提问于2019-06-12得票数 2
回答已采纳
1回答
我对Dask的本地线程调度程序感兴趣。此调度程序可以使用多个线程从多维数组中“并行”加载数据块。我对I/O界问题感兴趣，所以暂时不考虑计算密集型应用。使用Dask的存储方法从随机数组加载和保存数据的一些速度测试似乎证实了这一事实:随着块大小的增加，性能下降(据说是因为最小块增加了并行性)。在这个实验中，我使用没有物理块的hdf5文件:1包含数组中所有数据的数据集。
我面临的问题有两个: 1
浏览 4提问于2019-11-02得票数 2
回答已采纳
2回答
Dask支持哪些分布式文件系统？具体来说，您可以从哪个文件系统中读取dask.dataframe？从Dask文档中，我可以看到HDFS当然是受支持的。是否支持任何其他分布式文件系统，如Ceph等？我可以在这里找到一些关于支持其他文件系统的想法的讨论：，但没有最后的结论，只是HDFS比其他选项“更糟糕”。
谢谢你的帮助!
浏览 3提问于2018-05-11得票数 3
回答已采纳
我有一个excel，这是每天生成的，可以有多达50k+行。有没有办法只读最后一行(它是列的总和)？df=pd.read_excel(filepath,header=1,usecols="O:AC")
df=df.tail(1)
浏览 0提问于2021-06-01得票数 0
我正在尝试读取sql表并在dask中执行合并。这使用的是dask版本2.8.0。下面是我的代码片段： tdf = dd.read_sql_table('comments', conn_url, index_col='author', divisions=list('1234567890, divisions=list('1234567890'))
dd.merge(tdf, adf, how=
浏览 19提问于2021-08-03得票数 1
回答已采纳
1回答
可以从python脚本运行dask吗？from dask.distributed import Client如所有教程中所述。但是，如果我将这些代码行写在script.py文件中并以python script.py方式执行它，它会立即崩溃。我发现了另一个选择，那就是使用MPI：from dask_mpi import initialize
initialize
浏览 0提问于2019-08-20得票数 2
1回答
我想从Dask Dataframe列创建一个列表/集合。基本上，我希望使用此列表通过将值与此数据帧中的列进行匹配来过滤另一个数据帧中的行。我可以使用dask.bag或多处理来创建列表吗？
浏览 10提问于2020-12-31得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
