1回答
我试过了： df.groupby('name').agg('count').compute(num_workers=1)
df.groupby('name').agg('count').compute
浏览 25提问于2019-04-10得票数 7
多行矩阵M上的一个M循环 f(x) pool.map(f, M)
我曾经尝试过与dask并行化，但是它甚至在顺序执行中失败了我尝试过很多事情，如使用数据的分区(如所说的)或使用dask.bag。我在本地机器上运行Dask
浏览 7提问于2022-03-07得票数 0
0回答
给定以下dask数据帧：import pandas as pddf = pd.DataFrame')].items(): x += v我很惊讶pandas在groupby+ aggregate操作上比dask快，例如：res = d
浏览 2提问于2018-07-17得票数 1
1回答
我有3.6亿记录的鸟群观测数据
注意:虽然我把这个dataset称为EOD_CLO_2016.parq.gz，但是它被块在S3桶中的许多对象上，以便于并行化。在使用groupby执行可伸缩部分之前，是否有任何方法可以动态地执行这种计算?或者，在使用<e
浏览 0提问于2018-09-12得票数 1
回答已采纳
1回答
我想知道该函数中的代码是否可并行化，我能否以某种方式并行化该函数中的代码，而无需在该函数中进行dask API调用？
我在想dask.delayed是否能在这方面帮到我。但我认为它使函数的多次执行并行化，但我想并行化函数的内部内容。有没有可能使用dask？
浏览 2提问于2018-06-20得票数 1
df是这样创建的：encoded = pd.get_dummies(df, columns=['account'])df = dd.from_pandas(encoded, 50)result = df.groupby('journal_entry我试图在df上执行此操作：
result = df.groupb
浏览 1提问于2018-04-26得票数 12
回答已采纳
在Dask中是否存在与pandas.cut()等价的内容？groupby方法工作得很好，但不幸的是，当我试图将数据存储在能量中时，我遇到了困难。我找到了一个使用pandas.cut()的解决方案，但它需要调用原始数据集上的compute() (将其本质上转换为非并行代码)。在
浏览 4提问于2017-02-24得票数 13
回答已采纳
Dask | Modin | Data.table的基本区别和主要用例是什么
我查看了每个库的文档，所有这些库似乎都为pandas的局限性提供了一个“类似”的解决方案
浏览 5提问于2019-06-07得票数 13
1回答
为什么在pandas中，从32m行数据帧中获取组的这三种方法的性能存在差异。df = df.groupby(["a", "b", "c"]).groups
df = df.index
df =df.groupby(["a", "b", "c"]
浏览 0提问于2016-07-18得票数 0
我发现Dask提供并行化的NumPy数组和Pandas DataFrame。
Dask提供并行数组、数据帧、机器学习和自定义算法。Dask对Python用户来说有一个优势，因为它本身就是一个Python库，所以当事情出错时，序列<em
浏览 4提问于2016-08-10得票数 101
1回答
: .groupby['target'].sum().shift(i).ffill().bfill().values
是否可以对值进行排序、分组、移位，然后分配给一个新变量，而不需要在Dask
浏览 10提问于2017-03-15得票数 4
1回答
由于经过训练的模型是独立的，因此很容易将这部分并行化，例如from sklearn.linear_model import Lassoresults.append(delayed(model.fit)(X, y))results = compute(results)
但是，假设模型本身需要生成流程，例如，如果模型是一个包含交叉验证的管道，如GridSearchCV我应该如何并行化这段代码？我不清楚如何让它工
浏览 4提问于2020-10-04得票数 0
我想解决两个问题：
加载数据集--尽管使用了计算集群，我还是无法将其加载到内存中，所以我假设我应该使用一个并行化库，比如Dask、Spark或Vaex。这是最好的主意吗？特性选择-如何在并行化库中运行特性选择？这能用达斯克，火花，瓦克斯完成吗？
浏览 0提问于2021-05-20得票数 1
1回答
当使用Dask与Dask数组时，我突然得到以下错误，并且我的内核死了/重新启动。BLAS : Program is Terminated.
浏览 15提问于2017-07-13得票数 4
回答已采纳
有没有可能让一个多节点的Dask集群作为一个带有AML Pipeline的PythonScriptStep的计算？ft.dfs()有一个允许并行化的参数n_jobs。当我们在一台机器上运行时，作业需要三个小时，并且在Dask上运行得更快。我如何在Azure ML流水线中操作它？
浏览 12提问于2020-08-08得票数 4
回答已采纳
1回答
pd.DataFrame({'cust_id':['a', 'a', 'a', 'b', 'b'], 'sales': [100, 200, 300, 400, 500]})
df['mov_avg'] = df.groupby有没有办法在这里利用DASK？
浏览 14提问于2020-01-16得票数 0
我有一个内存中可并行的小问题，但由于需要在进程之间来回发送大量数据，所以在常规的Python多处理(只有2xish)中不能提供很好的加速。希望达斯克能帮上忙。我的代码基本上如下所示：for key, kdf in natsorted(scdf.groupby(grpby_key)):
d1 = dd.from_pandasdelayed(function)(scdf, other_dfs[key], key=key, n_jobs=n_jobs, **kwargs) fo
浏览 0提问于2018-07-04得票数 0
回答已采纳
2回答
我在并行化groupby上找到了这个。然而，它不能一对一地转换成有多个参数的情况-除非我弄错了。 return pd.Series(index=index, data=ret_list)
谁会使用applyParallel(df.groupby
浏览 9提问于2016-09-25得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
