1回答
我有一个Dask函数，可以将列添加到现有的Dask dataframe中，它可以很好地工作： df = pd.DataFrame({ 'weight': [150, 126, 133, 164, 203]
df_dask = dd.from_pandas(df, npartitions=2)s = ""&
浏览 50提问于2021-10-21得票数 1
回答已采纳
我正在使用Dask应用一个函数myfunc，该函数将new_col_1和new_col_2两个新列添加到dataframe data中。该函数使用两列a1和a2来计算新列。ddata[['new_col_1', 'new_col_2']] = ddata.map_partitions(
lambda df: df.a
浏览 18提问于2022-01-24得票数 -1
回答已采纳
我正在使用from_pandas()函数从熊猫数据帧创建一个dask数据帧。当我尝试使用方括号[ ]从dask dataframe中选择两列时，我得到了一个KeyError。根据dask文档，dask dataframe支持像pandas dataframe一样的方括号列选择。']].apply(
浏览 67提问于2019-10-04得票数 1
我正在尝试向dask数据帧添加多个列，以存储apply函数的结果。这将是我关于堆栈溢出的第一个问题，我希望这个问题不会太长！ddf = dd.from_pandas(weather,npartitions=nCores)
ddf['NewCol1'] = ddf.map_partitions(lambda df: df.apply，然后将函数'dfFunc’应用到数据帧的每一行。我的困惑在于，如果我希望我的函数返回一个列表
浏览 5提问于2018-10-11得票数 1
我想将一个函数应用到一个dask.DataFrame，它返回一系列可变长度。关于这一点，我有两个问题：
如果元数据推理失败，如果事先不知道列数，我如何提供元数据？背景/ usecase:在我的dataframe中，每一行代表一个模拟跟踪。我要应用的函数从其中提取特定事件的时间点。因为我不知道每个路径的事件数，所以我不知道最终的dataf
浏览 3提问于2016-12-13得票数 2
回答已采纳
2回答
将元组的列拆分为两列
、、、、
我正在使用python2.7和dasktable[col] = table.apply(lambda x: (x[col1],x[col2]), axis = 1, meta = pd.Dataframe) table[[col1,col2]] = table[col].apply(pd.Series)
浏览 7提问于2017-11-19得票数 4
回答已采纳
value category1 20 B3 40 B 我想添加一个mean列，其中包含每个类别的值的平均值。中做同样的事情？我不能按原样使用pandas函数，因为你不能在Dask中枚举groupby对象。我可以使用apply函数来计算Dask中的平均值。import dask</em
浏览 15提问于2019-10-18得票数 0
回答已采纳
在函数的apply_ufunc中，它说：
对于大多数已由dask包装的NumPy函数，通常最好使用预先存在的dask.array函
浏览 0提问于2018-08-07得票数 5
回答已采纳
我有一个函数，它使用函数将列添加到DataFrame中，例如 resp_data = {'status': '1', 'data': x}return json.dumps(resp_data)import dask.dataframe as dd
浏览 2提问于2022-01-27得票数 1
回答已采纳
1回答
我想知道是否有人知道根据Dask中的列的值写出一组文件的正确方法。换句话说，如果我想根据列中的值对一组列进行分组，并将它们写到CSV中。我一直在尝试对Dask使用groupby-apply范例，但问题是它不返回dask.dataframe对象，所以我应用它的函数使用Pandas API。 有没有更好的方法来实现我想要做的事情？
浏览 12提问于2021-09-21得票数 1
回答已采纳
1回答
我正在尝试使用Dask来处理一个大文件(50 gb)。通常，我会将其加载到内存中并使用Pandas。我想按两列"A“和"B”分组，每当"C“列以一个值开头时，我想为那个特定的组重复该列中的值。在熊猫中，我会做以下事情：
df['C'] = df.groupby(['A','B'])['C']
浏览 7提问于2016-08-12得票数 3
1回答
project/*.csv", blocksize=25e6,然后我坚持使用Dataframe (它使用7.33GB内存)：我设置了一个新的索引，因为我希望我的组在该字段上尽可能高效：
df = df.set_index('column_a为了测试我的组的运行速度，我尝试了一个定制的应用函数，它只打印
浏览 0提问于2019-02-08得票数 4
回答已采纳
1回答
将一列随机数添加到dask数据帧的正确方法是什么？显然，我可以使用map_partitions将列添加到每个分区，但我不确定当dask并行化该计算时，如何处理随机状态。(即，它是否会在所有工作进程中使用相同的随机状态，从而在每个工作进程中生成相同的随机数？)在dask.array.random ()中似乎有相关的函数，但我找不到一个示例来说明如何将这些函数与<em
浏览 2提问于2021-02-09得票数 1
1回答
在我的主文件中，我定义了一些函数，并将它们应用于Dataframe，如下所示dataframe = transformation2，并通过使用apply向其添加一个新列，如下所示： dataframe['new_column'] = dataframe.apply在
浏览 5提问于2017-06-24得票数 2
这与前面关于如何跨多个列扩展基于列表的列的问题类似，但我看到的解决方案似乎不适用于Dask。请注意，我正在使用的真正的DFs太大，无法保存在内存中，因此不能首先转换为pandas。我有一个包含列表的df with列： df = pd.DataFrame({'a': [np.random.randint(100, size=4) for _ in range(20)]})
dask_df= dask_df['a']
浏览 27提问于2021-09-29得票数 3
回答已采纳
我从Castra创建了以下dask dataframe：2015-08-08 08:10:00 2353 2015-08-08 08:10:00 e
并得到以下错误：
TypeError: Only
浏览 6提问于2015-11-26得票数 5
回答已采纳
1回答
我有一个dataframe，它包含列中的图像路径(称为img_paths)。在接下来的步骤中，我想要做的是使用这些图像路径将图像加载到另一列(称为img_loaded)中，然后应用一些预处理功能。但是，在加载(或，图像读取)过程中，我总是得到不同的结果，包括对imread函数的一个时间延迟包装，另一个时间正确加载图像(我可以看到数组)和其余时间：FileNotFoundError。除了下面的例子之外，我还使用
浏览 0提问于2019-06-16得票数 1
回答已采纳
我有一个Dask DataFrame，我想从其中按列分组，并将agg作为其他列的列表。
浏览 15提问于2019-06-06得票数 0
2回答
当我使用dask和pandas运行像这样的循环时(见下文)，只有列表中的最后一个字段会被求值。这大概是因为“懒惰评估”。field in fields:如果我在最后一行
浏览 1提问于2019-05-03得票数 0
我有一个包含3列的大型数据集：0 103896 1 2.02 103896 1 5.04 103896 1 7.0我需要使用groupby-apply。::-1].cumsum() == 0)
return x.eq(0).sum()/((x.eq(0)&x.shift().ne(0))
浏览 15提问于2019-11-23得票数 0
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
