Dask，根据下一行添加新列
Dask是一个开源的并行计算框架，用于处理大规模数据集和执行分布式计算任务。它提供了高级的并行计算接口，可以在单机或分布式集群上运行，以实现高效的数据处理和计算。
Dask可以被用于各种不同的数据处理和计算任务，包括数据清洗、数据分析、机器学习、模拟和可视化等。它的设计灵感来自于NumPy、Pandas和Scikit-learn等流行的数据处理和机器学习库，因此可以无缝地与它们进行集成。
Dask的主要优势包括：
- 可扩展性：Dask可以在单机或分布式集群上运行，可以根据数据集的大小和计算需求进行灵活的扩展。
- 高性能：Dask使用了惰性计算和任务图优化等技术，可以有效地利用计算资源，提供高性能的数据处理和计算能力。
- 灵活性：Dask提供了丰富的数据结构和操作接口，可以适应不同类型的数据和计算需求。
- 易用性：Dask的API与NumPy、Pandas和Scikit-learn等库类似，因此对于熟悉这些库的开发者来说，上手较为容易。
在使用Dask进行并行计算时，可以结合腾讯云的一些相关产品来提升计算性能和可靠性，例如：
- 腾讯云弹性MapReduce（EMR）：用于在云端快速处理大规模数据集的分布式计算服务。可以将Dask与EMR结合使用，实现高效的数据处理和计算。
- 腾讯云容器服务（TKE）：用于管理和运行容器化应用的托管服务。可以将Dask部署在TKE上，实现容器级别的资源管理和调度，提高计算任务的可靠性和弹性。
更多关于Dask的详细介绍和使用方法，可以参考腾讯云的官方文档：Dask - 腾讯云文档
相关·内容
我在使用Dask Dataframes时遇到了一些问题。
假设我有一个包含2列['a','b']的数据帧
如果我需要一个新的列c = a + b
在熊猫中，我会这样做：
df['c'] = df['a'] + df['b']
在dask中，我正在执行相同的操作，如下所示：
df = df.assign(c=(df.a + df.b).compute())
有没有可能以一种更好的方式编写这个操作，就像我们在pandas中所做的那样？
第二个问题是更让我困扰的事情。
在pandas中，如果我想将第2行和第6行的'
浏览 0提问于2015-09-03得票数 9
每当我使用dask数据帧进行计算时，我都会确保只加载必要的列，以便能够节省计算速度。
我只是不明白dask是如何在内部工作的，为什么他不能从拼花柱状格式中受益。
在下面的小示例中，test.parquet是一个包含13列各种数据类型、10M行和16个分区的拼图文件。正如您所看到的，如果我只对单个列的最小值感兴趣，那么当我只加载目标列时，速度会有非常明显的提高。在使用分布式调度器时，我还可以看到加载到内存中的数据较少。
为什么当我加载整个dataframe而不是只加载目标列时，dask需要更长的计算时间？如何解释与示例中看到的相同计算中的开销？
浏览 1提问于2019-03-14得票数 2
1回答
我试图使用命令dask.dataframe从x.loc[0].compute()中只选择一行。它返回4行，所有行都有index=0。我尝试了reset_index，但在重置后仍有4行具有index=0。(我认为我重置是正确的，因为我做了reset_index(drop=False)，我可以在新列中看到原始索引)。
我阅读了dask.dataframe文档，它说明了index=0可能有多个行，这是因为dask如何构造块数据。
所以，如果我真的希望通过使用index=0来设置一个行，我如何做到这一点？
浏览 0提问于2019-02-02得票数 4
回答已采纳
1回答
我想从Dask Dataframe列创建一个列表/集合。基本上，我希望使用此列表通过将值与此数据帧中的列进行匹配来过滤另一个数据帧中的行。我尝试过使用list(df[column])和set(df[column])，但它们花费了很多时间，最终导致创建集群时出现错误，有时当达到内存限制时，它会重新启动内核。 我可以使用dask.bag或多处理来创建列表吗？
浏览 10提问于2020-12-31得票数 0
回答已采纳
TLDR：我从一个dask包创建了一个dataframe。dask dataframe将每个观察(事件)作为一列对待。因此，我没有为每个事件设置行数据，而是为每个事件设置了一列。其目标是将列转换为行，就像熊猫可以使用df.T转换数据格式一样。
Details：我有。为了达到我的起点，下面是将json从磁盘读入dask.bag并将其转换为dask.dataframe的代码
import dask.bag as db
import dask.dataframe as dd
import json
b = db.read_text('./sampleTwitter.json').
浏览 7提问于2016-08-04得票数 4
回答已采纳
我想对大约3000行6000列的数据进行降维。这里观察的数量(n_samples) <特征的数量(n_columns)。我不能使用dask-ml来达到这个效果，而同样的结果可以通过scikit学习来实现。我需要对现有代码进行哪些修改？ #### dask_ml
from dask_ml.decomposition import PCA
from dask_ml import preprocessing
import dask.array as da
import numpy as np
train = np.random.rand(3000,6000)
train = da.from
浏览 19提问于2019-02-16得票数 0
回答已采纳
1回答
如何使用Dask DataFrame计算第一个离散差分？或者，在“潘达斯之声”中，我如何在达斯克做？从数学上讲，操作非常简单:从其自身的副本中减去一个列向量，移动一行或多行。
我尝试过以以下方式在Dask中实现diff()，但这些方法都没有工作(目前为止)：
df - df.shift(periods=1)在潘达斯工作。但是Dask DataFrame没有shift()方法。
df.values[:-1] - df.values[1:]在潘达斯工作。但我看不出如何按位置索引到Dask DataFrame中。
我目前最好的实现diff的方法是用dask.dataframe.rol
浏览 5提问于2016-11-08得票数 3
回答已采纳
我正在使用from_pandas()函数从熊猫数据帧创建一个dask数据帧。当我尝试使用方括号[ ]从dask dataframe中选择两列时，我得到了一个KeyError。 根据dask文档，dask dataframe支持像pandas dataframe一样的方括号列选择。 # data is a pandas dataframe
dask_df = ddf.from_pandas(data, 30)
data = data[dask_df[['length', 'country']].apply(
lambda x: myfun
浏览 67提问于2019-10-04得票数 1
我有一个dask数据帧，它的索引是一个字符串，看起来像这样：
12/09/2016 00:00;32.0046;-106.259
12/09/2016 00:00;32.0201;-108.838
12/09/2016 00:00;32.0224;-106.004
(它基本上是一个对日期时间、纬度、行的经度进行编码的字符串)
我想在dask上下文中将其拆分成表示每个字段的单独列。
我可以用一个熊猫数据帧来做到这一点：
df['date'], df['Lat'], df['Lon'] = df.index.str.split(';'
浏览 17提问于2017-08-01得票数 2
回答已采纳
我有一个dask数据帧和一个dask数组，它们以相同的逻辑顺序具有相同的行数。数据帧行通过字符串进行索引。我正在尝试将一个数组列添加到数据帧中。我尝试了几种方法，但都以其特定的方式失败了。
df['col'] = da.col
# TypeError: Column assignment doesn't support type Array
df['col'] = da.to_frame(columns='col')
# TypeError: '<' not supported between instances
浏览 15提问于2018-01-09得票数 8
使用geopandas可以做到：
from shapely.geometry import Point
import geopandas as gpd
points = [Point(0,0)]
gser = gpd.GeoSeries(points)
gdf = gpd.GeoDataFrame(geometry=gser.values)
如果我有一个dask_geopandas.GeoSeries，那么dask_geopandas中的等效行是什么？似乎不能直接使用dask_geopandas.GeoDataFrame构造函数，只能依赖静态方法，但看不到合适的构造函数。
编辑：
为了澄清:
浏览 15提问于2022-08-09得票数 1
回答已采纳
1回答
我有一个非常大的csv文件，我不能使用熊猫read_csv加载到我的计算机内存。
我看着dask.dataframe as dd
我需要使用dask只读取csv文件中某些列的某些行，并将其存储为熊猫数据。
例如：
User ProductA ProductB
A 1 2
B 2 3
C 3 1
如何使用dask只读取用户C和列ProductA的行?
所需产出作为数据框架：
User ProductA
C 3
浏览 2提问于2020-04-04得票数 1
使用dataframe将列拆分为多行的有效方法是什么？例如，假设我有一个csv文件，我使用dask读取该文件以生成以下dask数据文件：
id var1 var2
1 A Z,Y
2 B X
3 C W,U,V
我想把它改为：
id var1 var2
1 A Z
1 A Y
2 B X
3 C W
3 C U
3 C V
我已经研究了和的答案。
我试着应用中给出的答案，但在str.split中，dask似乎不接受展开关键字。
我还尝试了应用中建议的矢量化方法，但是后来发现np.repeat不是在带有整数数组()的dask
浏览 0提问于2019-01-19得票数 5
回答已采纳
一个巨大的数据集与100米记录和60K列加载到一个达克数据。需要对整个列执行min() & max()。由于内存问题，不能使用Pandas。
#Sample Dask Dataframe
import dask.dataframe as dd
df = pd.DataFrame({'col1': [1, 2, 3, 4, 5],
'col2': [2., 3., 4., 5., 6.],
'col3': [4, 6, 8, 3, 2],
浏览 0提问于2020-06-22得票数 0
回答已采纳
我在bigquery中有一个巨大的数据集，有5000万行和57列。我想做很多过滤/转换/清理，而不是使用sql。我尝试使用dask/panda/python将数据加载到本地mac的dask数据帧中，进行转换，然后将数据推送回bigquery，以便其他总线可以使用它。将数据推送回bigquery需要超过3个小时。有没有其他方式，或者谷歌云服务，我可以利用？
浏览 2提问于2019-03-30得票数 0
已经有了一个很好的问题，但最好的答案是现在已经5年了，所以我认为2018年应该有更好的选择。
我目前正在寻找一个比内存数据集更大的特性工程管道(使用适当的dtype)。
初始文件是一个不适合内存的csv。以下是我的需要：
创建特性(主要使用多列的groupby操作)。
将新特性合并到以前的数据(磁盘上，因为它不适合内存)
对某些ML应用程序使用子集(或全部)列/索引
重复1/2/3 (这是一个类似于day1的迭代过程:创建4个特性，day2: create 4个.)
试着用胸罩和丹克：
首先，我把大csv文件分割成多个小的“地板”文件。这样，dask对于计算新特性是非常
浏览 0提问于2018-03-29得票数 2
我是新来的达斯克，列被删除的方式让我感到困惑。我已经把一个csv文件读到了Dask数据文件中。那么假设我有这个：
print(len(columns_to_drop)) # There are 66
print(len(list(df.columns))) # The Dask columns before the drop
df.drop(columns_to_drop, axis=1).compute(). # Drop the columns
pd_df = df.compute() # Create a Pandas dataframe
print(pd_df.shape[1
浏览 1提问于2021-12-14得票数 2
回答已采纳
1回答
我是Pandas和Dask的新手，dataframes包着熊猫的数据文件，并共享大多数相同的函数调用。
我使用Dask来排序(Set_index)一个庞大的csv文件~1,000,000行~100列。排序之后，我使用itertuples()获取每个dataframe行，并将其与数据库中具有大约1,000,000行~100列的行进行比较。
但是它运行得很慢(大约需要8个小时)，有更快的方法吗？
我之所以使用dask，是因为它可以对非常大的csv文件进行排序，并且具有灵活的csv解析引擎。它还允许我在dataset上运行更高级的操作，并在将来解析更多的数据格式
我可以预先预测csv，但我想看看Da
浏览 3提问于2020-01-31得票数 0
回答已采纳
1回答
所以我对dask DataFrame.append有个问题。我从主数据中生成了许多派生特征，并将它们附加到主数据框架中。在此之后，任何一组列的dask图都会被放大。下面是一个小示例：
%pylab inline
import numpy as np
import pandas as pd
import dask.dataframe as dd
from dask.dot import dot_graph
df=pd.DataFrame({'x%s'%i:np.random.rand(20) for i in range(5)})
ddf = dd.from_pandas(df
浏览 3提问于2017-02-02得票数 3
回答已采纳
将熊猫系列添加到dask dataframe中的惯用方法是什么？
熊猫在处理数据方面要灵活得多，所以我经常将部分dask数据存储在内存中，操作列并创建新的列。然后，我想将这些新列添加到原始的dask数据格式中。如何才能做到这一点？
浏览 0提问于2017-06-29得票数 4
1回答
我有一个Dask函数，可以将列添加到现有的Dask dataframe中，它可以很好地工作： df = pd.DataFrame({
'height': [6.21, 5.12, 5.85, 5.78, 5.98],
'weight': [150, 126, 133, 164, 203]
})
df_dask = dd.from_pandas(df, npartitions=2)
s = """
obj.weight + 100
"""
df_dask['new_weight&
浏览 50提问于2021-10-21得票数 1
回答已采纳
我想使用Dask在多个时间步骤中读取一个大的原子坐标文件。该格式称为XYZ文件，它看起来如下：
`3 timestep 1 C 9.5464696279 5.2523477968 4.4976072664 C 10.6455075132 6.0351186102 4.0196547961 C 10.2970471574 7.3880736108 3.6390228968 3 timestep 2 C 9.546469627
浏览 0提问于2018-02-16得票数 2
回答已采纳
我正在处理一个巨大的csv文件(>300万行，76列)，并决定在转换成熊猫数据之前使用dask读取数据。
然而，我在上一篇专栏中遇到了一个看上去像是在流血的列的问题。请参阅下面的代码和错误。
import dask.dataframe as dd
import pandas as pd
dataframe = dd.read_csv("SAS url",
delimiter = ",",
encoding = "UTF-8", blocksiz
浏览 7提问于2022-05-31得票数 0
我有大约70 MD的MD模拟输出。固定行数解释和固定行数数据的模式在文件中有规律地重复。如何逐块读取Dask Dataframe中的文件，其中的解释行被忽略？
我成功地在pandas.read_csv的skiprows参数中编写了一个lambda函数，以忽略解释行，只读取数据行。我将pandas输入的代码转换为dask one，但它不起作用。在这里您可以看到用dd.read_csv替换pandas.read_csv所编写的dask代码：
# First extracting number of atoms and hence, number of data lines:
with open(f
浏览 0提问于2019-10-04得票数 0
2回答
谁能告诉我应该如何使用dask在数据框中选择一列“loc”？
注意，当我使用标头等于"None“的dd.read_csv加载数据帧时，列名的开头是从0到131094。我将要选择列名为131094的最后一列，但得到错误消息。
代码：
> import dask.dataframe as dd
> df = dd.read_csv('filename.csv', header=None)
> y = df.loc['131094']
错误：
File "/usr/local/dask-2018-08-22/lib/python2.7
浏览 1提问于2018-08-26得票数 4
当值为np.nan时，我需要在数据中计算每个列中的最大数目。不幸的是，在SimpleImputer中，根据文档，这种策略是而不是支持的：
因此，我尝试用fillna手动完成这一操作。这是我的尝试：
df = pd.DataFrame({
'height': [6.21, 5.12, 5.85, 5.78, 5.98, np.nan],
'weight': [np.nan, 150, 126, 133, 164, 203]
})
df_dask = dd.from_pandas(df, npartitions=2)
meta = [(&#
浏览 8提问于2022-08-21得票数 1
回答已采纳
1回答
达斯克分拣
、、、
我想在dask中找到pandas.dataframe.sort_value函数的替代方案。
我是通过set_index来的，但是它会在一个列上排序。
如何对Dask数据帧的多列进行排序？
浏览 1提问于2018-06-12得票数 9
回答已采纳
1回答
我正在使用Dask进行并行计算，并希望使用langdetect检测列中句子的语言。但是，在获取列中行的语言方面，我仍然无法获得任何速度。 下面是我的代码： import dask.dataframe as dd
data = dd.read_csv('name.csv')# has a column called short_description
def some_fn(e):
return e['short_description'].apply(langdetect.detect)
data['Language'] = data
浏览 13提问于2020-04-02得票数 1
更新：
熊猫df是这样创建的：
df = pd.read_sql(query, engine)
encoded = pd.get_dummies(df, columns=['account'])
从这个df创建一个dask如下所示：
df = dd.from_pandas(encoded, 50)
使用dask执行操作不会导致任何明显的进展(使用dask诊断检查)：
result = df.groupby('journal_entry').max().reset_index().compute()
原版：
我有一只大熊猫df，有270万行和4000列。除四列外，
浏览 1提问于2018-04-26得票数 12
回答已采纳
1回答
将一列随机数添加到dask数据帧的正确方法是什么？显然，我可以使用map_partitions将列添加到每个分区，但我不确定当dask并行化该计算时，如何处理随机状态。(即，它是否会在所有工作进程中使用相同的随机状态，从而在每个工作进程中生成相同的随机数？)
在dask.array.random ()中似乎有相关的函数，但我找不到一个示例来说明如何将这些函数与dask数据帧一起使用。
浏览 2提问于2021-02-09得票数 1
1回答
如何安装dask_cudf？
、、、、
我在终端中使用以下代码行来安装rapids，然后安装dask cudf： conda create -n rapids-core-0.14 -c rapidsai -c nvidia -c conda-forge \
-c defaults rapids=0.14 python=3.7 cudatoolkit=10.1
conda activate rapids-core-0.14
conda install -c rapidsai dask-cudf 但是当我要将dask_cudf导入python笔记本时： import dask_cudf 我得到以下错误： ----------
浏览 100提问于2021-01-20得票数 0
回答已采纳
我想尝试使用uproot将一些具有平面根NTupels的根文件读取到桌面框架中。214个文件，每个500kb，大约8000行，每个文件16列/变量。它们很容易放入内存中的熊猫数据框中，但我正在尝试学习dask (和uproot，以前只使用过root_pandas )，因为我预计未来会有更大的数据集。
因此，我认为uproot.daskframes(list_of_paths, flatten=True)应该是将文件读入桌面框架的工具。创建框架很好，但在以下Too many open files错误中计算它：。当我将文件限制为例如100，它的计算工作，但很慢(30秒)，对少数文件，它是没有问题的
浏览 31提问于2020-02-12得票数 1
2回答
在上一列的基础上添加新列
、、、、
我正在使用Dask库分析我的数据。 我有这组数据，我想添加一个新的列，它是Phone new。标志： ID Phone No
001 NaN
002 O123421
003 Nan 我的愿望输出是这样的，如果用户的NaN on phone No标志为'0‘，否则为'1'： ID Phone No Phone No Flag
001 NaN 0
002 O123421 1
003 Nan 0 有人能在这方面帮我吗？
浏览 6提问于2021-02-09得票数 2
回答已采纳
使用pandas，我可以在特定位置插入一个新列，如下所示： df_all.insert(loc=10, column="label", value=label_column, allow_duplicates=True) 如何使用dask将新列添加到特定位置？(至dask数据帧)
浏览 13提问于2019-12-24得票数 1
1回答
我有一个dask Series X，里面填满了包含许多文本的字符串，我想将其拆分为多个列。这就是我所做的：
cols = 2867847
W = X.str.split(n=cols, expand=True) #X has 3320 lines and npartitions=1000
我不能简单地增加分区的数量来说明列大小，因为dask是按行对DataFrame进行分区的。是否有可能改为在列上进行分区？
浏览 5提问于2019-11-09得票数 0
我有一个一亿行数据的Dask数据。
我试图在不将整个数据文件加载到RAM的情况下迭代这个数据文件。
在实验中，尝试访问等于1的索引行。
%time dask_df.loc[1].compute()
花费的时间高达8.88秒(华尔街时间)。
为什么要花这么长时间？
我能怎么做才能让它更快？
提前谢谢。
每一个请求，这是代码。它只是读取1亿行数据并尝试访问一行。
`dask_df = dd.read_parquet("/content/drive/MyDrive/AffinityScore_STAGING/staging_affinity_block1.gzip", chunksi
浏览 7提问于2022-07-01得票数 0
回答已采纳
我有拼花文件，也就是800 K行x8.7K列。我把它装进了一个dask数据仓库：
import dask.dataframe as dd
dask_train_df = dd.read_parquet('train.parquet')
dask_train_df.info()
这产生了：
<class 'dask.dataframe.core.DataFrame'>
Columns: 8712 entries, 0 to 8711
dtypes: int8(8712)
当我尝试执行像dask_train_df.head()或dask_train_df
浏览 0提问于2018-12-24得票数 6
回答已采纳
1回答
Dask:真正懒惰地排序
、、、、
如果我有一个未知分区的数据集，并希望根据列对其进行排序并将其输出到Parquet，在我看来，Dask至少做了两次部分工作：
import dask
import dask.dataframe as dd
def my_identity(x):
"""Does nothing, but shows up on the Dask dashboard"""
return x
df = dask.datasets.timeseries()
df = df.map_partitions(my_identity)
df = df.set_
浏览 4提问于2021-08-06得票数 0
假设有X分区的dask数据帧。假设熊猫的数据有相同的X行数。熊猫数据中的每一行都包含与dataframe的每个分区相关的数据。
我想将每个熊猫df行分配给一个新的 dataframe分区列
import pandas as pd
import dask
imoprt numpy as np
# default dask dataframe with 30 partitions
ddf = dask.datasets.timeseries()
df0 = pd.DataFrame({'A': np.random.randint(0,100, size=30),
浏览 3提问于2019-10-16得票数 0
1回答
假设我有以下代码，以生成一个虚拟的dask dataframe：
import pandas as pd
import dask.dataframe as dd
pandas_dataframe = pd.DataFrame({'A' : [0,500,1000], 'B': [-100, 200, 300] , 'C' : [0,0,1.0] } )
test_data_frame = dd.from_pandas( pandas_dataframe, npartitions= 1 )
理想情况下，我想知道向数据框架中添加另一列的推
浏览 1提问于2019-04-02得票数 1
回答已采纳
我想要添加新行，并根据现有列添加一个新列。例如，假设我跟踪了Dataframe：
A B
1 a
2 b
3 c
4 b
以及以唯一列B值作为键的字典。每个键与一个值列表相关联。这些值用于新的行和列：{a: [x, y, z], b: [x, w, r], c: [x, q]}
转换将产生以下Dataframe：
A C
1 x
1 y
1 z
2
浏览 1提问于2019-02-11得票数 2
回答已采纳
我是dask的新手，正在尝试弄清楚如何重塑从dask数据帧的单个列中获得的dask数组，但遇到了错误。想知道有没有人知道这个修复方法(不需要强行计算)？谢谢!
示例：
import pandas as pd
import numpy as np
from dask import dataframe as dd, array as da
df = pd.DataFrame({'x': [1, 2, 3], 'y': [4, 5, 6]})
ddf = dd.from_pandas(df, npartitions=2)
# This does not work -
浏览 22提问于2018-09-07得票数 2
回答已采纳
我正在尝试向dask数据帧添加多个列，以存储apply函数的结果。这将是我关于堆栈溢出的第一个问题，我希望这个问题不会太长！
目前，我有一段有效的代码：
from dask import dataframe as dd
from multiprocessing import cpu_count
nCores = cpu_count()
import dask.multiprocessing
dask.config.set(scheduler='processes')
def dfFunc(varA, varB):
# Some calculations...
浏览 5提问于2018-10-11得票数 1
我有11年的数据和记录(行)每秒钟，超过100列。它用一系列的日期时间(用Pandas to_datetime()创建)进行索引，我们需要能够在列之间进行一些相关分析，一次只能加载两个列。我们可能在较低的时间(例如48小时、1小时、月等)重新采样。在长达11年的时间里，把这些关联想象成11年。
数据目前在11个单独的拼花文件中(每年一个)，从11个.txt文件中单独生成Pandas。熊猫没有对任何这些文件进行分区。在内存中，这些拼花文件中的每一个都加载了大约20 In的内存。预期的目标机器只有16 GB，即使在11年中只加载1列也需要10 GB，因此两列也不适合。
是否有一个比使用Pandas
浏览 29提问于2022-06-20得票数 1
TL;DR：我如何从分布式读取中收集元数据(解析期间的错误)到dataframe集合中。
目前，我有一种专用的文件格式，用于输入dask.DataFrame。我有一个函数，它接受一个文件路径并返回一个pandas.DataFrame，dask.DataFrame成功地在内部使用该函数将多个文件加载到同一个dask.DataFrame。
直到最近，我还在使用自己的代码将几个pandas.DataFrames合并为一个，现在我正在使用dask。在解析文件格式时，我可能会遇到错误和某些条件，我希望将其作为元数据(日志、数据来源等)记录并与dask.DataFrame对象关联。
需要注意的是，在合理的
浏览 7提问于2016-01-26得票数 2
回答已采纳
长话短说，我一直在与内存问题(以及执行时间) dask / pandas来编写大型数据帧to_sql或to_csv作斗争，如果有人能给我指出正确的方向(下面有更多详细信息)？
我将两个较大的.csv文件附加到一起，使用dask形成一个更大的.csv文件(27M行x 52列)，以便节省内存，而不是使用pandas，因为我在pandas中内存不足或接近内存。
在此基础上，我只是简单地尝试写入.csv，但是在尝试使用.compute()将dask数据帧转换为pandas数据帧并写入文件时，我再次耗尽了内存。我想把这个问题集中在如何在不耗尽内存的情况下简单地将这个东西放到.csv中。然后，我计划使用S
浏览 25提问于2020-06-12得票数 0
1回答
我想使用Dask从存储在不同目录中的许多拼板文件中加载特定的列，并且每个分区需要加载不同的列。我想使用Dask，这样我就可以在一台机器上使用多个核心。我了解了如何将文件或通配符的列表传递给dd.read_parquet，以指示多个文件(例如*.parquet)，但我没有看到传递要为每个文件读取的不同列集的方法。我想知道是否可以使用dask.delayed完成这一任务。
我的具体情况是：
我将大型单细胞基因表达数据集(大约10,000列/单元格)存储为不同目录中的拼花文件。每个目录都有两个分割文件: 1)大型基因表达数据(单元格为列)；2)单元元数据(单元格为行，单元元数据为列)。我使用较小的元
浏览 0提问于2019-05-24得票数 1
回答已采纳
3回答
如何对dask数据帧执行与以下代码相同的操作。
df['new_column'] = 0
for i in range(len(df)):
if (condition):
df[i,'new_column'] = '1'
else:
df[i,'new_column'] = '0'
我想在dask数据框中添加一个新列，并在新列中插入0/1。
浏览 0提问于2020-03-04得票数 2
4回答
我有以下问题。我有一个巨大的csv文件，并希望加载它与多处理。熊猫需要19秒的例子文件，有500000行和130个列的不同类型。我试过达斯克是因为我想多处理阅读。但这需要更长的时间，我想知道为什么。我有32个核心。并尝试了这个：
import dask.dataframe as dd
import dask.multiprocessing
dask.config.set(scheduler='processes')
df = dd.read_csv(filepath,
sep='\t',
blocksize=
浏览 1提问于2019-02-22得票数 4
回答已采纳
1回答
我正在尝试删除dask dataframe上的空值，文档中的示例对列很有效：
import dask.dataframe as dd
df = dd.read_csv("test.csv",assume_missing=True)
df.dropna(how='all', subset=None, thresh=None).compute()
但是，如果我试图指定轴0来按行过滤，我会得到这样的错误：
import dask.dataframe as dd
df = dd.read_csv("test.csv",assume_missing=Tru
浏览 8提问于2019-07-15得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
