如何在不重新加载大型CSV的情况下执行多个Dask计算
在不重新加载大型CSV的情况下执行多个Dask计算，可以通过以下步骤实现：
- 导入必要的库和模块：
- 导入必要的库和模块：
- 创建Dask客户端：
- 创建Dask客户端：
- 使用Dask读取CSV文件：
- 使用Dask读取CSV文件：
- 执行第一个Dask计算：
- 执行第一个Dask计算：
- 执行第二个Dask计算：
- 执行第二个Dask计算：
- 关闭Dask客户端：
- 关闭Dask客户端：
在上述步骤中，我们首先导入了必要的库和模块，包括Dask的DataFrame模块和分布式客户端模块。然后，我们创建了一个Dask客户端，这将帮助我们管理和执行计算。接下来，我们使用Dask的read_csv函数读取了大型CSV文件，并将其存储在一个Dask DataFrame中。然后，我们可以执行多个Dask计算，例如计算某一列的平均值和求和。最后，我们关闭了Dask客户端，以释放资源。
Dask是一个开源的并行计算框架，它能够处理大型数据集，并提供了类似于Pandas的API。Dask的优势在于它能够将大型数据集划分为多个分块，以便并行处理，从而提高计算效率。它适用于需要处理大量数据的场景，例如数据分析、机器学习和科学计算等领域。
推荐的腾讯云相关产品是TencentDB for TDSQL，它是一种高性能、高可用的云数据库产品，支持MySQL和PostgreSQL引擎。TencentDB for TDSQL提供了弹性扩展、自动备份、容灾恢复等功能，适用于存储和管理大型数据集。您可以通过以下链接了解更多信息：TencentDB for TDSQL产品介绍
请注意，以上答案仅供参考，具体的解决方案可能因实际情况而异。
相关·内容
我正在尝试理解df.persist()在dask中是如何工作的。我会再次构建相同的表达式，是重新计算它还是从缓存中加载它？
例如，当我这样做时会发生什么：
ddf = dask.dataframe.read_csv('my.csv').shift(1).persist()
print(ddf.sum().compute())
del ddf
ddf = dask.dataframe.read_csv('my.csv').shift(1).persist()
print(ddf.mean().compute())
dask读取.csv并移位一次是两次，还是第二次来
浏览 22提问于2019-08-06得票数 4
回答已采纳
1回答
我正在尝试将一个.csv.gz文件加载到Dask中。以这种方式读取它将成功地加载它，但只会加载到一个分区中。
dd.read_csv(fp，compression="gzip")
我现在的工作是使用gzip解压缩文件，将其加载到Dask中，然后在我完成之后删除它。有更好的办法吗？
浏览 3提问于2021-02-28得票数 0
我必须处理许多大的(大约10 to ) CSV文件。我目前正在使用Dask将数据预处理成一些聚合的统计数据，然后使用常规的Pandas进一步分析。 我遇到的问题是Dask会在每次调用compute()时重新加载数据。一些用来说明这个问题的虚拟代码： import dask.dataframe as dd
ddf = dd.read_csv('very_large_file.csv') # ca. 10GB
# Every line seems to trigger painfully slow re-reading of the CSV file from disk!
浏览 15提问于2019-03-22得票数 1
回答已采纳
从拼图或csv文件加载数据时，具有无分区。DASK文档没有关于如何设置和计算此...的信息。 如何正确设置和计算DASK数据帧的划分？
浏览 14提问于2019-06-05得票数 2
1回答
处理大熊猫数据帧
、、、、
我有一个巨大的数据库(500 it左右)，它可以放进熊猫里。数据库包含大约39705210个观测结果。正如您可以想象的那样，python甚至在打开它时都很困难。现在，我尝试使用Dask将其导出到cdv到20个分区，如下所示：
import dask.dataframe as dd
dask_merge_bodytextknown5 = dd.from_pandas(merge_bodytextknown5, npartitions=20) # Dask DataFrame has 20 partitions
dask_merge_bodytextknown5.to_csv('df_
浏览 2提问于2022-06-29得票数 2
回答已采纳
4回答
我有以下问题。我有一个巨大的csv文件，并希望加载它与多处理。熊猫需要19秒的例子文件，有500000行和130个列的不同类型。我试过达斯克是因为我想多处理阅读。但这需要更长的时间，我想知道为什么。我有32个核心。并尝试了这个：
import dask.dataframe as dd
import dask.multiprocessing
dask.config.set(scheduler='processes')
df = dd.read_csv(filepath,
sep='\t',
blocksize=
浏览 1提问于2019-02-22得票数 4
回答已采纳
1回答
我是新使用达斯克，但经历了痛苦缓慢的表现，当尝试重写本机滑雪板功能的达斯克。我已经尽可能地简化了用例，希望得到一些帮助。
使用标准滑雪/矮胖/熊猫等，我有以下几点：
df = pd.read_csv(location, index_col=False) # A ~75MB CSV
# Build feature list and dependent variables, code irrelevant
from sklearn import linear_model
model = linear_model.Lasso(alpha=0.1, normalize=False, max_iter
浏览 1提问于2018-11-15得票数 3
回答已采纳
1回答
为了机器学习，我试图将一个~67 gb的数据dask ( 2300行6,000,000功能)加载到dask中。我在AWS上使用96核心机器，我希望在实际的机器学习位上使用它。但是，Dask在一个线程中加载CSV。它已经花了整整24小时，而且还没有上膛。
#I tried to display a progress bar, but it is not implemented on dask's load_csv
from dask.diagnostics import ProgressBar
pbar = ProgressBar()
pbar.register()
df = dd.r
浏览 0提问于2019-01-29得票数 0
1回答
我正在尝试使用Python中的Dask合并许多大型数据集，以避免加载问题。我想将合并后的文件另存为.csv。事实证明，这个任务比想象的要难：
我用两个数据集组合了一个玩具示例，然后我使用的代码如下所示：
import dask.dataframe as dd
import glob
import os
os.chdir('C:/Users/Me/Working directory')
file_list = glob.glob("*.txt")
dfs = []
for file in file_list:
ddf = dd.read_tab
浏览 1提问于2018-11-15得票数 0
我有一个非常大的CSV文件，它已经作为dask数据帧导入到Python中。我制作了一个小数据框来解释我的问题。 import dask.dataframe as dd
df = dd.read_csv("name and path of the file.csv")
df.head() 输出： +----+----+----+----+
|col1|col2|col3|col4|
+----+----+----+----+
| A |2001| 2 | 5 |
+----+----+----+----+
| A |2001| 2 | 4 |
+---
浏览 7提问于2019-01-22得票数 0
所以我有一个包含160M记录和240列的拼图文件。因此，我使用dask在python中使用EMR CLuster m5.12xlarge加载它。
import dask.dataframe as dd
df = dd.read_parquet(file)
现在我需要其中一列的值计数和归一化值计数：
count = df.a.value_counts()
percent = df.a.value_counts(normalize = True)
a_count = dd.concat([count,percent], axis=1, keys=['counts', '%
浏览 1提问于2021-09-23得票数 0
我正在尝试从一大串CSV文件(目前的12个文件，8-10百万行和50列)创建一个。他们中的几个可能会融入我的系统记忆，但他们都肯定不会，因此使用达克而不是普通的熊猫。
因为读取每个csv文件需要一些额外的工作(从文件路径中添加带有数据的列)，所以我尝试从一个延迟对象列表(类似的dask.dataframe )创建。
这是我的密码：
import dask.dataframe as dd
from dask.delayed import delayed
import os
import pandas as pd
def read_file_to_dataframe(file_path):
浏览 4提问于2016-12-21得票数 8
回答已采纳
1回答
嗯，我有一个包含数据和服务器RAM瓶颈的大型CSV文件。除此之外，还有一个dask分布式集群，看起来像是这种情况的解决方案，dask-scheduler运行在服务器上。这是我尝试过的：
import dask.dataframe as dd
import pandas as pd
from dask.bag import from_sequence
cheques = dd.read_csv('cheque_data.csv') # not working because of distributed workers can't access file directl
浏览 3提问于2021-09-22得票数 0
假设您想要指定Dask.array中的工作进程数，如所示，您可以设置：
dask.set_options(pool=ThreadPool(num_workers))
这对于我已经运行过的一些模拟非常有效，例如，montecarlo，但是对于一些线性代数操作，Dask似乎覆盖了用户指定的配置，例如：
import dask.array as da
import dask
from multiprocessing.pool import ThreadPool
dask.set_options(pool=ThreadPool(num_workers))
mat1 = da.random.rand
浏览 4提问于2017-02-24得票数 2
1回答
我试图使用dask，以便将一个由制表符分隔的大型文件分割成一个10万个核心的AWS批处理数组中的较小块。
在AWS批处理中，每个核心都有一个惟一的环境变量AWS_BATCH_JOB_ARRAY_INDEX，范围从0到99,999 (复制到下面代码段中的idx变量)。因此，我试图使用以下代码：
import os
import dask.dataframe as dd
idx = int(os.environ["AWS_BATCH_JOB_ARRAY_INDEX"])
df = dd.read_csv(f"s3://main-bucket/workdir/huge_f
浏览 2提问于2021-01-25得票数 1
回答已采纳
1回答
我对达斯克并不熟悉，我认为这将是一个简单的任务。我希望从多个csv文件中加载数据，并将其合并到一个Dask数据框架中。在本例中，有5个csv文件，每个文件包含10,000行数据。显然，我想给合并的dataframe一个唯一的索引。
所以我做了这个：
import dask.dataframe as dd
# Define Dask computations
dataframes = [
dd.read_csv(os.path.join(data_dir, filename)).set_index('Unnamed: 0')
for filename in os
浏览 1提问于2020-04-23得票数 3
回答已采纳
1回答
设置是我有8个大的csv文件(每个32 8GB )，这些文件都是用Zip压缩到8GB的。我无法处理未压缩的数据，因为我希望节省磁盘空间，并且没有32*8GB的空间。我不能用例如pandas加载一个文件，因为它不适合内存。
我认为达斯克对于这项任务来说是一个合理的选择，但是如果你认为它适合这个目的的话，你可以自由地建议一个不同的工具。
是否可以通过并行读取压缩文件的多个块，处理每个块并将结果保存到磁盘，从而使用Dask处理一个8GB压缩文件？
第一个问题是。建议使用dask.delayed，但我也可以将格式更改为.xz或其他东西。
其次，可能与压缩格式的选择有关的是，是否可以并行访问压缩文件的部
浏览 0提问于2018-06-07得票数 3
回答已采纳
我有一个csv文件，两个文件之间有不同的头(实际上是行)
COMMENT1
COMMENT2
1,2,3,4
1,2,3,4
0 /END OF A DATA
1,2,3,4,5,6,7
1,2,3,4,5,6,7
0 /END OF B DATA
在read_csv()中有没有钩子可以用来获取这些部分之间的数据？请注意，这是一个很大的文件，我希望在不将整个文件加载到内存的情况下对其进行一些统计
df=dask.dataframe.read_csv('datafile.csv'，skiprows=3，header=None，quotechar="'")
浏览 0提问于2018-04-21得票数 0
有没有办法指示dask在执行昂贵的计算时保留中间值？
在下面的示例中，我希望dask保留在计算d['d']时创建的中间列d['c']。
## very large file
d = ddf.read_csv("F:/tmp.csv")
d['c'] = d['a'] * d['b']
d['d'] = d['c'] + 1
## first call
%timeit d['d'].value_counts().compute()
## sec
浏览 18提问于2017-06-29得票数 2
回答已采纳
我正在尝试读取一个大型CSV文件，然后将数据加载为JSON文件。下面的代码运行良好，但数据在JSON文件的每一行中都以JSON对象的形式写入。
import dask.dataframe as dd
import pandas as pd
cols=['Name','State']
df=dd.read_csv('F:\csvs\stack.csv', low_memory=False, usecols=cols,
dtype={'Name':str,'State':str}
)
df.to_json(r'
浏览 3提问于2022-08-29得票数 0
我正在尝试索引并保存无法加载到内存中的大型csvs。我的代码加载csv，执行计算，并通过新值索引工作，没有问题。一个简化的版本是： cluster = LocalCluster(n_workers=6, threads_per_worker=1)
client = Client(cluster, memory_limit='1GB')
df = dd.read_csv(filepath, header=None, sep=' ', blocksize=25e7)
df['new_col'] = df.map_partitions(lambda
浏览 39提问于2019-01-31得票数 3
我手动设置了一个dask-scheduler和一个dask-worker。他们看到了关于日志的彼此。
我有一个很大的文件和调度器在同一台机器上(我的jupyter笔记本也是在这里运行的)。
但是当我用dd.read_csv加载我的文件时，我遇到了常见的No such a file or directory错误。
我理解数据局部性问题，但我如何才能透明地将文件发送到集群？
我找不到(或理解?)在或中
浏览 0提问于2019-01-15得票数 1
1回答
我试着像这样做并行工作：
from dask.distributed import Client
import joblib
from sklearn.feature_extraction.text import TfidfVectorizer
client = Client(processes=False) # create local cluster
with joblib.parallel_backend('dask'):
tfidf.fit(corpus)
但CPU使用率是100% - 400%，与不使用Dask时相同。我是不是遗漏了
浏览 18提问于2021-03-06得票数 0
2回答
我有一个包含n h5文件的目录，每个目录都有要过滤的m图像堆栈。对于每幅图像，我将使用dask并行阵列运行滤波(高斯和拉普拉斯)，以加快处理速度()。我将通过apply_parallel()函数在scikit-映像中使用dask数组。
我将使用20 cpus在小型服务器上运行处理。
--我想得到一个建议，建议使用哪种并行策略更有意义：
1) h5文件的顺序处理和用于dask处理的所有cpus
2)用h5内核并行处理x文件，并使用剩余的20-x进行dask处理。
3)对h5文件、h5文件中的图像以及dask的剩余资源进行分配和并行处理。
谢谢你的帮助！
浏览 6提问于2016-02-10得票数 2
回答已采纳
1回答
我是Dask库的新手，我想知道如果我们在两个系统上使用dask实现并行计算，那么我们应用计算的数据框架是否存储在这两个系统上？并行计算究竟是如何进行的，文档中并不清楚。
浏览 0提问于2018-07-03得票数 0
如何让dask中的所有其他工作节点都可以访问一个8 GB的大文件？我已经在chunksize和client.scatter上尝试过pd.read_csv()，但这需要很长时间。我正在macOS上运行它。
这是我的代码：
import time
import pandas as pd
import dask as dask
import dask.distributed as distributed
import dask.dataframe as dd
import dask.delayed as delayed
from dask.distributed import Client, pr
浏览 4提问于2018-07-24得票数 1
我试图使用python熊猫从GCP桶中的所有子文件夹递归加载所有csv文件。
目前我正在使用dask来加载数据，但是它非常慢。
import dask
path = "gs://mybucket/parent_path + "*/*.csv"
getAllDaysData = dask.dataframe.read_csv(path).compute()
有人能用更好的方法帮我吗。
浏览 4提问于2022-09-27得票数 2
2回答
谁能告诉我应该如何使用dask在数据框中选择一列“loc”？
注意，当我使用标头等于"None“的dd.read_csv加载数据帧时，列名的开头是从0到131094。我将要选择列名为131094的最后一列，但得到错误消息。
代码：
> import dask.dataframe as dd
> df = dd.read_csv('filename.csv', header=None)
> y = df.loc['131094']
错误：
File "/usr/local/dask-2018-08-22/lib/python2.7
浏览 1提问于2018-08-26得票数 4
1回答
我正在尝试处理一个包含510,000行和636列的数据集。我使用dask dataframe方法将其加载到一个dataframe中，但是不能显示条目。当我试图得到形状时，它会导致延迟。有什么方法可以让我不使用大数据技术来分析整个数据集呢？
from dask import dataframe
import requests
import zipfile
import os
import pandas as pd
if os.path.exists('pisa2012.zip') == False:
r = requests.get('https://s3.am
浏览 3提问于2022-07-25得票数 0
我正在尝试使用dask来处理一些ML项目中的大型数据集。将单独的CSV文件加载到dask数据帧中工作正常。当我尝试使用多个CSV文件时，任何类似“计算”的操作都会导致程序无限期挂起。 这运行得很好 import dask.dataframe as dd
import pandas as pd
import dask
from dask.distributed import Client
client = Client(processes=False)
df = dd.read_csv('sftp://somestuff//4120109.csv')
shape = dask
浏览 11提问于2019-12-12得票数 0
我一直在努力寻找从S3中读取大型csv文件( 10+，百万条记录)并对其中一列(总行数和平均值)执行几个简单操作的最快方法。我已经运行了几个测试，到目前为止最快的是创建一个dask数据帧，但我想知道是否有其他的替代方案可以让事情变得更快。
有什么建议吗？谢谢!
测试1. Pandas读取csv: 92.36531567573547秒
start_time = time.time()
s3 = boto3.client('s3')
path =my_csvS3
use_column=['tip_amount']
df= pd.read_csv(path,useco
浏览 6提问于2021-02-14得票数 0
1回答
如何在dask分布式集群中进行dask_ml预处理？我的数据集大约是200‘s，每次我对准备用于OneHotEncoding的数据集进行分类时，似乎dask忽略了客户端，并尝试将数据集加载到本地计算机的内存中。也许我错过了一些东西：
from dask_ml.preprocessing import Categorizer, DummyEncoder
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
import pandas as pd
impo
浏览 10提问于2021-07-09得票数 0
1回答
如何读取数据并删除坏行
、、、、
我试图使用dask聚合一个包含多行坏数据的大型(66 of )数据库。
由于dask没有删除坏行的功能，所以我第一次将所有数据作为熊猫数据读取，并删除坏行。然后，我将此转换为dask数据帧。我的代码如下：
导入dask.dataframe作为dd从dask.distributed导入客户端导入熊猫
#Groups the average Thresholds by NEATGeneration and finds the mean, standard deviation, minimum and maximum of the data
def group(df):
res = df.g
浏览 2提问于2020-02-21得票数 1
1回答
我正在尝试使用Dask读取一个包含非常大的csv文件的文件夹(这些文件都可以放在内存中，它们非常大，但我有很多RAM) --我目前的解决方案如下：
val = 'abc'
df = dd.read_csv('/home/ubuntu/files-*', parse_dates=['date'])
# 1 - df_pd = df.compute(get=dask.multiprocessing.get)
ddf_selected = df.map_partitions(lambda x: x[x['val_col'] == va
浏览 3提问于2017-10-06得票数 2
2回答
在大型CSV文件中查找#行
、、、、
其目的是查找大型CSV文件中的总行数。我现在使用Python Dask来查找它，但由于文件大小约为45G，因此需要相当长的时间。带有wc -l的Unix cat似乎表现得更好。 所以问题是- dask / pandas read_csv有没有什么调整，让它能更快地找到总行数？
浏览 16提问于2020-09-05得票数 1
1回答
我已经在一大堆文件上进行了大量的文本处理，包括大的CSV和大量的小XML文件。有时我会做聚合计数，但很多时候我会做NLP类型的工作，以便更深入地查看这些文件中除了已标记或已结构化的内容之外还有哪些内容。
我经常使用多处理库在多个CPU上执行这些计算，但我已经爱上了Dask背后的想法，它在网上和同事中都得到了强烈的推荐。
我在这里问了一个关于Dask性能的类似问题：
MRocklin ()告诉我，加载大量小文件可能会破坏性能。
然而，当我在单个大型文件(200mb)上运行它时，我仍然不能让它运行得很好。下面是一个例子：
我有一个大约900,000行的tweet CSV文件，我想快速加载它并解析
浏览 11提问于2017-01-15得票数 5
回答已采纳
我有11年的数据和记录(行)每秒钟，超过100列。它用一系列的日期时间(用Pandas to_datetime()创建)进行索引，我们需要能够在列之间进行一些相关分析，一次只能加载两个列。我们可能在较低的时间(例如48小时、1小时、月等)重新采样。在长达11年的时间里，把这些关联想象成11年。
数据目前在11个单独的拼花文件中(每年一个)，从11个.txt文件中单独生成Pandas。熊猫没有对任何这些文件进行分区。在内存中，这些拼花文件中的每一个都加载了大约20 In的内存。预期的目标机器只有16 GB，即使在11年中只加载1列也需要10 GB，因此两列也不适合。
是否有一个比使用Pandas
浏览 29提问于2022-06-20得票数 1
我用pandas编写脚本，但为了提高效率，我需要切换到dask，但我不确定如何在dask中实现unstack和reindex？ 这是我的pandas脚本的样子： df_new = df.groupby(['Cars', 'Date'])['Durations'].mean().unstack(fill_value=0).reindex(columns=list_days,index=list_cars,fill_value=0).\
round().reset_index().fillna(0).round()
浏览 11提问于2020-06-18得票数 0
回答已采纳
1回答
我有大约。1.5 TB的数据存储在csv文件中。我已经用dask加载了它，并用.set_index(sorted=True)计算了索引。手术耗时9小时。现在我的数据帧已经有了一些合理的值填充的分区。
是否可以将计算的索引存储在单独的文件中，以便我下次读取这些相同的csv文件时可以可靠地恢复它？我正在使用dask 0.18.2。
到目前为止，我已经尝试将.divisions和.npartitions的值存储到pickle文件中，然后将它们传递给.set_index方法。有趣的是，这似乎只有在python虚拟环境中才能在我的PC上工作，在那里索引是计算出来的。但是，当我在同一台PC上切换到不同的p
浏览 2提问于2018-08-08得票数 0
1回答
我对Dask的本地线程调度程序感兴趣。此调度程序可以使用多个线程从多维数组中“并行”加载数据块。我对I/O界问题感兴趣，所以暂时不考虑计算密集型应用。
使用Dask的存储方法从随机数组加载和保存数据的一些速度测试似乎证实了这一事实:随着块大小的增加，性能下降(据说是因为最小块增加了并行性)。在这个实验中，我使用没有物理块的hdf5文件:1包含数组中所有数据的数据集。
我面临的问题有两个: 1)在HDD上读取数据时，Dask如何具有并行性? 2)如果python同时阻止线程在内存中保存数据，那么Dask在读取数据时如何具有并行性？
谢谢您抽时间见我。
浏览 4提问于2019-11-02得票数 2
回答已采纳
1回答
我使用dd.read_csv(s3://bucket/*)将大量csv文件(几千个)从s3加载到dask中。这些文件有一个隐含的索引列(升序的未命名列)：
有没有办法使用ddf.groupby()操作来根据索引值对csv文件进行分组？我的最终目标是计算每个单元格的平均值，而我一直在努力在网上寻找答案。我尝试使用groupby(axis=0)和groupby(level=0)，但在dask中返回错误。
我唯一的另一个想法是使用for循环加载文件，然后显式地手动添加一个新的索引列--但这似乎是一个不必要的、代价高昂的操作。
浏览 8提问于2017-07-12得票数 1
回答已采纳
1回答
结论
在read_csv中添加参数很好。
...But双引号仍然没有用。
变得有用的那一页
我通过dask读取CSV文件，不做任何事情，用Dask编写CSV文件。
但是Dask改变了csv文件的内容。
import os
import dask.dataframe as dd
user_name = os.environ['USERPROFILE'].replace('\\', '/')
dir = user_name + '/Desktop/'
types_dict = {
'Region':
浏览 0提问于2019-07-01得票数 0
我正在将代码转换为使用dask数组而不是numpy数组。
我已经安装了dask 0.19.4版。
我有一个数组，它已被等效的dask数组所取代：
# this used to be a numpy array, created like so:
# da = np.zeros((total_months,))
da = dask.array.zeros((total_months,), chunks=(-1))
当我点击下面的代码行(在数组是numpy数组时，代码行以前是工作的)，我会得到一个项赋值错误：
for k in range(total_months):
da[k] = aw
浏览 2提问于2018-10-22得票数 1
回答已采纳
我有一台dask.dataframe
df2 = dd.read_csv(path, dtype=dtypes, sep=',', error_bad_lines=False)
它被dask本身拆分成220个分区
print(df2.npartitions)
>>220
我想使用两次groupby并将两个数据帧保存到文件中
coccurrence_df = df2.groupby(['h1_h2', 'hashtag1','hashtag2','user_id']).count().reset_inde
浏览 17提问于2018-08-10得票数 0
回答已采纳
1回答
我正在尝试使用dask读取大量数据，如下所示
import dask.dataframe as dd
df = dd.read_csv('some_file.txt', sep = '|', header = None)
虽然这很好用，并且我得到了一组分区，但由于某些原因，每当我尝试设置和索引时，如下所示：
df = dd.read_csv('some_file.txt', sep = '|', header = None).set_index('col1')
我的机器内存不足，我找不到原因
浏览 3提问于2016-03-18得票数 0
1回答
建立小型Dask集群
、、、
为了更好地理解Dask，我决定设置一个小型的Dask集群:两个服务器，32GB RAM和一个Mac。它们都是本地LAN的一部分，并且都在虚拟环境下运行相同版本的Python3.5+ Dask。我在两个服务器上安装了sshfs，以便在工人之间共享数据。我在192.168.2.149和192.168.2.26启动了dask-调度程序。
我需要帮助的是对拓扑的概念理解，以充分受益于dask分布式体系结构：-我在我的Mac上运行我的实验，Mac是LAN的一部分。我有一个20 GB的csv，我需要加载到Pandas，因此我在本地运行我的py代码。在我的代码中，我设置了一个Dask客户端来使用dask_s
浏览 3提问于2020-04-13得票数 0
回答已采纳
我正在使用Dask分布式，并试图从存储在HDFS中的CSV创建一个数据格式。我认为与HDFS的连接是成功的，因为我能够打印dataframe列的名称。但是，当我试图在dataframe上使用len函数或任何其他函数时，会出现以下错误：
pyarrow.lib.ArrowIOError: HDFS file does not exist: /user/F43479/trip_data_v2.csv
我不明白为什么我有这个错误。我想听听你的意见。
这是我的代码：
# IMPORTS
import dask.dataframe as dd
from dask.distributed import C
浏览 2提问于2019-04-30得票数 0
回答已采纳
3回答
我使用Dask读取了2.5 to的csv文件，Python给了我错误。这是我写的代码：
import pandas as pd
import numpy as np
import time
from dask import dataframe as df1
s_time_dask = time.time()
dask_df = df1.read_csv('3SPACK_N150_7Ah_PressureDistributionStudy_Data_Matrix.csv')
e_time_dask = time.time()
以下是我从Python得到的错误：
dask_df
浏览 0提问于2021-06-17得票数 0
2回答
我正在尝试使用modin包来加速我的pandas数据帧计算。简而言之，安装并不像pip install modin那样简单
当仅仅运行pip install modin时，一切似乎都很顺利(除了pip升级警告)。到目前为止一切都很好。
WARNING: You are using pip version 19.3; however, version 19.3.1 is available.
You should consider upgrading via the 'python -m pip install --upgrade pip' command.
(base) C:
浏览 2提问于2019-11-14得票数 2
我试图使用Dask读取一个大的~500 in文件，其中包含对float和str列，这些列一起读取，导致一次将两个列表读入内存。这是没有错误的，但是我得到了一个DtypeWarning，因为它是一个粗糙的CSV (列长度在两对之间有很大差异)，它将nan (浮点数)和字符串混合在一起，然后用.dropna()进行过滤。
数据结构(实际上要大得多)：
Col1: [1, 2, 3, 4, nan, nan, nan] -> (ok, no warning)
Col2: ['A', 'B', 'C', 'D', nan, nan,
浏览 3提问于2021-09-29得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
