Dask distributed -客户端在启动时导入numpy

文章/答案/技术大牛

发布

1回答

python、numpy、dask

我目前正在将一个数据分析和诊断套件移动到dask。程序的结构是这样的:主进程将传入的工作包分发给一组工作进程。工作人员对这些数据进行各种诊断。一个简单的调用可能如下所示： def calculate(self, dask_client, fft_future): ======== """ im

浏览 12提问于2019-12-17得票数 1

1回答

Dask:从Python设置多处理方法

dask、dask-distributed

我在Dask.distributed的Client()接口文档中没有看到指示如何设置此属性的方法。

浏览 73提问于2018-06-22得票数 3

回答已采纳

2回答

在启动时自动向Dask调度程序添加数据集

python、dask、dask-distributed

TL；博士背景dask-scheduler --preload=scheduler-startup.pyfrom distributed.diagnostics.plugin(scheduler): sche

浏览 3提问于2017-09-28得票数 3

4回答

TypeError：__dask_distributed_pack__()接受3个位置参数，但给出了4个

python、dask、dask-dataframe

我有一些代码，其中我将pandas数据帧转换为dask数据帧，并在行上应用一些操作。代码过去工作得很好，但现在似乎由于dask导致的一些内部错误而崩溃。有人知道问题出在哪里吗？in zip(results, postcomputes)]) ~/min

浏览 26提问于2021-05-20得票数 3

1回答

达斯克'distributed.comm.tcp -信息-连接在握手结束前关闭‘

dask、dask-distributed

我将一个Dask服务部署到我的K8s集群中，其中包括一个调度程序、三个工作人员和一个连接到调度程序的客户机。当我连接到调度器(kubectl attach <my-scheduler-pod>)时，我会得到由以下内容组成的常量stdout消息： distributed.comm.tcp - INFO - Connection

浏览 7提问于2021-01-22得票数 0

1回答

使用Dask执行Qiskit时出现问题。工作进程未启动

dask、qiskit

所以我决定开始在工人身上预装Qiskit，但它不起作用。工作人员优雅地停止，没有任何错误。但是，导入另一个python包作为numpy，它们可以正常工作。你知道为什么工人不能加载Qiskit吗？- INFO - Import preload module: /scratch/4070613/tmp2c9jac8m.py但是numpy加载没有问题。(qiskit) [use

浏览 1提问于2020-06-03得票数 0

1回答

modin显示了一条警告消息“也许您已经有一个正在运行的集群？”

python、pandas、sqlalchemy、modin

import sqlalchemy as sal import modin.pandas as pd from distributed

浏览 53提问于2021-04-12得票数 0

回答已采纳

2回答

NoModuleFoundError:没有名为“分布式”的模块

python、dask、joblib

我试图在使用SLURM的集群上实现dask。但是，在行中成功地创建和缩放了客户端。with joblib.parallel_backend('dask'):/usr/bin/python3: Error while findingmodule specification for 'distributed.cli.dask_worker' (ModuleNot

浏览 10提问于2020-08-27得票数 3

回答已采纳

1回答

使用DASK在集群上启动函数

server、cluster-computing、dask-distributed、dask-delayed

我是DASK的新手，我想测试一下在集群上运行DASK。该集群有一个主服务器和几个其他节点。登录头端服务器后，只需输入简单的ssh即可进入其他节点，无需密码。我想运行一个简单的函数来迭代一个大型数组。它是将dt64转换为numpy datetime对象。import xarray as xr import numpy as np from dask import compute, delayed import dask.multiprocessing然后，我尝试使用<em

浏览 3提问于2018-09-04得票数 1

2回答

Dask分布式生成AttributeError：'HighLevelGraph‘对象没有属性'__dask_distributed_pack__’

dask、dask-distributed

我在3台AWS T2机器上有一个小型开发集群。一台机器充当客户端，一台作为调度程序，最后一台作为工作机器。在所有这些程序中，我都执行了git clone并手动安装了Numpy版本的1.21.0。但是，在基本设置之后，在Python3(3.8)解释器上执行A= client.map(square，range(10))时会产生以下错误。如何解决这个问题呢？似乎是内部错误，达克是通过在客户端机器上安装pip获得的。. >>> from dask</e

浏览 3提问于2021-03-02得票数 1

回答已采纳

2回答

无法完全安装和导入Modin包

python-3.x、pandas、modin

merzoug\anaconda3\lib\site-packages (from pandas==0.25.1->modin) (2.7.3)ImportError: Please `pip install modin[dask] to install]) (2019.3) Requirement already satisfied: numpy

浏览 2提问于2019-11-14得票数 2

1回答

Dask分布式:使用AttributeError安装后获取“setup.py”

dask、dask-distributed

我读了杜威的文件"/Users/bielefem/Dev/dask/distributed/distributed导入配置文件"/Users/bielefem/Dev/dask/distributed/distribut

浏览 0提问于2018-05-12得票数 1

回答已采纳

1回答

在Windows中更新Anaconda后的dask问题

python、anaconda、dask

我在Windows中使用Delayed和Futures正确地使用了Dask.distributed，但今天在使用以下命令更新我的anaconda环境后遇到了问题： conda update conda甚至下面这段简单的代码也不能工作： from dask.distributed import Client from time import我还试图通过在inc的开头打印一些东西并添加函数来查看执行流程，但系统没

浏览 10提问于2020-03-27得票数 1

回答已采纳

1回答

如何在虚拟机上运行时查看Dask仪表板？

linux、python-3.x、centos、virtual-machine、dask

token=blahblahblah` 从dask.distributed导入Client = Client() 打印client显示仪表板位于http://127.0.0.1:8787/status，但是我在该URL处找不到仪表板。

浏览 0提问于2019-01-01得票数 6

回答已采纳

1回答

在read_sql_table之后无法持久化dask数据帧

python、dask

我正在寻找一种更便宜的替代品，所以我对python、numpy、pandas和dask都是新手。请注意，SAS可以读取SQLite表，将其写入磁盘，并在90秒内创建索引，而无需锁定笔记本电脑。)conn.execute(testTable.insert(), listOfDicts)我已经在dask1.import dask.datafr

浏览 67提问于2018-01-02得票数 0

回答已采纳

1回答

异步计算dask数组块(Dask* + FastAPI)*

dask、dask-distributed、fastapi、uvicorn

我正在构建一个FastAPI应用程序，该应用程序将为Dask的块提供服务。我想把和结合起来。下面是一个mcve，它演示了我试图在应用程序的服务器和客户端做什么：import time import numpy as npfrom dask.distributed import Client app = FastAPI()

浏览 1提问于2020-03-02得票数 3

1回答

到Dask后端的joblib连接: tornado.iostream.StreamClosedError: Stream已关闭

python-3.x、tornado、dask-distributed、joblib、dask-ml

我正在我的dask worker上运行一个简单的程序。下面是程序。import numpy as np from sklearn.datasets import load_digitscloudpickle": "1.6.0", "toolz": &

浏览 174提问于2021-03-23得票数 0

1回答

分布式Dask* Streamz*

dask、dask-distributed

基于streamz ，可以通过以下方式利用dask分布式集群：client = Client('tcp://localhost:8786') # Connect to scheduler that has distributed workers source = Stream().sink(write)) # call write locally for x in rang

浏览 4提问于2018-10-02得票数 2

回答已采纳

1回答

分布式任务调度程序节点是否需要与工作节点相同的环境？

dask、dask-distributed

使用基本CLI方法(即dask-scheduler、dask- worker )设置分布式dask集群时，dask调度器节点是否也需要与worker节点相同的环境(例如包)？

浏览 0提问于2020-11-16得票数 0

1回答

无法安装用于Dask的tlz模块

python、dask

在Windows 10上，Python3.7.9(空闲)当我使用Dask时，首先要延迟：然后导入：from dask import delayed，但是有一个错误：回溯(最近一次调用)：文件"<pyshell#12>"，第1行，在dask导入延迟文件的第7行，在从<pyshell#12>导入咖喱，连接，唯一，合并ModuleNotFoundError:没有模块名为

浏览 3提问于2021-01-16得票数 2

回答已采纳

点击加载更多