1回答
在客户关闭时，是否存在阻止dask/distributed取消排队和执行期货的情况？
我想用一个jupyter笔记本开始一些非常长的运行模拟与分布式，关闭笔记本，并在某个时候，检索结果。
浏览 1提问于2018-03-14得票数 0
回答已采纳
我知道有一种方法可以在全球注册dask.diagnostics.ProgressBar，虽然它很不错，但它破坏了我的单元格输出。我在这里遇到的问题是，dask.diagnostics.ProgressBar使用stdout (所以我在使用进度栏时不能打印任何东西)，需要使用Dask/Distributed期货显式地调用distributed.diagnostics.progress，但是我有自己的函数，它们计算一些东西并返回一个“结果”类的实例，而不是一个<e
浏览 4提问于2016-08-15得票数 2
1回答
我的未来是我广播的python集(LocalCluster)：现在，我只是想让这些数据在我的map_partitons操作中可用： assert ty
浏览 6提问于2020-05-05得票数 0
1回答
我有几个关于达斯克的基本问题：
一般情况下，无论是将来工作还是延迟工作，如何才能获得与任务图相关的字典？
浏览 1提问于2019-01-17得票数 13
回答已采纳
我正在使用分布式调度程序和分布式进度条。是否有办法让进度条工作为Dataframe.map_partition或延迟？我认为缺乏期货是导致酒吧不起作用的原因。代码如下：from distributed import ClientAlternative with dask.delayed也不起作用：
delayed = [dask<
浏览 3提问于2020-12-01得票数 2
回答已采纳
1回答
我正在尝试将矩阵的平面文本文件(以制表符分隔)表示到dask数组中，使用distributed将数组的块分布到集群中。(旁白:这与PySpark的方法没有什么不同)
但是，我不清楚如何使用可用的工具将文本文件解析成矩阵结构。在PySpark中，我可以使用一个简单的map来完成这个任务，该map可以将空格上的每一行拆分，并将令牌转换为浮动列表，最后将列表转换为索引的numpy数组。我从dask.bag.read_text方法开始，它有一个参数collection，可以设置为False，因此
浏览 1提问于2016-06-03得票数 1
回答已采纳
我正在设置Dask，我可以使用dask进行多进程处理。我想知道。如何将自定义导入添加到dask workers中，以便访问这些workers的所有期货都可以有效地运行。
浏览 28提问于2019-10-31得票数 0
回答已采纳
我对使用Dask分布式作为任务执行器很感兴趣。在芹菜中，可以将任务分配给特定的工人。如何使用分布式Dask？
浏览 2提问于2018-07-23得票数 4
我有一个如下所示的dask数据帧：df = dd.read_csv('s3://...')
如何从该数据帧中获取期货列表？
浏览 11提问于2018-02-15得票数 0
1回答
考虑如下所示的简单工作流：import time
futs = client.map(time.sleep, list(range(10)))
上面的代码将提交并几乎立即取消期货，因为上下文管理器将关闭。可以让上下文管理器保持打开状态，直到使用client.gather完成任务为止，但是这会阻塞当前进程中的进一步执行。我感兴趣的是在同一进程内将任务提交到多个集群(例如本地和分布式)，理想情况
浏览 5提问于2021-03-12得票数 0
我有一张达克期货的清单，它指向潘达斯的数据：client = Client()
futures = client.map(pd.read_csv, filenames)
如何将这些转换为Dask数据帧？注意，我知道dask.dataframe.read_csv存在，我只是以pd.read_csv为例
浏览 1提问于2018-02-14得票数 3
场景：用户A连接到dask调度程序，使用client.map(func, list)发送一个长作业，并在周末注销。用户B希望查看用户A创建的已完成期货的结果，并可能取消挂起的期货。我们设法得到了工人的期货结果如下：from distributed.client import Future
client =
浏览 2提问于2017-08-25得票数 1
在dask.distributed上使用期货时，是否有方法区分当前正在评估的pending期货和仍处于队列中的期货？因此，我想取消期货已经运行了太长时间(使用任意超时)。然而，似乎没有一种方法可以判断未来是否已经长期处于pending状态，因为计算比通常要花费更长的时间，或者仅仅是因为它必须等待一个工作人员才能使用。我的设置涉及一个运行dask-scheduler和dask-worker作业/作业数组的SG
浏览 9提问于2017-08-17得票数 1
回答已采纳
1回答
该函数没有参数： def generate_and_save(): # start Dask<
浏览 8提问于2019-09-13得票数 1
回答已采纳
1回答
我如何指示dask使用分布式Client作为调度程序，从代码中从外部使用，例如通过一个环境变量？DASK_SCHEDULER=distributed(schedu
浏览 1提问于2019-04-17得票数 0
1回答
在达斯克排队的工人
、、、
我有下面的场景，需要用Dask调度程序和工作人员来解决：
期货= client.map(worker_func，worker_args) worker_responses =client.gather(期货)
这意味着我需要N*
浏览 3提问于2021-07-29得票数 1
回答已采纳
1回答
然而，我希望许多dask任务(例如dask.pandas、dask.array)都是CPU密集型的。如何与“旋风协同”和处理每个dask任务的更常见的进程/线程并发在分布式中？
浏览 3提问于2016-10-04得票数 4
回答已采纳
如何使用需要关键字参数的函数来构造自定义dask图，而这些关键字参数是另一个dask任务的结果？dask文档和几个堆栈溢出问题建议使用partial、toolz或dask.compatibility.apply。所有这些解决方案都适用于静态关键字参数。我从以及对源代码和调试器的一些阅读中了解到，dask.compatibility.apply可能能够处理作为dask计算结果的关键字参数。然而，我似乎无法正确地理解语法，也无法在其他地方
浏览 0提问于2018-07-04得票数 4
回答已采纳
我试图让dask.dataframe在默认情况下使用本地分布式调度器，但我在阅读Dask文档时并不清楚如何做到这一点。下面这样的东西就足够了吗？from dask import distributedclient = distributed.Client(processes=True) # use multi processing
dask.config.set(scheduler=
浏览 17提问于2020-03-12得票数 1
回答已采纳
如何在本地分布式环境中使用dask.highlevelgraph.HighLevelGraph。顺序计算，例如很管用。import dask
# from dask import distributed as ddist'
浏览 0提问于2019-04-30得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号