1回答
Scikit--学习已经在一台机器上提供了Joblib的并行计算。client = Client()
我怎么才能从这开始？
浏览 2提问于2018-06-05得票数 3
回答已采纳
1回答
在许多功能中，学习实现了用户友好的并行化。例如，在sklearn.cross_validation.cross_val_score中，您只需在n_jobs参数中传递所需的计算作业数。而对于拥有多核处理器的PC来说，它将工作得非常好。但是，如果我想在高性能集群中使用这样的选项(安装了OpenMPI包并使用SLURM进行资源管理)？如我所知，sklearn使用joblib进行并行化，而后者使用multiprocessing。而且，正如我所知道的(例如，从这里，) multi
浏览 8提问于2016-07-26得票数 44
每当我提交dask任务时，我都可以指定该任务所需的资源。例如client.submit(process, d, resources={'GPU': 1}) 但是，如果我将dask调度器抽象为一个joblib.parallel_backend，那么当我这样做时，它不清楚如何指定资源。如何在调用joblib.parallel_backend('dask')的同时仍然指定必需的<em
浏览 22提问于2019-01-15得票数 0
我有一个Dask数据框架，它由分类数据和数值(浮点型和整型)数据组成。当我尝试使用下面的代码LabelEncode分类列时，我得到了错误。(train_X.values)ValueError: bad input shape (36862367, 15)from sklearn.externals.joblibimport parallel_backend
with parallel_backend('dask'
浏览 66提问于2019-07-24得票数 1
回答已采纳
1回答
使用dask对大型数据集进行聚类
、、、、
我的主要目标是对一个大型数据集进行聚类，但是在开始工作之前，我想做一些测试。但是，每当我想要运行一个dask代码块时，都会花费太多的时间，最后会出现一个内存错误。我试过他们的和下面的简短代码。from dask.distributed import Clientfrom sklearn.datasets)
now = dat
浏览 2提问于2019-05-09得票数 2
回答已采纳
我正在尝试使用Matthew Rocklin提出的名为dask-spark的项目。from tpot importimport load_digits
from sklearn.model_selection impor
浏览 3提问于2018-09-20得票数 1
1回答
我有一个跨不同文件的相当大的数据集，我使用dask读取这些文件，然后是一个机器学习任务，我想使用dask作为并行后端。我注意到，使用具有更多工作线程的客户端而不是具有多个线程的一个工作线程的客户端，读入文件的速度要快得多。但是，它们各自的内存份额太小，无法处理ML任务。这是我当前代码的一个示例： from dask.distributed import Client
import dask<
浏览 13提问于2020-08-21得票数 2
当我这样做的时候，我得到了权限错误和类似的错误。sc.fit_transform(X)
from sklearn.svm import SVC问题是在这一点之后开始的。last):packages\sklearn\externals\joblib
浏览 0提问于2019-02-18得票数 0
我们如何使用dask在远程clutser节点上进行并行计算，例如PSC网桥。LogisticRegressionCVfrom task.distributed import Clientimport numpy as np
client = Client() # createn_samples=100
浏览 17提问于2021-03-05得票数 0
我有一个8核/16线程的CPU，我使用cross_val_score和XGBRegressor，两者都使用njobs=6，但它们实际上只使用1个核心(在htop-Console中，只有1个CPU有100%的负载，其余的- 0%)。交叉val得分必须很容易并行化，因为它在5个独立的数据集上运行5个模型？
浏览 8提问于2019-11-06得票数 0
回答已采纳
但是，当我用类RandomizedSearchCV()训练我的模型时，我有一个并行化错误。 return selfparam_grid = {...}
浏览 2提问于2019-10-20得票数 1
回答已采纳
1回答
我正在尝试在线程化的dask分布式集群中运行一个lock并行循环(见下面的原因)，但是由于GIL-lock，我无法获得任何加速。task that runs multiple single-process runs in parallel """ from joblibimport Parallel, delayed, parallel_backend
with parallel_backend</em
浏览 0提问于2018-10-21得票数 0
在qt应用程序中，不冻结gui就可以运行，比如使用多个作业并行(n_jobs > 1)的n_jobs > 1吗？问题是，用于并行化sklearn代码的joblib不能将多进程运行到线程中。该方法不适用于网格搜索嵌入的n作业。还有为什么这是故意不支持的(它是一个)？看起来很有用吗？
浏览 0提问于2018-11-22得票数 0
我有一个包含100个元组tuplelist的列表，作为外部函数的输入。现在，由于元组的顺序和它们的附加方式在我的例子中并不重要，所以我想并行化for-循环，因为处理100个元组需要10分钟，而且我希望扩展这个数字。我尝试了下面的j强有力的实现(MainFileJoblib.py)：from joblib importParallel, delayed, parall
浏览 0提问于2019-04-20得票数 1
回答已采纳
如果我在高性能计算机(HPC)上使用Dask，我还需要使用Dask(即.( joblib.parallel_backend('dask')运行scikit学习代码？with joblib.parallel_backend('dask'):因为我在高性能计算机上使用了(即.我连接到一个HPC实例)，当我运行我的代码时，我的所有代码是否已经分发到一个集群(因为我已
浏览 3提问于2020-06-21得票数 0
回答已采纳
我已经通过客户端连接到我的远程集群，现在我正在尝试使用Dask-mlfrom sklearn.externalsimport joblib
withjoblib.parallel_backend('da
浏览 15提问于2020-02-27得票数 0
1回答
复变函数多处理
、、、、
我想在python中为一个相当复杂的函数创建一个多进程:我已经用一个不那么复杂的代码测试了这个函数，如下所示： return rechnen
tschüß = 'tschüß'
with
浏览 0提问于2018-02-15得票数 0
回答已采纳
1回答
如何并行化此嵌套循环
、、、
我正在使用joblib和Dask并行化我的代码，它具有以下循环结构： def main(): test = get_valid_systemsget_ensemble_pairs(test)
with joblib.parallel_backend('<em
浏览 15提问于2021-01-25得票数 0
回答已采纳
distributed', scheduler_host=host_port):如果我执行这段代码，我可以在daskwith parallel_backend('distributed', scheduler_host=host_port):我可以看到创建的每个y类对应一个任务(在我的例子中是20个)。有没有办法让cross_val_sc
浏览 13提问于2017-02-13得票数 2
我想使用Machine Learning和joblib库在我的所有核心上执行来自Sklearn库的Dask算法。用：编写joblib.parallel_backend的代码with joblib.parallel_backend('dask，即使在客户端的Dask可视化中，我也看到工人们什么都
浏览 7提问于2021-04-05得票数 5
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
对象存储
腾讯云开发者
