我使用joblib并行工作，我想将结果并行写入列表中。如何并行保存数据？from joblib import Parallel, delayed
浏览 7提问于2020-02-24得票数 0
回答已采纳
我想追加一个Python并行处理列表。我写的代码如下： from joblib import Paralleldef proc
浏览 8提问于2019-04-09得票数 0
回答已采纳
1回答
我正在使用python中的opencv2进行数据增强。我使用的数据集由大约4000个96x96的单通道图像组成。
我正在使用cv2.warpAffine应用一系列的平移和缩放的仿射变换。下面的旋转变换代码-我在每个图像上调用它。
浏览 4提问于2018-07-16得票数 2
我想并行执行在我的计算机CPU的四核处理器上用python-2.7编写的for循环。
我是用joblib.Parallel还是使用并行-Python实现这一点呢？我已经看到joblib.Parallel被更多地使用了，但是文档的第一行让我担心:它设置了分叉的进程来处理“单独的CPU”。这是否意味着它不能在同一个CPU的不同核心上完成这个任务？
浏览 5提问于2014-05-31得票数 2
回答已采纳
假设我有一个循环，只有在满足某些条件时才能“输出”：for item in some_list: res = do_something(item)对于内存约束，我无法用None-s填充None列表，因此无法编写：
joblib.Parallel(n_jobs=n)(joblib.delayed(do_something)(item) for item in so
浏览 2提问于2020-05-22得票数 3
1回答
我需要运行一个令人尴尬的并行for循环。经过快速搜索，我找到了python的joblib包。我做了一个简单的测试，就像在包的网站上发布的一样。下面是测试结果from joblib import Parallel, delayed%timeit [sqrtrange(10))如果我正
浏览 26提问于2018-01-20得票数 1
2回答
我使用joblib并行处理我的python3.5代码。如果我这样做了：from joblib import Parallel, delayed
from joblib import Parallel, delayed
# my func ...有人能解释我为什么要把我的所有功能放在同一个脚本中吗？
这是不实际的，因为在
浏览 8提问于2017-10-19得票数 7
在并行调用行上崩溃，这是堆栈跟踪中的最后两个跟踪(其他行只是对并行和主调用的调用)： self.retrieve(
浏览 1提问于2013-12-27得票数 3
回答已采纳
1回答
我有一个使用joblib并行运行程序的python脚本，它工作得很好(100%的cpu消耗在本地机器上)。最近，我将python脚本迁移到azure上的数据科学虚拟机(DSVM)上，但发现多处理逻辑不起作用(平均cpu消耗保持在5%的低水平)。如果没有，你可以建议在azure VM上进行并行
浏览 1提问于2020-04-29得票数 0
2回答
我有一个求和，我试图计算，我有困难并行的代码。我试图并行化的计算有点复杂(它使用numpy数组和枕稀疏矩阵)。它产生一个numpy数组，我想从大约1000次计算中将输出数组相加。理想情况下，我会在所有迭代中保持一个运行和。然而，我还没有想出如何做到这一点。
到目前为止，我已经尝试在python的多处理包中使用joblib的并行函数和pool.map函数。这些函数返回一个列表，我将其转换为numpy数组，然后进行求和。
浏览 10提问于2012-01-30得票数 4
回答已采纳
我正在尝试并行化代码，它使用在库中定义的函数将字符串转换为第三方包对象。但是，根据我提供的输入数据，joblib失败了。当使用joblib时，函数的返回类型重要吗？lib/python3.8/site-packages/joblib/parallel.py", line 933, in retrieveTypeError: cannot pickle 'weakref' obj
浏览 4提问于2021-09-25得票数 1
1回答
需要帮助来并行化这段代码
、、、
我在并行化下面的Python代码时遇到了麻烦，可能真的需要一些帮助。from joblib import Parallel, delayed
with open('C:\\links.csv',\joblib\pool.py", line 371, in send
浏览 1提问于2018-05-21得票数 2
我正在尝试运行一个python程序，该程序在某一时刻执行许多(数千)令人尴尬的并行进程，这些进程是以对其他软件的子进程调用的形式出现的。我在一个跨越多个不同节点的slurm集群上运行，每个节点都有多个核心。 我使用过mpi4py，但代码中的延迟导致我转向使用joblib。Joblib似乎是并行化这些子进程调用的一种简单方法。为了在多个CPU (每个CPU都有多个内核)上运行这些程序，我也使用了dask。我想跨我在sb
浏览 17提问于2019-04-03得票数 2
2回答
为了加快速度，我看了一下Python中的multiprocessing和joblib。但是，我们应该在外部循环上并行(将for group in groups逻辑拆分为并行)，还是在内部循环上并行(将for i in idx逻辑拆分为并行)？
浏览 10提问于2022-05-08得票数 0
回答已采纳
我正在使用joblib中的多处理模块。我正在编写一个迭代算法，我需要在每次迭代中调用并行。我怀疑我在这里承受着大量的开销，因为我在每次调用时都会创建和销毁一个工作人员池。joblib文档引用了这种情况。然而，这个解决方案似乎在Python 2.7上不起作用： accumulator = 0.他们建议定义一个围绕并行调用的上下文管理器。<em
浏览 0提问于2015-10-21得票数 2
对于C++，我们可以使用OpenMP进行并行编程；但是，OpenMP不适用于Python.如果我想并行我的python程序的某些部分，我应该怎么做？代码的结构可以被认为是：solve2(B) print "Maximum iteration reaches"
浏览 27提问于2013-12-13得票数 167
回答已采纳
1回答
我使用joblib并行处理4帧(从视频拍摄的图像)。为此使用了并行for循环，其中每个循环为不同的帧调用相同的函数。由于捕获帧只占用总处理时间的1%(通过使用line profiler的python脚本分析发现)，因此我首先捕获4个帧，然后将其移交给joblib进行多处理。在Rapberry pi-2 (四核)上，观察到了几乎8倍的加速，在Beaglebone Black (不是多核)上，也观察到了近7倍的加速。那么，joblib到底是如何分配任务的呢
浏览 1提问于2015-05-01得票数 1
2回答
这个问题听起来可能很简单，但对于Python中的并行化来说，我肯定是在挣扎。我在OpenMP中处理了C++的并行化问题，这要容易得多。我需要做的是并行修改矩阵的条目。就这样。问题是，我不能使用简单的joblib库来完成它：
def foofoo)(array,i) for i
浏览 0提问于2016-08-13得票数 4
回答已采纳
1回答
我很难在Windows中捆绑我的python3应用程序，该应用程序使用了Joblib来实现并行性。我同时读和写了10个UART。我希望将此应用程序作为Windows安装交付给客户，而不是工厂中的代码。
由于创建了windows包，我计划放弃在我的pyqt5应用程序中使用Joblib。在我的工作中，我和其他GUI人员联系过，他说pyqt5线程有很多问题，同步线程很混乱，不是那么容易，
浏览 4提问于2019-03-16得票数 0
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
对象存储
腾讯云开发者
