使用joblib将结果返回给父进程
使用joblib将结果返回给父进程
提问于 2016-04-13 23:43:06
我正在运行一个函数，需要一段时间才能被评估16次。然而，所有这些运行是相互独立的。因此，我决定使用joblib来加快速度。
J强有力的工作就像它应该做的那样，并且加快了它的速度，但是我正在努力解决一个问题--如何正确地返回评估的值？我想将16个结果保存到内存中，最好是保存到列表中。但是，使用全局变量似乎不是一个选项，因为新的Python进程不使用父进程所使用的全局变量。根据joblib文档，并行的max_nbytes参数为数组大小设置了一个阈值来共享，但是我对子进程函数中的16个整数列表所做的所有更改都对父进程中的列表没有任何影响。
唯一的选项是将计算出来的值保存到文件中，然后使用父进程检索它们，还是有其他选择？
回答 1
Stack Overflow用户
回答已采纳
发布于 2016-04-13 23:53:33
如果您确实需要joblib，可以将结果放入Queue并在最后检索结果。来自多处理文件：
from multiprocessing import Process, Queue
def f(q):
q.put([42, None, 'hello'])
if __name__ == '__main__':
q = Queue()
p = Process(target=f, args=(q,))
p.start()
print q.get() # prints "[42, None, 'hello']"
p.join()您也可以使用multiprocessing.Pool，它正是这样做的：(来自多处理文档)
from multiprocessing import Pool
def f(x):
return x*x
if __name__ == '__main__':
p = Pool(5)
print(p.map(f, [1, 2, 3]))将打印到标准输出：
1、4、9
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/36616714
复制
相似问题
猫鼬:深度搜索
了解维基百科代码的通用深度第一树搜索？
猫鼬深度查找查询
猫鼬多深度种群
使用深度优先搜索的单词搜索
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
