使用多处理Pool.map()时无法pickle <type'instancemethod'>
您好！感谢您的提问。在这个问题中，您提到了Python的multiprocessing库中的Pool.map()方法，以及pickle错误。这是因为pickle无法序列化<type 'instancemethod'>类型的对象。
首先，让我们了解一下Pool.map()方法。Pool.map()是一个并行处理函数，它将一个可迭代的参数列表传递给一个函数，并在多个进程中执行该函数。这样，您可以充分利用多核处理器的优势，并行执行任务。
然后，让我们讨论pickle。pickle是Python的一个内置库，用于序列化和反序列化对象。在这种情况下，问题是pickle无法序列化<type 'instancemethod'>类型的对象。这意味着您不能将实例方法作为参数传递给Pool.map()。
解决这个问题的方法有很多。以下是一些可能的解决方案：
- 将实例方法更改为静态方法或函数。静态方法和函数可以轻松地序列化和传递给
Pool.map()。 - 使用
multiprocessing库中的Pool.starmap()方法。starmap()方法可以接受一个元组列表作为参数，这使得序列化更加简单。 - 使用
concurrent.futures库中的ThreadPoolExecutor或ProcessPoolExecutor。这些库提供了类似于Pool.map()的方法，但它们可以处理可以序列化的对象。
希望这些解决方案能够帮助您解决问题。如果您有任何其他问题，请随时提问。
相关·内容
我的职能如下：
class BulkRemoteiTunesUpdater():
def __init__(self):
...
def run_update(self, update_dict):
# do something
我想并行化这个过程。到目前为止，我已经：
if __name__ == '__main__':
b=BulkRemoteiTunesUpdater()
b.fetch_updates_to_do_info()
fetched_update_info = b.fetched_up
浏览 3提问于2014-06-30得票数 0
回答已采纳
2回答
你好，我遇到了一种情况，我打电话给一些API来获取电影列表。对于列表中的每条记录，我调用另一个API。我想使for循环并行以获得更好的性能。下面是我的示例代码。
movies = []
for movie in collection:
tmdb_movie = tmdb.get_movie(movie['detail']['ids']['tmdb_id'])
movies.append(tmdb_movie)
return tmdb_movie
因此，我使用多处理的解决方案如下：
pool = Pool()
output =
浏览 2提问于2019-03-15得票数 0
回答已采纳
1回答
我试图在我的代码中使用multiprocessing.Pool，但我得到了一个例外：
PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup __builtin__.instancemethod failed
我找到了，我是
我的问题是我不知道如何在我的代码中实现这个解决方案。
我的代码是这样的：
class G(class):
def submit(self,data):
cmd = self.createCommand(data)
浏览 2提问于2014-03-17得票数 1
1回答
保存随机森林模型存档？
、、、、
试图保存随机森林模型。
所有的方法都失败了：
self.model = RandomForestClassifier(n_estimators=n_estimators,criterion='entropy', min_samples_leaf=2, max_depth=15,min_samples_split=5, max_features=None, n_jobs=-1, random_state=555)
def save_model(self, fname):
with open(fname,'wb') as f :
dill.
浏览 0提问于2019-09-14得票数 3
4回答
当您选择一个具有一些不能被腌制的属性的对象时，它将失败，并会出现如下所示的通用错误消息：
PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup __builtin__.instancemethod failed
有没有任何方法可以判断是哪个属性导致了异常？我正在使用Python2.5.2。
尽管我原则上理解问题的根源(例如，在上面的例子中有一个实例方法)，但仍然很难准确地找到它。在我的例子中，我已经定义了一个自定义__getstate__方法，但是忘记了一个关键属性。这种情
浏览 3提问于2009-02-20得票数 36
回答已采纳
以下是我的尝试：
deferred.defer(class1().method1, class2.method2, arg)
deferred.defer(class1().method1, class2.method2(), arg)
这两个操作都会失败，并显示以下错误：
Can't pickle <type 'instancemethod'>: it's not found as __builtin__.instancemethod
在另一篇关于如何酸洗实例方法的文章中，Steven Bethard提出了解决方案： (靠近页面底部)
代码失去了格
浏览 0提问于2012-06-28得票数 2
回答已采纳
我在使用pool.map(funct, iterable)时遇到此错误
AttributeError: __exit__
没有解释，只有对模块中pool.py文件的堆栈跟踪。
以这种方式使用：
with Pool(processes=2) as pool:
pool.map(myFunction, mylist)
pool.map(myfunction2, mylist2)
我怀疑这可能是可拾取性的问题(python需要pickle，或者将列表数据转换为字节流)，但我不确定这是不是真的，或者是如何调试的。
编辑:生成此错误的代码的新格式：
def governingFunct(li
浏览 1提问于2014-09-22得票数 37
回答已采纳
1回答
我最近看到了一个关于的回复/评论。所以，我想知道为什么当我拿这个例子，并在初始化变量时围绕它创建一个类时，它的工作方式不同。(类示例接收到酸洗错误)：PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup __builtin__.instancemethod failed
有人知道这是为什么吗？
链接中的示例代码：
import multiprocessing as mp
def f(x):
f.q.put('Doing: ' + str(x))
浏览 4提问于2013-04-11得票数 1
回答已采纳
我有一个函数，它接受一个url列表，并为每个url添加一个标题。url_list可以是大约25,000个长列表。所以，我想使用多进程。我尝试了两种方法，但都失败了：
第一种方式- url_list没有传递correctly...the函数只获取url_list url的第一个字母'h‘：
headers = {}
header_token = {}
def do_it(url_list):
for i in url_list:
print "adding header to: \n" + i
requests.post(i, headers=h
浏览 2提问于2013-08-28得票数 0
1回答
多处理Python 3
、、、、
我一直在尝试为python 3上的一系列任务创建一个多进程池。任务如下: 1.读取pdf文件并捕获pdf文件中的表，然后- 2.创建一个pickle文件来存储表对象3.加载pickle文件
出于测试目的，我在三个pdf文件上以串行化和并行化模式运行了python代码。排序是在200秒内运行整个过程，并在工作目录中创建pickle文件。但是，多进程不会在目录中生成pickle文件，但运行该进程需要39秒。
排序的代码可以在下面找到：
os.chdir('C:/Users/dir_path')
def process_table(pdf):
for pdf
浏览 0提问于2020-01-21得票数 0
1回答
这段代码出现了一个奇怪的错误。我正在尝试汇集一个worker函数的实例，它是调用池的类的成员。虽然我怀疑这样做是否可行，但我不清楚原因何在？当我运行它时引发的错误是"PicklingError“。谁能解释一下原因吗？
import multiprocessing
import time
class Pooler(multiprocessing.Process):
def __init__(self):
multiprocessing.Process.__init__(self)
def run(self):
pool = multiprocessing.P
浏览 1提问于2015-11-27得票数 0
回答已采纳
我正在尝试使用multiprocessing的Pool.map()函数来同时划分工作。当我使用以下代码时，它工作得很好：
import multiprocessing
def f(x):
return x*x
def go():
pool = multiprocessing.Pool(processes=4)
print pool.map(f, range(10))
if __name__== '__main__' :
go()
但是，当我在更面向对象的方法中使用它时，它就不起作用了。它给出的错误消息是：
Pickling
浏览 203提问于2009-11-30得票数 228
回答已采纳
2回答
给定我尝试调用的代码：
p = ProgressBar(maxval=len(img_paths))
sm = SaliencyMaskSlic()
operations = [('img_resize', img_resize), ('sal_mask', sm.transform)]
args_list = [{'h_size':258}, {'cropped':True}]
pre_pipeline = Pipeline(ops=operations, arg_list=args_list)
ch = ColorHist
浏览 2提问于2014-12-15得票数 0
嗨，我已经在这个问题上挣扎了大半个上午，希望有人能给我指明正确的方向。
这是我目前拥有的代码：
def f(tup):
return some_complex_function(*tup)
def main():
pool = Pool(processes=4)
#import and process data omitted
_args = [(x.some_func1, .05, x.some_func2) for x in list_of_some_class]
results = pool.map(f, _args)
print
浏览 0提问于2013-01-23得票数 7
回答已采纳
我正在尝试使用python模块来处理大量的urls，我正在使用一个multiprocessing对象创建工作进程，如下所示。
from multiprocessing import Pool, TimeoutError, cpu_count
class MyClass:
def square(self, x):
return x*x
@staticmethod
def getNumbers():
return range(10)
def calculate(self):
pool = Pool(process
浏览 0提问于2016-02-12得票数 4
3回答
姜戈和芹菜:不能腌制任务
、、、、
(预先谢谢:)
我有一个异步芹菜任务调用：
update_solr.delay(id, context)
其中id是整数，上下文是Python。
我的任务定义如下：
@task
def update_solr(id, context):
clip = Clip.objects.get(pk=id)
clip_serializer = SOLRClipSerializer(clip, context=context)
response = requests.post(url, data=clip_serializer.data)
其中clip_serializer.dat
浏览 3提问于2013-08-15得票数 4
回答已采纳
我正在尝试编写一个可以同时应用一个函数和一个multiprocessing.Pool的应用程序。我希望这个函数是一个实例方法(这样我就可以在不同的子类中以不同的方式定义它)。这似乎是不可能的；正如我在其他地方了解到的那样，显然是。那么为什么使用绑定方法作为目标来启动multiprocessing.Process是可行的呢？以下代码：
import multiprocessing
def test1():
print "Hello, world 1"
def increment(x):
return x + 1
class testClass():
浏览 0提问于2014-12-05得票数 45
回答已采纳
我试图对NearestNeighbor模型进行筛选，但它说不能对实例方法对象进行筛选。
守则：
import cPickle as pickle
from sklearn.neighbors import NearestNeighbors
nbrs = NearestNeighbors(n_neighbors=50, algorithm='ball_tree', metric=self.distanceCIE2000_classifier)
nbrs.fit(allValues)
with open('/home/ubuntu/nbrs.p','wb&
浏览 4提问于2016-06-11得票数 1
回答已采纳
我想并行执行一个渐近lambda函数。我不知道：
尽管它是lambda函数，但它为什么并行工作？
当我尝试在没有池的情况下执行时，它为什么停止工作？
如果我取消对lambdify中第一个返回的注释，它为什么会工作？
显然，标记预处理程序需要代码上方的一行文本，所以这是代码：
from multiprocessing import Pool
import sympy
from sympy.abc import x
def f(m):
return m.lambdify()(1)
class Mult():
def lambdify(self):
浏览 1提问于2017-07-13得票数 5
回答已采纳
我的程序使用几个参数，其中一个参数名为challenges，它从命令行接收整数值。我希望通过将multiprocessing的值传递给自定义方法generation来使用generation。
import multiprocessing
gen = generator.GenParentClass()
mlp = multiprocessing.Pool(processes=multiprocessing.cpu_count())
X, y = mlp.imap_unordered(gen.generation, [args.challenges])
类generation中的方法GenP
浏览 1提问于2017-09-15得票数 0
回答已采纳
1回答
我编写了一个不错的并行作业处理器，它可以接受作业(函数、它们的参数、超时信息等)。然后提交给Python 池。如果请求，我可以提供完整(长)代码，但关键步骤(如我所见)是池的异步应用程序：
job.resultGetter = self.pool.apply_async(
func = job.workFunction,
kwds = job.workFunctionKeywordArguments
)
我试图将这个并行作业处理器与大量遗留代码一起使用，并且可能自然而然地遇到了问题：
PicklingError: Can’t pickle <type ’instancem
浏览 2提问于2014-01-27得票数 0
回答已采纳
1回答
我尝试在本地定义的函数上运行并行处理，如下所示：
import multiprocessing as mp
import numpy as np
import pdb
def testFunction():
浏览 0提问于2019-05-21得票数 2
回答已采纳
来自logging模块和multiprocessing作业的处理程序似乎不混合：
import functools
import logging
import multiprocessing as mp
logger = logging.getLogger( 'myLogger' )
handler = logging.FileHandler( 'logFile' )
def worker( x, handler ) :
print x ** 2
pWorker = functools.partial( worker, handler=handle
浏览 3提问于2014-07-15得票数 1
回答已采纳
我在python3.7中使用了多处理池映射，并且在下面看到了与docker容器类似的错误
multiprocessing.pool.MaybeEncoding Error: Error sending result: '<multiprocessing.pool.ExceptionWithTraceback object at 0x7f8ff58e8110>'. Reason: 'PicklingError("Can't pickle <class 'MemoryError'>: it's not th
浏览 2提问于2020-05-12得票数 10
短版本：
我在使用实例方法并行化代码时遇到了问题。
更长版本：
这个python代码产生错误：
Error
Traceback (most recent call last):
File "/Users/gilzellner/dev/git/3.2.1-build/cloudify-system-tests/cosmo_tester/test_suites/stress_test_openstack/test_file.py", line 24, in test
self.pool.map(self.f, [self, url])
File "/Users/gilz
浏览 2提问于2015-08-03得票数 4
回答已采纳
3回答
多进程并行化距离计算方法
、、、
这个问题与我几天前发布的有关；我阅读了中有关使用实例方法对multiprocessing进行腌制的相关问题。问题是，我不知道如何将所提供的解决办法应用于我的案件：
def _pickle_method(method):
# Author: Steven Bethard
# http://bytes.com/topic/python/answers/552476-why-cant-you-pickle-instancemethods
func_name = method.im_func.__name__
obj = method.im_self
cls =
浏览 1提问于2015-07-11得票数 2
回答已采纳
我有两个文件：
x.py
class BF(object)
def __init__():
.
.
def add(self,z):
.
.
y.py
from y import BF
def FUNC((a,b,bf))
.
.
bf.add(x)
.
.
return bf
.
.
if __name__ == '__main__':
pool = multiprocessing.Pool(3)
for i in range(len(sl)):
bf_set.appe
浏览 3提问于2012-09-13得票数 1
我有一段代码试图理解Python3 multiprocessing.pool在PyQt5 QThread中的使用：
import sys
from PyQt5.QtWidgets import QApplication, QMainWindow, QWidget, QPushButton, QVBoxLayout
from PyQt5.QtCore import QThread, pyqtSignal , pyqtSlot
import time
import os
import multiprocessing as mp
def work(x):
# print('
浏览 5提问于2022-11-04得票数 0
我有一个类，它使用GDAL模块()打开一个大光栅图像，并在许多位置从它中提取小图像，由一个经过的坐标元组列表定义。我想使用Pathos处理一个大的坐标列表，就像我的代码的这个简化版本：
import gdal
import pathos.pools as pp
class MyClass:
def __init__(self, image):
self.image_object = gdal.Open(image)
def get_small_image(self, coord, size=100):
small_image = self.
浏览 0提问于2018-07-02得票数 6
2回答
我的职能如下：
def func1(date1,date2):
#calculations
if __name__=='__main__':
pool = Pool(processes=4)
dates = [[dt.datetime(2016,6,17),dt.datetime(2016,6,23)],[dt.datetime(2016,6,24),dt.datetime(2016,6,30)],[dt.datetime(2016,7,1),dt.datetime(2016,7,7)],[dt.datetime(2016,7,8),dt.datetime(
浏览 0提问于2016-10-31得票数 0
回答已采纳
2回答
我有一个清单理解：
thingie=[f(a,x,c) for x in some_list]
我现将其并行化如下：
from multiprocessing import Pool
pool=Pool(processes=4)
thingie=pool.map(lambda x: f(a,x,c), some_list)
但我得到了以下错误：
_pickle.PicklingError: Can't pickle <function <lambda> at 0x7f60b3b0e9d8>:
attribute lookup <lambda> o
浏览 1提问于2015-05-21得票数 3
回答已采纳
我正在用Swift编写一个帮助函数，用于SpriteKit游戏中，它将检查是否正确设置了碰撞滞留。
我想检查我的GameScene是否实现了协议SKPhysicsContactDeletegate，并且还包含了didBeginContact函数。
我有以下代码，在Xcode的自动完成的帮助下编写的：
if GameScene(conformsToProtocol(SKPhysicsContactDelegate)) {
if GameScene(respondsToSelector(didBeginContact(SKPhysicsContact))) {
浏览 11提问于2016-04-07得票数 20
回答已采纳
5回答
编写__getstate__方法的最佳方法是什么?该方法几乎对对象的所有属性进行了筛选，但排除了一些属性。
我有一个具有许多属性的对象，包括一个引用instancemethod的对象。instancemethod是不可拾取的，所以当我尝试提取这个对象时，我会得到一个错误：
class Foo(object):
def __init__(self):
self.a = 'spam'
self.b = 'eggs'
self.c = 42
self.fn = self.my_func
d
浏览 2提问于2011-07-09得票数 30
回答已采纳
1回答
Python多进程错误
、、、
我遇到了多进程问题，下面是我用来执行测试的代码：
import multiprocessing
class Test():
def __init__(self):
pass
def add(self,x,y):
self.x = x
self.y = y
return self.x + self.y
class Worker(Test):
def do_me(self,x,y):
return self.add(x,y)
if __name__ == '__main__
浏览 3提问于2014-12-28得票数 1
回答已采纳
我正在尝试测试和修复 (编辑：)，因为instancemethod类型是不可接受的：
In [16]: import pandas as pd
In [17]: type(pd.tslib.NaT).__repr__
Out[17]: <instancemethod __repr__ at 0x1058d2be8>
In [18]: hash(type(pd.tslib.NaT).__repr__)
...
TypeError: unhashable type: 'instancemethod'
但是我在测试这个问题时遇到了困难，因为我不知道在Python
浏览 4提问于2016-11-29得票数 2
回答已采纳
当我运行如下命令时：
from multiprocessing import Pool
p = Pool(5)
def f(x):
return x*x
p.map(f, [1,2,3])
它工作得很好。但是，将其作为类的函数：
class calculate(object):
def run(self):
def f(x):
return x*x
p = Pool()
return p.map(f, [1,2,3])
cl = calculate()
print cl.run()
出现以下错误：
浏览 211提问于2010-07-20得票数 192
回答已采纳
在方法上使用multiprocessing，我们得到了错误声明self.methods cannot be pickled。
为了克服这个问题，我用了：
def _pickle_method(m):
if m.im_self is None:
return getattr, (m.im_class, m.im_func.func_name)
else:
return getattr, (m.im_self, m.im_func.func_name)
copy_reg.pickle(types.MethodType, _pickle_metho
浏览 2提问于2016-11-22得票数 2
3回答
我正在从t类型的api接收一个对象Object。我无法腌制它，得到错误：
File "p.py", line 55, in <module>
pickle.dump(t, open('data.pkl', 'wb'))
File "/usr/lib/python2.6/pickle.py", line 1362, in dump
Pickler(file, protocol).dump(obj)
File "/usr/lib/python2.6/pickle.py", lin
浏览 11提问于2015-05-28得票数 16
回答已采纳
我有一个Python脚本，当我正常运行它时，它运行得很好：
$ python script.py <options>
我试图使用cProfile模块来分析代码：
$ python -m cProfile -o script.prof script.py <options>
当我启动上面的命令时，我会得到一个关于无法选择函数的错误：
Traceback (most recent call last):
File "scripts/process_grid.py", line 1500, in <module>
_compute_wr
浏览 1提问于2018-12-21得票数 10
回答已采纳
1回答
多处理:隐藏到派生进程的DB连接
、、、、
尝试从方法内部派生进程，但我得到以下错误：
TypeError: can't pickle psycopg2.extensions.connection objects
当我实例化一个方法时：
res = pool.map(self.abc, data)
是的，我在self.db中存储了一个数据库连接。如果我实例化一个简单的函数就没有问题
res = pool.map(abc, data)
问题是我不能提取类之外的逻辑，有太多的依赖。
我的问题是:有没有一种方法可以暂时“屏蔽”self.db，这样我就可以用“池”午餐，然后“取消屏蔽”它，这样pool.map()就不会试图屏蔽db连接
浏览 6提问于2021-05-26得票数 0
我在iPython中运行了下面的网格搜索分类器。
然后尝试通过酸洗来序列化它，但是收到了以下回溯：
In [6]: with open('clf.pkl', 'wb') as f:
cPickle.dump(clf, f)
...:
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
&l
浏览 3提问于2012-08-17得票数 3
回答已采纳
Dill.detect.children需要两个参数：obj和objtype。
检查一个我可以调用的音频对象：
dill.detect.children(audiofile, object)
dill.detect.children(audiofile, dict)
dill.detect.children(audiofile, list)
没有错误的返回。
但是如何寻找例如的方法呢？
type(audiofile.save)
返回
instancemethod
试过
dill.detect.children(audiofile, instancemethod)
回传
NameError: n
浏览 2提问于2014-09-03得票数 0
我有一个耗时的函数，它用不同的输入参数多次调用。我试图通过使用Python3中的Pool模块中的multiprocessing来并行化它。
#! /usr/bin/env python3
import rospy
import actionlib
import multiprocessing as mp
from actionlib_tutorials.msg import FibonacciAction, FibonacciResult
def time_taking_task(n):
# only for debugging
a, b = 0, 1
for _
浏览 4提问于2022-02-03得票数 0
我有下面的代码。
def main():
(minI, maxI, iStep, minJ, maxJ, jStep, a, b, numProcessors) = sys.argv
for i in range(minI, maxI, iStep):
for j in range(minJ, maxJ, jStep):
p = multiprocessing.Process(target=functionA, args=(minI, minJ))
p.start()
def functionB((a, b)):
subpr
浏览 3提问于2012-07-02得票数 8
1回答
我有一个脚本，其中的一部分有时能够并行运行。Python 3.6.6
目标是最大限度地减少执行时间。
其中一个部分是连接到Redis，获取两个键的数据，每个键都是pickle.loads，并返回处理过的对象。
对于这样的任务，最好的解决方案是什么？我已经尝试过Queue()，但是Queue.get_nowait()锁定了脚本，并且在{process}.join()之后，即使任务已经完成，它也会停止执行。使用pool.map会引发TypeError: can't pickle _thread.lock objects。
我所能实现的就是所有部分的并行运行，但仍然不能连接结果
浏览 1提问于2018-12-09得票数 1
这个对我来说似乎有点棘手。不久前，我已经设法用下面的内容覆盖了一个实例的方法：
def my_method(self, attr):
pass
instancemethod = type(self.method_to_overwrite)
self.method_to_overwrite = instancemethod(my_method, self, self.__class__)
这对我来说工作得很好；但现在我试图重写一个实例的__getattribute__()函数，该函数对我不起作用，原因是该方法似乎是
<type 'method-wrapper'&g
浏览 1提问于2009-10-13得票数 4
回答已采纳
1回答
我用的是scrapy和硒的混合。我想在多个任务中并行运行我的解析函数。我想同时打开多个网址。所以我使用Pool.map函数将我的parse()函数映射到一个数组(1，2，3)。但令人尴尬的是，我的函数是由HttpResponse对象通过scrapy传递的，所以它不能通过Pool.map()函数传递i参数。我将map()函数放入或放出了爬行器类。但我不知道该如何完成。
class FacebookSpider(scrapy.Spider):
name = 'facebk'
start_urls = ['https://www.facebook.com
浏览 0提问于2016-11-02得票数 1
1回答
我正在处理一些非常大的文件。
我可以使用使用collections.Counter子类在进程之间共享的multiprocessing.BaseManager集合来计数特定字符串的出现情况。
虽然我可以分享柜台和表面上的泡菜，但它似乎没有被正确地腌制。我可以把字典复制到一本我可以挑选的新字典里。
我试图了解如何避免共享计数器的“副本”，然后再选择它。
这是我的(伪代码)：
from multiprocessing.managers import BaseManager
from collections import Counter
class MyManager(BaseManager):
浏览 2提问于2015-02-07得票数 1
我要问的是“如何对继承自dict并定义__slots__的类进行pickle”。然后我意识到下面的class B中令人痛苦的解决方案实际上是有效的……
import pickle
class A(dict):
__slots__ = ["porridge"]
def __init__(self, porridge): self.porridge = porridge
class B(A):
__slots__ = ["porridge"]
def __getstate__(self):
# Returning
浏览 2提问于2011-03-09得票数 12
回答已采纳
在Ruby语言中，当引用"String“类的"downcase”方法时，我会编写String#downcase。当谈到“新”类方法时，我写的是String.new。
Objective-C也有类似的东西吗？
浏览 4提问于2009-08-31得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
