如何覆盖pickle类中的dump/load方法 - 自定义pickle和unpickling - Python
在Python中，pickle模块用于序列化和反序列化Python对象。为了自定义pickle和unpickling，您需要在类中实现__reduce__()方法。以下是如何覆盖pickle类中的dump/load方法的示例：
import pickle
class MyClass:
def __init__(self, value):
self.value = value
def __reduce__(self):
return (MyClass, (self.value,))
# 自定义pickle和unpickling
class CustomPickle:
@staticmethod
def dump(obj, file_path):
with open(file_path, 'wb') as file:
pickle.dump(obj, file)
@staticmethod
def load(file_path):
with open(file_path, 'rb') as file:
return pickle.load(file)
# 创建一个MyClass实例
my_obj = MyClass("Hello, world!")
# 使用自定义pickle和unpickling
CustomPickle.dump(my_obj, 'my_obj.pkl')
loaded_obj = CustomPickle.load('my_obj.pkl')
print(loaded_obj.value) # 输出：Hello, world!在这个例子中，我们创建了一个名为MyClass的类，并实现了__reduce__()方法。然后，我们创建了一个名为CustomPickle的类，其中包含了dump()和load()静态方法，用于自定义pickle和unpickling。最后，我们创建了一个MyClass实例，并使用CustomPickle类进行pickle和unpickling。
请注意，这个例子中没有提及任何云计算品牌商。如果您需要了解如何在腾讯云中使用pickle，请参考以下链接：
这个链接提供了有关腾讯云对象存储服务的信息，您可以在这里找到如何使用pickle的示例。
相关·内容
1回答
请考虑以下示例
import pickle
l1 = [1,2,3,4]
l2 = [5,6,7,8]
with open("test.txt", "ab") as fp: #Pickling
pickle.dump(l1, fp)
fp.close()
with open("test.txt", "ab") as fp: #Pickling
pickle.dump(l2, fp)
fp.close()
with open("test.txt", "rb") a
浏览 0提问于2019-03-21得票数 1
回答已采纳
2回答
我正在浏览一个python3的教程，我在打印时遇到了奇怪的行为。例如：
print ("\nUnpickling lists.")
pickle_file = open("pickles1.dat", "rb")
variety = pickle.load(pickle_file)
shape = pickle.load(pickle_file)
brand = pickle.load(pickle_file)
print (variety,"\n",shape,"\n",brand)
pickle_file.cl
浏览 2提问于2013-06-26得票数 1
回答已采纳
但是，pickle.load出于自己的目的调用__setitem__，而该方法(当然)被覆盖以确保对字典的更改被传播回持久存储--因此它调用pickle.dump。
除了使用暴力(如下所示)之外，还有什么办法可以解决这个问题吗？我尝试使用特殊方法阅读以寻找解决方案，但没有找到任何解决方案。
下面的代码监视是否正在取消酸洗，并在这种情况下跳过pickle.dump；虽然它工作得很好，但感觉很麻烦。
import os, pickle
class PersistentDict(dict):
def __new__(cls, *args, **kwargs):
if not
浏览 0提问于2017-02-19得票数 5
我使用pickle来保存我受过训练的ML模型。对于学习部分，我使用scikit-learn库并构建一个RandomForestClassifier
rf = RandomForestClassifier(n_estimators=100, max_depth=20,
min_samples_split=2, max_features='auto', oob_score=True,
random_state=123456)
rf.fit(X, y)
fp = open('model.pckl', 'wb')
pickle.dump(rf
浏览 0提问于2018-03-02得票数 1
回答已采纳
1回答
我有自定义list和字典类，在Python3.7中，这些类不再起作用。
import pickle
class A(dict):
pass
class MyList(list):
def __init__(self, iterable=None, option=A):
self.option=option
if iterable:
for x in iterable:
self.append(x)
def append(self, obj):
if isin
浏览 0提问于2018-09-14得票数 8
回答已采纳
首先，我意识到对于这个特定的错误，已经有多个问题被问到了，但是我找不到任何问题来解决它发生在我身上的确切背景。我还尝试了为其他类似错误提供的解决方案，但没有产生任何不同。
我使用python模块pickle保存要文件的对象，并使用以下代码重新加载它：
with open('test_file.pkl', 'wb') as a:
pickle.dump(object1, a, pickle.HIGHEST_PROTOCOL)
这不会引发任何错误，但是当我尝试使用以下代码打开文件时：
with open('test_file.pkl', &
浏览 0提问于2018-05-03得票数 4
回答已采纳
因此，我正在尝试使用Python的pickle将一些对象保存到Windows7的磁盘上。我正在使用下面的代码，它在几乎任何任意对象上都会失败( saveobj的内容并不重要，无论如何它都会失败)。下面是我的测试代码：
import pickle, os, time
outfile = "foo.pickle"
f = open(outfile, 'wb')
p = pickle.Pickler(f, -1)
saveobj = ( 2,3,4,5,["hat", {"mat": 6}])
p.save(saveobj)
#pick
浏览 3提问于2011-07-08得票数 1
回答已采纳
在Python3.5中，我创建了一个非常简单的dict子类，它使用同义键(存储为字典属性)：
class synonymDict(dict):
def __init__(self, synonyms=None, *args, **kwargs):
dict.__init__(self, *args, **kwargs)
self.synonyms = {} if synonyms is None else synonyms
def __getitem__(self, name):
return dict.__getitem__
浏览 0提问于2019-02-15得票数 0
2回答
在spyder上读取.pkl文件(python3.6.5)时，会出现以下错误：
IN: with open(file, "rb") as f:
data = pickle.load(f)
Traceback (most recent call last):
File "<ipython-input-5-d9796b902b88>", line 2, in <module>
data = pickle.load(f)
AttributeError: Can't get attribute 'S
浏览 0提问于2018-05-22得票数 18
回答已采纳
我有一个for循环，它在将我的6个文件(AWA、REM等)发送到混淆矩阵部分之前调用它们。我想保存每个生成的列表(6个列表)，以便以后可以调用它们并绘制混淆矩阵。
我用过泡菜。
代码如下：
#Here I load the matlab files
for name in ["AWA", "Rem", "S1","S2","SWS","stades"]:
x=sio.loadmat('/home/{}_FeaturesAll.mat'.format(name))['
浏览 0提问于2016-10-31得票数 0
2回答
python酸菜不一致
、、、、
我在Ubuntu上使用python3.5。我用wrapper训练了一个模型，并用pickle保存了它。
以下是pickle文件的链接：
问题是每次我加载它时，结果都是不同的。
例如：
a = pickle.load(open('mymodel', 'rb'))
b = pickle.load(open('mymodel', 'rb'))
print(a == b)
我得到了result False，但我认为它应该是True。
有人能解释这个吗？有什么办法可以解决这个问题吗？
非常感谢!
浏览 1提问于2016-12-14得票数 0
2回答
我在尝试解选这个类的子类时遇到了问题。当我打开它的时候，东西就不在那里了。怎么回事？班级帐户：
def __init__(self, server, port, smtp_server, smtp_port):
self.server = server
self.port = port
self.smtp_server = smtp_server
self.smtp_port = smtp_port
self.save()
def save(self):
#save accoun
浏览 0提问于2010-07-16得票数 0
回答已采纳
2回答
用Python挑选类实例的字典
、、、、
如何在一个文件(Python 1)中包含一个类的实例(Python 1)，以及在另一个文件中包含一个类的实例(Python 2)的字典对象( pickle pickle.load )？
我有一个由几个文件组成的庞大而复杂的数据集，我创建了一个类来存储我的所有属性。我制作了一本字典来存储所有的样本和属性。key = sample，value =包含atributes的类的实例。例子如下：
#Python File 1
import random
class Storage:
def __init__(self,label,x,y):
self.label = labe
浏览 7提问于2015-10-08得票数 1
回答已采纳
我有一个Python3.6脚本，它训练SKLearn模型，然后使用以下代码保存模型：
with open('filepath', 'wb') as f:
pickle.dump(trained_model, f, protocol=2)
当我尝试加载python3.6中的泡菜时，一切都进行得很好：
>>with open('filepath', 'rb') as f:
>> model = pickle.load(f)
>>
>>model
RandomForestC
浏览 3提问于2017-10-30得票数 1
回答已采纳
2回答
查找经腌制的数据
、、
是否可以跳转到Python中的腌制文件中的特定记录？
例如：
import pickle
with open ('BinaryFile.dat', mode='wb') as MyFile:
pickle.dump('Item1', MyFile)
pickle.dump('Item2', MyFile)
pickle.dump('Item3', MyFile)
pickle.dump('Item4', MyFile)
pickle.dump('It
浏览 0提问于2019-04-23得票数 2
回答已采纳
1回答
当我用泡菜和单品一起使用时，我犯了一个错误。
我写了3个程序文件：
表示要腌制的类，用于使用#1中类的类，单元测试用于测试类2.
实码分别如下。
#1. ClassToPickle.py
import pickle
class ClassToPickle(object):
def __init__(self, x):
self.x = x
if __name__=="__main__":
p = ClassToPickle(10)
pickle.dump(p, open('10.pickle', 'w'))
浏览 5提问于2011-10-28得票数 7
回答已采纳
1回答
python多处理mssql游标
、、、、
是否存在连接池或跨多个进程使用连接？
我正在尝试跨多个进程使用一个连接。以下是代码(在python2.7上运行，pyodbc)。
# Import custom python packages
import pathos.multiprocessing as mp
import pyodbc
class MyManagerClass(object):
def __init__(self):
self.conn = None
self.result = []
def connect_to_db(self):
conn = pyod
浏览 2提问于2016-02-12得票数 1
1回答
当我将一个类实例转储到带有pickle模块的文件中时，它是成功的，但是，当我从该文件加载实例时，它失败了，并引发了TypeError异常。 我发现所有从set派生的子类在尝试解选它时都会引发一个TypeError。 class TreeKeys(set):
def __init__(self):
super(TreeKeys, self).__init__()
def add(self, tk):
assert tk.__class__ == tuple
super(TreeKeys, self).add(tk)
if _
浏览 12提问于2019-10-11得票数 2
2回答
我正在尝试学习如何在Python中使用pickle模块：
import pickle
x = 123
f = open('data.txt','w')
pickle.dump(x,f)
下面是我得到的结果：
Traceback (most recent call last):
File "D:\python\test.py", line 5, in <module>
pickle.dump(x,f)
TypeError: must be str, not bytes
但是，下面的代码运行得很好：
import pickle
浏览 0提问于2012-01-03得票数 26
回答已采纳
为什么下面的自定义异常类不能使用pickle模块正确地序列化/反序列化？
import pickle
class MyException(Exception):
def __init__(self, arg1, arg2):
self.arg1 = arg1
self.arg2 = arg2
super(MyException, self).__init__(arg1)
e = MyException("foo", "bar")
str = pickle.dumps(e)
obj = pickle.
浏览 0提问于2013-04-27得票数 39
回答已采纳
1回答
我继承了一些python代码，它用下面的代码将输出保存到泡菜中：
def save_picklefile_and_close(self):
pickle.dump({'p_index': self.p_index, 'p_val': self.p_val,
'z': self.z, 'w': self.w, 'nd': self.nd, 'nfg': self.nfg,
'lamb_scalar': self
浏览 0提问于2015-12-19得票数 0
回答已采纳
1回答
我有以下方法：
def save(self):
vertices = self.mindmap.get_vertices()
edges = self.mindmap.get_edges()
output = open('mindmap.pkl', 'wb')
pickle.dump(edges, output)
pickle.dump(vertices, output)
output.close()
当我调用此方法时，会得到以下错误：
Traceback (most recent call last):
浏览 0提问于2014-05-13得票数 2
回答已采纳
1回答
这里我有这个类定义。当我在下面的代码中运行时，它会引发以下错误。
sm = SaliencyMaskSlic()
operations = [('img_resize', img_resize), ('sal_mask', sm.transform)]
args_list = [{'h_size':258}, {'cropped':True}]
pre_pipeline = Pipeline(ops=operations, arg_list=args_list)
ch = ColorHist('RGB', [6,
浏览 0提问于2014-12-15得票数 1
1回答
我在skopt包中对gp_minimize使用了贝叶斯优化，对dummy_minimize使用了随机搜索。 我想通过scikit-opt中的load选项保存这两个模型： skopt.dump(gp_100, 'gp_100.pkl') 据我所知，应该可以使用以下行加载模型： gp_100 = skopt.load('gp_100.pkl') 不幸的是，这引发了一个错误： <ipython-input-18-a24ad5907175> in <module>
1 from skopt import load
---->
浏览 28提问于2019-12-23得票数 1
目标
如果存在泡菜文件，则创建一个scratch：实例时，如果不存在泡菜文件，则从泡菜文件加载实例，然后从创建实例
HIGHEST_PROTOCOL. 使用泡菜
失败
有人在评论中提到了同样的问题。也描述了这个问题:如果协议> 1，那么泡菜会在加载过程中调用__new__，这会产生无限的递归。
# module_a.py
import os
import pickle
# import dill as pickle
save_path = r'C:\tests\pickle_tests\saved_instance_of_a.pkl'
def load(path):
浏览 4提问于2021-11-04得票数 0
回答已采纳
或者，是否有一种方法可以将类序列化并从脚本中保存，如果删除了脚本，仍然可以加载该类？
考虑三个位于同一个目录中的Python脚本：
test.py
import pickle
import test_class_pickle
tc = test_class_pickle.Test()
pickle.dump(tc, open("/home/user/testclass", "wb"))
test_class_pickle.py
class Test:
def __init__(self):
self.var1 = "Hello!
浏览 4提问于2021-11-05得票数 0
回答已采纳
2回答
拯救随机森林
、、
我想保存并加载一个合适的随机森林分类器，但我得到了一个错误。
forest = RandomForestClassifier(n_estimators = 100, max_features = mf_val)
forest = forest.fit(L1[0:100], L2[0:100])
joblib.dump(forest, 'screening_forest/screening_forest.pkl')
forest2 = joblib.load('screening_forest/screening_forest.pkl')
错误是：
File
浏览 1提问于2014-12-17得票数 9
1回答
我正在使用python中的pickle，我使用以下代码：
fe = input("Enter the file you want: ")
f = calculate_hash(fe)
handle = open('filename.pickle', 'rb')
b = pickle.load(handle)
strings = re.findall(f, handle.read())
if strings:
print "yes" # here I want to change/edit the "L
浏览 1提问于2014-07-31得票数 0
我还没有弄清楚如何使用pandas DataFrames在python2和python3之间进行酸洗加载/保存。在pickler中有一个“协议”选项，我尝试过但没有成功，但我希望有人能给我一个快速的想法让我试试。下面是获取错误的代码：
python2.7
>>> import pandas; from pylab import *
>>> a = pandas.DataFrame(randn(10,10))
>>> a.save('a2')
>>> a = pandas.DataFrame.load(
浏览 2提问于2013-01-29得票数 7
回答已采纳
基本上，我在创建一个情感识别应用程序，我使用Emotic的图像数据集。他们有自己的预先制作的程序和经过训练的演示模型(下面的colab链接)，但是由于某种原因，I. Prepare places pretrained model下的第三个单元遇到了错误：the first argument must be callable在第19行的Google单元中。代码：
# Converting model weights to python3.6 format
import torch
from PIL import Image
from torch.autograd import Variable
浏览 7提问于2021-07-14得票数 0
1回答
我正在尝试学习如何使用pickle，这是Python中的一个序列化特性。我已经写了以下3个基本程序：
第一个程序：
import pickle
# An arbitrary collection of objects supported by pickle.
data = {
'a': [1, 2.0, 3, 4+6j],
'b': ("character string", b"byte string"),
'c': set([None, True, False])
}
with ope
浏览 9提问于2017-07-30得票数 0
我用这种方式保存了一个python字典：
import cPickle as pickle
pickle.dump(dictname, open("filename.pkl", "wb"))
我以这种方式将其加载到另一个脚本中：
dictname = pickle.load(open("filename.pkl", "rb"))
在此之后，如何关闭文件？
浏览 9提问于2013-11-21得票数 17
回答已采纳
1回答
泡菜在做什么？
、、
我已经使用Python很多年了。我用过大量的泡菜。我不知道这是在做什么：
with codecs.open("huge_picklefile.pc", "rb") as f:
data = pickle.load(f)
print(len(data))
data = pickle.load(f)
print(len(data))
data = pickle.load(f)
print(len(data))
这又回到了我身上：
335
59
12
我太迷惑了。我习惯于将大容量文件加载到内存中。对象本身是一个巨大的数组
浏览 2提问于2018-11-29得票数 6
我的问题是在pickle.dump中保存了一个自定义类，因为这些文件被保存了，自定义类已经被更改，现在当我使用pickle.load时，我得到了这个错误。保存的文件有问题吗？
错误：
File "/cprprod/extern/lib/python2.7/pickle.py", line 1378, in load
return Unpickler(file).load()
File "/cprprod/extern/lib/python2.7/pickle.py", line 858, in load
dispatch[key](self)
file "
浏览 3提问于2013-01-09得票数 3
Error ScreenShot def read_array(fp, allow_pickle=False, pickle_kwargs=None):
version = read_magic(fp)
_check_version(version)
shape, fortran_order, dtype = _read_array_header(fp, version)
if len(shape) == 0:
count = 1
else:
count = numpy.multiply.reduce(shape, dt
浏览 25提问于2021-05-08得票数 0
Numpy数组是扩展类型(也就是在扩展中定义的C)，它在Python解释器范围之外声明其他字段(例如，data属性，它是一个Buffer Structure，如Numpy的中所记录的那样)。
为了能够序列化它，Python2使用__reduce__函数作为泡菜协议的一部分，如中所述，并解释了。
但是，即使__reduce__在Python3中仍然存在，Pickle protocol部分(以及Pickling and unpickling extension types a)也被从文档中删除了，所以不清楚是什么做了什么。
此外，还有一些与酸洗扩展类型相关的附加条目：
，被描述为一个Pickl
浏览 2提问于2017-07-29得票数 4
回答已采纳
如何纠正此错误？当我尝试用泡菜装我的保存时，它给了我这个。
Traceback (most recent call last):
File "C:\Users\user\Downloads\game.py", line 315, in <module>
menu()
File "C:\Users\user\Downloads\game.py", line 261, in menu
if (0) > int(hunger) or (0) > int(thirst):
TypeError: int() argument
浏览 2提问于2017-02-02得票数 0
回答已采纳
2回答
是否有一种特殊的方法来对对象进行筛选，以便pickle.load()对任何模块没有依赖关系？我读到，在清除对象时，Pickle尝试加载包含对象类定义的模块。有没有办法避免这种情况，这样pickle.load()就不会试图加载任何模块了吗？
浏览 8提问于2012-07-30得票数 4
这应该非常简单:我过去经常使用pickle。这次怎么了？
import pickle
with open('data/cifar-10-batches-py/data_batch_1','rb') as f:
dat = pickle.load(f)
AttributeError: 'function' object has no attribute 'load'
下面的操作也会失败(如果load被注释掉)
with open ('data/cifar-10-batches-py/small_batch'
浏览 0提问于2018-02-11得票数 0
回答已采纳
我有Python文件，我正在尝试使用以下脚本来解开该文件：
import _pickle as pickle
pickle_file = open('bof.pkl', 'rb')
data = pickle.load(pickle_file)
当我运行该程序时，我得到以下错误：
Traceback (most recent call last):
File "unpickle.py", line 4, in <module>
data = pickle.load(pickle_file)
_pickle.Unpickl
浏览 28提问于2017-06-30得票数 8
我从泡菜中加载multiprocessing.manager.dictionary时出错了。我确信运行python的目录中存在泡菜文件。
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import pickle
>>> import multiprocess
浏览 2提问于2016-03-07得票数 5
回答已采纳
我需要从协作者那里加载一组经过腌制的数据。问题是，看来我需要多个数组。我的代码如下：
f = open('data.p', 'rb')
a = pickle.load(f)
这是错误信息。
ImportError Traceback (most recent call last)
<ipython-input-3-17918c47ae2d> in <module>()
----> 1 a = pk.load(f)
/usr/lib/python2.7/pickle.pyc
浏览 2提问于2016-02-12得票数 4
回答已采纳
1回答
我对python很陌生，我正试图编写一个程序来跟踪一定数量的金钱、数字或其他东西。您可以添加或减去您的金额，并将其保存到文件中，或者检查您当前的金额。我让它使用这段代码
import pickle
num = 0
toDo = input("would you like to load or add/subtract? ")
if toDo == "add":
a = float(input("How much do you want to add? "))
pickle_in = open("Pyth
浏览 0提问于2016-05-05得票数 1
我已经看到并编写了用Python对对象进行筛选的代码。但是它们都创建物理文件来包含数据。我希望我把数据写在内存中，读取数据，然后对其进行筛选和传输。
有可能吗？
from PIL import ImageGrab
import io
import codecs
import pickle
# Model class to send Process Data to the server
class ProcessData:
process_id = 0
project_id = 0
task_id = 0
start_time = 0
end_time = 0
user_id =
浏览 3提问于2017-11-15得票数 6
5回答
我是Python新手。我正在将其他人的代码从Python2.x修改为3.5。代码通过cPickle加载一个文件。我将所有的" cPickle“事件改为”泡菜“，因为我理解泡菜取代了3.5中的cPickle。我得到了这个执行错误：
NameError: name 'cPickle' is not defined
相关代码：
import pickle
import gzip
...
def load_data():
f = gzip.open('../data/mnist.pkl.gz', 'rb')
training_da
浏览 6提问于2015-11-17得票数 12
回答已采纳
2回答
import pickle
variety = ["sweet", "box", "cat"]
shape = ["back","spear", "log"]
pickleFile = open("pickle.txt", 'w')
pickle.dump(variety, pickleFile)
pickle.dump(shape, pickleFile)
pickleFile.close()
pickleFile = open("pickle.txt&
浏览 2提问于2015-10-14得票数 12
回答已采纳
tl;dr:当我试图从pickle加载spacy PhraseMatcher模型时，我得到了这个错误：
TypeError: unpickle_vectors() takes exactly one argument (2 given)
我想知道这是我的问题，spacy问题，还是泡菜问题，但我真的不知道。以下是我正在做的事情，如果重要的话，在iPython笔记本中：
import pickle
from spacy.matcher import PhraseMatcher
nlp = spacy.load('en')
my_phrase_matcher = PhraseMat
浏览 0提问于2018-04-03得票数 0
1回答
泡菜只在循环中转储一个值
、、、、
我正在尝试挑选某些数据，这样我就可以更容易地检索它。我的代码如下所示：
import pickle
import networkx as nx
import pandas as pd
import numpy as np
import load_data as load
# load the graph
g = load.local_data()
for node in g.nodes():
# get node degree
pickle.dump(g.degree(node), open("./pickles/degree.pickle", &#
浏览 2提问于2022-08-09得票数 1
回答已采纳
2回答
我试图弄清楚如何用Python中的泡菜在已经保存的数据中添加数据
import pickle
load_written_things = open("written_things.pkl", "rb")
added_stuff = input("write:")
written_things = pickle.load(load_written_things) + pickle.dump(added_stuff, open("written_things.pkl", "wb"))
浏览 3提问于2017-08-24得票数 1
回答已采纳
Python在Python3.4到3.7中将其pickle协议更改为4，并在Python3.8中再次将其更改为protocol=5。如何在python 3.8中打开较旧的酸洗文件？ 我试过了： >>> with open('data_frame_111.pkl','rb') as pfile:
... x1 = pickle.load(pfile)
...
Traceback (most recent call last):
File "<stdin>", line 2, in <module&
浏览 228提问于2021-07-17得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
