运行pickle.PicklingError作业时出错:无法序列化对象: TypeError：'JavaPackage‘对象不可调用
。
这个错误是由于尝试对一个不可序列化的对象进行序列化操作而引起的。具体来说，'JavaPackage'对象是一个Java包对象，它不是可序列化的。pickle模块是Python中用于序列化和反序列化对象的工具，但它只能处理Python对象。
解决这个问题的方法是避免将不可序列化的对象传递给pickle模块。如果你需要在云计算中使用pickle，可以考虑以下几点：
- 检查你的代码，确保你没有尝试对不可序列化的对象进行序列化操作。如果有，可以尝试使用其他可序列化的对象替代。
- 如果你需要在云计算中传递Java对象，可以考虑使用其他序列化工具，如JSON或XML。这些工具可以处理不同语言之间的对象序列化和反序列化。
- 如果你使用的是Python和Java混合编程，可以考虑使用Py4J或JPype等工具来实现Python和Java之间的交互。这些工具提供了更灵活的方式来处理Python和Java对象之间的通信。
总结起来，要解决这个错误，需要避免将不可序列化的对象传递给pickle模块，并考虑使用其他序列化工具或交互方式来处理不同语言之间的对象传递。
相关·内容
1回答
我正在尝试使用Jpype从Python中调用Java代码，并尝试使用JProxy实现回调的接口。如果我尝试转换它，它会给我错误"TypeError: Cannot create Java interface instance“，例如
proxy = jpype.JProxy("PutCallback", dict=d, convert=False)
javaPackage.TestClient.put(jLang.String("Pi"), 3, expiryType, jLang.String(" "), amazon.proxy)
浏览 41提问于2021-02-22得票数 0
回答已采纳
3回答
我使用的是“导入线程”和python 3.4。简单地说，我有一个主父线程和一个子线程。我需要保存我的dict文件从子线程。在线程函数中，我有变量：
def thread_function(...)
def save_to_file():
this_thread_data.my_dict or nonlocal this_thread_data.my_dict
... json or pickle
this_thread_data = local()
this_thread_data.my_dict = {...}
...
当
浏览 9提问于2014-05-20得票数 3
回答已采纳
3回答
运行以下PySpark代码时：
nlp = NLPFunctions()
def parse_ingredients(ingredient_lines):
parsed_ingredients = nlp.getingredients_bulk(ingredient_lines)[0]
return list(chain.from_iterable(parsed_ingredients))
udf_parse_ingredients = UserDefinedFunction(parse_ingredients, ArrayType(StringType()))
我得到以
浏览 4提问于2017-10-11得票数 4
回答已采纳
我使用火花放电流来收集来自tweepy的数据。在完成所有设置之后，我通过elasticsearch.index()将dict(json)发送到elasticsearch。但我得到了“不能pickle_thread.lock对象”错误和其他63个错误。回程日志太长，无法显示在我的控制台！
其设计是，我获得一个json/dict类型文件，将其转换为一个DStream，通过在map()函数中调用TextBlob，向它添加另一个特性名“感情”。这一切都很好，但是当我添加另一个映射函数来调用elasticsearch.index()时，我会得到这个错误。
下面是我的控制台中超长错误日志的一部分。
在处
浏览 1提问于2018-04-18得票数 8
回答已采纳
1回答
我想在flink流处理作业中将对象序列化为Json。在flink作业中，所有对象都需要可序列化。
我用杰克逊来序列化我的对象。
final ObjectMapper mapper = new ObjectMapper();
mapper.registerModule(new JodaModule());
mapper.disable(SerializationFeature.WRITE_DATES_AS_TIMESTAMPS);
当我使用它时，我会得到以下例外：
java.io.NotSerializableException: com.fasterxml.jackson.datatype.j
浏览 8提问于2016-12-08得票数 0
回答已采纳
我正试图在Spark扩展: https://github.com/G-Research/spark-extension/上使用Python包装器
它指定了一个diff命令，这正是我想要的；规范如下：
class Differ:
"""
浏览 10提问于2022-10-03得票数 0
我有一个使用cythonized使用的Python库。在我的所有星火集群节点上，我已经安装了whl文件如下。
pip install myapi-0.0.1-cp38-cp38-linux_x86_64.whl
当我按照下面的方式向Spark独立提交一个作业时，代码运行良好。
spark-submit \
--master spark://172.18.0.32:7077 \
test.py
当我以客户端部署模式通过纱线提交作业时，代码也运行良好。
spark-submit \
--master yarn \
--deploy-mode client \
浏览 4提问于2021-09-27得票数 0
在数据库中执行一些查询后，我得到了字符串
objectString = 'O:8:"stdClass":1:{s:5:"$date";O:8:"stdClass":1:{s:11:"$numberLong";s:13:"1546297200000";}}
我想从stdClass字符串中获取$numberLong值。我试过了
var dateObj = new Date(objectString.$date.$numberLong - 1000);
它会在此行抛出错误消息
“未捕获TypeErr
浏览 0提问于2018-06-18得票数 0
1回答
当连接在Flink的DataStreams之外时，有没有人遇到过从Flink Job连接到Cassandra的问题？
Session session = clusterBuilder.getCluster().connect();
ResultSet resultSet = session.execute(resultStatement.getQuery());
我不是在语言环境中遇到这个问题，而是在一个开发环境中。在本地连接中，它工作得很好。当我将这段代码保存在DataStream processElement中时，即使使用相同的集群构建器设置，也会在Dev中建立连接。
我在
浏览 24提问于2020-02-18得票数 0
我正在尝试将文件从S3保存到hdfs中，按年、月和日进行分区。我有S3中的文件路径和RDD中的日期信息。
def saveFile(filePath):
df = sqlContext.read.format("com.databricks.spark.csv")
.options(delimiter='|',header=True)
.load(filePath[0],schema=schema)
df.write.mode("overwrite")
.save(targetD
浏览 1提问于2016-09-20得票数 0
2回答
我想做一件非常简单的事情:启动某个worker，然后将答案返回给user。我尝试使用Flask和RQ的组合来实现这一点。
import os
from flask import Flask, session
from somewhere import do_something
from rq import Queue
from worker import conn
app = Flask(__name__)
app.debug = True
app.secret_key = '....'
q = Queue(connection=conn)
@app.route('
浏览 4提问于2012-08-28得票数 8
1回答
我有一个简单的要求，我需要在火花作业中运行sagemaker预测。
我正在试着运行下面的代码
ENDPOINT_NAME = "MY-ENDPOINT_NAME"
from sagemaker_pyspark import SageMakerModel
from sagemaker_pyspark import EndpointCreationPolicy
from sagemaker_pyspark.transformation.serializers import ProtobufRequestRowSerializer
from sagemaker_pyspark.tra
浏览 7提问于2022-09-08得票数 0
回答已采纳
我正面临一个非常有趣的问题。我已经测试过延迟任务4次了。我怀疑这是gem的设计问题还是bug。我使用命令rake jobs:work来创建worker来执行延迟的工作。
创建LongTask记录后，我还执行了一个延迟作业，该作业会将属性minutes_delayed更改为2。
如果我不更新属性，gem就能正常工作。但是一旦我编辑了描述，gem将无法正常工作，这意味着它将不会执行延迟的作业，但相关的延迟作业记录将从数据库中删除。
有趣的最终结果：
它似乎引用了一个属性完全相同的对象，这张图片是在运行时间过去之前捕获的。
这个测试是在所有测试都已完成之后捕获的。您可以看到test4的延
浏览 2提问于2012-09-14得票数 0
回答已采纳
我有一个扩展Backbone.RelationalModel的模型，它有一个一对多的关系，当我试图发送一个以该模型作为参数的ajax请求时，就会出现问题。
$.ajax(
url: 'save'
type: 'POST'
data:
project: MyApp.project
)
我得到了下面的错误，它发生在名为acquire的方法中，谁能告诉我为什么会发生这种情况吗？Uncaught TypeError: Cannot read property '_permitsAva
浏览 5提问于2013-02-04得票数 0
回答已采纳
如何配置环境，以提交一个PyDeequ作业到火花/纱线(客户端模式)从木星笔记本。除了使用环境之外，没有其他全面的解释。如何设置用于非AWS环境的环境？
如果只遵循示例，例如TypeError: 'JavaPackage' object is not callable，就会出现诸如之类的错误。
from pydeequ.analyzers import *
analysisResult = AnalysisRunner(spark) \
.onData(df) \
.addAnalyzer(Size()) \
.addAnalyzer(Completen
浏览 20提问于2021-08-16得票数 0
回答已采纳
我最初的问题是，我试图做以下几点：
def submit_decoder_process(decoder, input_line):
decoder.process_line(input_line)
return decoder
self.pool = Pool(processes=num_of_processes)
self.pool.apply_async(submit_decoder_process, [decoder, input_line]).get()
这里描述的解码器有点复杂，但重要的是，解码器是一个使用PyParsing表达式初始化的对象，该表达式调用setP
浏览 4提问于2015-01-11得票数 4
回答已采纳
1回答
我有一个接口ru.focusmedia.odp.server.scripts.api.Script，并试图根据中的示例实现它。
new Packages.ru.focusmedia.odp.server.scripts.api.Script() {
...
};
然而，这就产生了以下例外情况：
sun.org.mozilla.javascript.internal.EcmaError: TypeError: JavaPackage ru.focusmedia.odp.server.scripts.api.Script不是一个函数，而是sun.org.mozilla.javascrip
浏览 0提问于2012-07-20得票数 3
我在worklight项目中的适配器中编写了一些java代码。当我试图调用java方法时，我收到一个错误信息
"responseID":"6"，“错误”：{Ecma错误: TypeError:无法调用对象JavaPackage java.classes.FileIOPlugin中的属性downloadFile ]。它不是函数，它是\“object\”。}
我遵循了以下链接中所述的程序。
这是我的项目结构。这个结构有什么问题吗?或者我还应该再加点什么吗？
这就是我如何在适配器- in中调用java非静态方法的方法。
function downlo
浏览 3提问于2013-04-05得票数 5
回答已采纳
我使用RQ和烧瓶在循环中排队作业。我有以下代码：
from rq import Queue
from rq.job import Job
from worker import conn
q = Queue(connection=conn)
for i in range(5):
job = q.enqueue_call(
func=process_data, args=(i, data,))
print(job.get_id())
现在我得到了一个错误：
TypeError: cannot pickle '_thread.lock' object
我
浏览 5提问于2020-03-18得票数 7
Spark阶段通过newAPIHadoopRDD接口从MongoDB读取数据，大部分任务完成，但始终有两个任务处于运行状态，执行器的CPU和内存占用率较低。我不认为这与Mongodb有关，因为另一个阅读kafka streaming的作业也有类似的行为。有什么问题吗？
浏览 0提问于2016-12-20得票数 0
我在Python3.3中使用@functools.lru_cache。我想将缓存保存到一个文件中，以便在程序重新启动时恢复它。我该怎么做？
编辑1可能的解决方案：
问题酸洗__closure__
_pickle.PicklingError: Can't pickle <class 'cell'>: attribute lookup builtins.cell failed
如果我试图恢复没有它的函数，我会得到：
TypeError: arg 5 (closure) must be tuple
浏览 9提问于2013-03-23得票数 42
回答已采纳
1回答
我正在试图找出如何在pytest中设置pytest日志记录。但是，下面这两种方法都有一个错误TypeError: 'JavaPackage' object is not callable。我在py魅力中使用python3.7和pyspark <2.4.0。你能帮忙吗？非常感谢。
logger = logging.getlogger('py4j')
logger.setlevel(logger.WARN)
log4jLogger = spark.sparkContext._jvm.org.apache.log4j
log =
浏览 3提问于2021-04-16得票数 0
回答已采纳
好的，下面是该页面的代码
public class ViewDocument extends BasePage{
private List<WeinSyncFileContent> transactions;
....
public ViewDocument(){
transactions = ....;
....
listContainer.add(listView = new ListView<WeinSyncFileContent>("transactions", tran
浏览 1提问于2013-05-31得票数 1
回答已采纳
因此，我目前正在我的应用程序中使用RemoteGraphicsView，并且在视图中包含了一个LinearRegionItem。我正在尝试将信号"sigRegionChanged“连接到我的应用程序中的一个函数，但是根据我尝试的内容，我得到了以下错误。
新型信号/插槽
my_region.sigRegionChanged.connect(self.my_function)
我得到来自处理程序调用的以下错误
_pickle.PicklingError:无法选择:属性查找builtins.method失败
旧式
self.connect(spot_area, QtCore.SIGN
浏览 7提问于2014-09-05得票数 1
回答已采纳
1回答
我正在尝试从api服务器获取数据，我将余烬数据添加到了新的工具.中。
与人相处
App = Ember.Application.create();
App.Router.map(function() {
// put your routes here
});
App.ApplicationAdapter = DS.RESTAdapter.extend({
namespace: 'emberjs/ember.js',
host : 'https://api.github.com/repos'
});
App.Store = DS.
浏览 1提问于2015-04-26得票数 2
回答已采纳
我想得到上一次成功构建上游作业的构建修订版。上游作业是多分支作业。
到目前为止，我正在生成一个上游作业名称作为触发器的列表。但我似乎找不到合适的方法打电话。
import jenkins.model.Jenkins
def upstreamPackages = ['foo', 'bar']
def upstreamJobs = upstreamPackages.collect { "${it}-multibranch/master" }.join(',')
pipeline {
agent none
trig
浏览 0提问于2019-04-17得票数 1
在CUPS中，我希望保留所有新的打印机作业，检查打印机的墨盒水平，并逐个释放打印作业。(我的打印机在低于某个百分比时会杀死墨盒芯片，以防止重新装满。) 我有杯子通知工作(RSS)，并可以获得我的墨盒水平。现在，我想在CUPS (.../printers/myPrinter)中的特定打印机上启用‘hold-new-job’属性。在此之后，我必须找出如何获取所有处于挂起状态的作业，并释放一个作业(按作业ID或更多)(最好是FIFO(FHFR))以保证完整性:如果墨盒低于阈值，则作业将被挂起，直到墨盒被重置(手动)并按下Home Assistant中的按钮。 Pycups (libcups Pyt
浏览 34提问于2020-07-05得票数 2
在Apigee API代理内的javascript中，以下内容按预期工作：
var javaString = new java.lang.String("FooBar");
throw "javaString: "+javaString;
但这不是：
var date = new java.util.Date();
throw "date: "+date;
并在创建对象时抛出以下异常
TypeError: [JavaPackage java.util.Date] is not a function, it is object
我尝试了Mo
浏览 1提问于2014-01-18得票数 1
实际上，这里有三个例子。
>>> result = []
>>> for k in range(10):
>>> result += k*k
>>> result = []
>>> for k in range(10):
>>> result.append(k*k)
>>> result = [k*k for k in range(10)]
第一个会出错。错误打印如下
TypeError: 'int' object is not iter
浏览 0提问于2013-07-15得票数 2
回答已采纳
我们和Eclipse露娜一起使用worklight工作室。有时是Java适配器代码无法运行。从这个意义上说，我们引用的Java代码在适配器中不可用。
版本:启动工作灯(WebSphere应用服务器8.5.5.1/wlp-1.0.4.cl50120131011-1639)在Java HotSpot(TM)客户端VM上发布，版本1.6.0_18-b07 (en_US)
(我们使用的是的Worklight 6.2studio)
因此，当我们试图引用Java代码时，可能会看到这样的错误：
ERROR FWLSE0099E:在调用过程[项目TypeError:无法调用对象JavaPackage com.
浏览 3提问于2015-05-26得票数 0
回答已采纳
我正在尝试迭代我从使用Spark执行结构化查询时获得的Row(吡火花)。代码大致如下所示：
spark = SparkSession \
.builder \
.appName("Sessions")\
.config(...) \
.getOrCreate()
stuff = spark.read.format("parquet").options(mergeSchema=False).load(location)
result_set = spark.sql("""sql without udfs
浏览 0提问于2018-02-27得票数 0
回答已采纳
1回答
我正在尝试从ETL执行一个jar文件--这很好。当我试图从xaction调用相同的ETL时，
ERROR 05-02 09:58:28,491 - Call Data Importer - org.pentaho.di.core.exception.KettleValueException:
Javascript error:TypeError: Cannot call property runImageImpoter in object [JavaPackage com.MyTest.Data.Importer]. It is not a function, it is
浏览 2提问于2014-02-05得票数 0
回答已采纳
我有一个来自一类特定python模块的对象，它可以量化一些化合物。我试图从它的一个函数中提取输出，但我总是得到错误"TypeError:无法序列化'_io.BufferedReader‘对象。我也尝试了dill，但它给了我相同的错误。 有什么方法可以让它工作吗？
浏览 38提问于2020-08-12得票数 0
回答已采纳
我有一个接口方法，如下所示，并保存在Order.java文件和rhino脚本。
在rhino脚本中，我尝试调用接口方法。
rhino:
var x = Packages.com.data.Order.X;
print(x);
java:
package com.data;
public interface Order
{
String X = "Hello, World!";
void invoke();
}
但它没有打印"Hello world“。
相反，它正在打印
未捕获JavaScript运行时异常: TypeError:无法在object J
浏览 152提问于2018-02-15得票数 1
1回答
当通过命令运行测试用例(spec.js)时:单元，我在错误以下-
TypeError:无法指定对象“对象位置”的只读属性“分配”
抛出错误的伪代码是：
$window.window.location.assign = _.noop;
spyOn($window.window.location, 'assign');
我试着把线放在每件事上面，但没有成功-
$window.window.location.assign.writable = true;
有人能分享他/她的观点来解决这个问题吗？谢谢!！
浏览 2提问于2019-07-28得票数 0
1回答
我一直试图在Dataflow上运行一个apache beam作业，但是我从GCP中得到了一个错误，其中包含以下消息：
The job graph is too large. Please try again with a smaller job graph, or split your job into two or more smaller jobs.
过去，我用更大的图表运行过作业，没有任何问题。该作业在DirectRunner的本地运行也很好。图中大约有12个节点，包括一个从Bigquery步骤读取、一个WriteToText步骤和一个CoGroupByKey步骤。
是否有办法增加数据流
浏览 1提问于2018-03-26得票数 1
回答已采纳
如果要创建一个ActiveJob，而执行块接受一个被认为是ActiveRecord对象的单个实例的参数，那么当作业排队时，有问题的对象存在，但是在实际执行时，该对象不再存在，作业显然会失败，对吗？
MyJob < ActiveJob::Base
def perform(widget)
# do some stuff to widget
end
end
因此，一旦由于ActiveJob无法实例化原始ActiveRecord对象而导致该作业失败，它将继续失败。可以对作业进行什么更新以停止失败循环。我考虑过连接到before_perform，但我还没有看到一条前进的道路。
除了
浏览 1提问于2015-06-01得票数 4
回答已采纳
我有一个jenkins管道，它运行一个“作业”作为它的一个阶段。我想知道，是否有一种方法可以在管道中查看构建作业的日志，而无需单击作业并查看控制台输出。如果没有多次点击，就可以更容易地看到故障。
浏览 0提问于2018-07-15得票数 1
回答已采纳
当我使用azure缓存但不使用HttpRuntime.Cache时，我会出错：
不能序列化'System.Web.Services.Protocols.LogicalMethodInfo‘类型。考虑用DataContractAttribute属性标记它，并用DataMemberAttribute属性对它的所有成员进行标记。如果类型是集合，请考虑使用CollectionDataContractAttribute标记它。有关其他受支持类型，请参阅文档。
在搜索之后，我注意到这篇文章说"HttpRuntime.Cache根本不序列化数据“
样本代码：
protected void
浏览 2提问于2013-01-15得票数 2
我们有一个web应用程序，其中调用了对长时间运行或高处理器进程的请求。
我们想要创建一个windows服务来从IIS服务器上卸载它。我们将在多台计算机上安装此服务，以缩短这些作业的等待时间。我们正在考虑的一个想法是将Job对象序列化为Sql Server，并将其JobType作为另一列。
作业服务将通过使用其指示器更新行来声明作业，这将防止其他服务拾取它。一旦作业完成，该服务就会删除该条目。
我正在寻找的是其他，可能更好的想法来完成作业服务队列。
浏览 2提问于2011-05-09得票数 0
回答已采纳
import java.io.*;
public class SuperNotSerial {
public static void main(String[] args) {
Dog d = new Dog(35, "Fido");
System.out.println("before: " + d.name + " " + d.weight);
try {
FileOutputStream fs = new FileOutputStream("testSer.ser");
浏览 1提问于2013-06-13得票数 1
回答已采纳
1回答
我正在使用路径的Yigits叉，Android作业队列库进行API调用。我做了一个简单的类来平API。在类构造函数中，我调用如下所示的超级()：
super(new Params(Priority.LOW).groupBy(GROUP).requireNetwork().persist());
然后在onRun()方法中进行实际调用：
@Override
public void onRun() throws Throwable {
Call<String> request = mAPI.getPing();
request.enqueue(new PingCallb
浏览 2提问于2016-01-26得票数 1
我从这两个问题(和)合并到一起，一个JsBin示例：
如果您导航客户-> info ->联系人，它可以正常工作，但如果直接调用客户联系人(例如：)，则会中断。
加载路由时出错: customer.contact无法设置未定义TypeError的属性“存储”：无法设置未定义的属性“存储”
浏览 1提问于2014-05-29得票数 1
回答已采纳
在React中的onclick事件(不要认为React是导致问题的原因，我认为这是我处理对象和数组的方式)，我试图获取一个本地存储变量并将一个元素(键)推到它，但是它正在抛出错误的'Uncaught TypeError:无法读取属性‘in’的null。
下面是代码：
import React from 'react';
import Images from './images';
export default React.createClass({
getInitialState() {
// If doesn't ex
浏览 3提问于2016-04-27得票数 0
回答已采纳
问题
我的应用程序中有一个共享的multiprocessing.Pool对象，它是用两个队列对象(一个用于作业，另一个用于结果)初始化的。
如何将任意队列对象发送到作业队列中，并让进程将结果发送到这个替代队列？
job_q.put_nowait((item, alt_q)) # Raises an exception.
这种方法在执行多线程时工作得很好，但在执行多处理时就不行。
示例
下面的示例代码演示了我试图实现的目标。我使用两个multiprocessing.Queue对象job_q和res_q初始化池。实际上，它们是由multiprocessing.Manager创建的代理。run函数是
浏览 1提问于2017-11-08得票数 0
def link2Page(x):
tisPageout = all_page_df.select("out_degree").where("page='%s'" % x[0]).take(1)[0].out_degree # all link point to x._1
if x[1] == None or len(x[1]) < 1:
return Row(x[0], 1 /float(N), tisPageout)
newScore = 0.0
for li in x[1]:
浏览 2提问于2018-03-02得票数 0
2回答
我有一个清单理解：
thingie=[f(a,x,c) for x in some_list]
我现将其并行化如下：
from multiprocessing import Pool
pool=Pool(processes=4)
thingie=pool.map(lambda x: f(a,x,c), some_list)
但我得到了以下错误：
_pickle.PicklingError: Can't pickle <function <lambda> at 0x7f60b3b0e9d8>:
attribute lookup <lambda> o
浏览 1提问于2015-05-21得票数 3
回答已采纳
1回答
我正在试图传递一个铬分机的消息。我遵循这个例子()-：
content_script：
chrome.runtime.sendMessage({greeting: "hello"}, function(response) {
console.log(response.farewell);
});
背景：
chrome.tabs.query({active: true, currentWindow: true}, function(tabs) {
chrome.tabs.sendMessage(tabs[0].id, {greeting: "hello"}, fu
浏览 1提问于2017-09-28得票数 0
回答已采纳
我需要完成的作业
目标:创建一个程序来排序学生姓名和学生ID(编号)，创建一个字典并将其打印出来
我创建了一个空dict，使用了input函数，然后使用slipt函数进行了拆分，拆分符号是@，然后导入到空dict中
TypeError:不可散列的类型：‘list’，告诉我这是无法散列的
我想修好它，谢谢
stList = {}
userInput = str(input('input studens name:'))
numInput = str(input('input studens ID:'))
userInput = userInput.split(&#
浏览 0提问于2021-05-22得票数 0
django - 2.2.12 apscheduler - 3.6.3 我想将通知设置为在用户执行特定任务两周后发送。 scheduler.py import logging
import time
from apscheduler.schedulers.background import BackgroundScheduler
logger = logging.getLogger(__name__)
class JobLauncher:
_sched = None
def __init__(self):
JobLauncher._sched = B
浏览 45提问于2021-01-07得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
