如何修复在使用mpi4py并行脚本中调用subprocess.Popen导致的pickle.unpickling错误
在使用mpi4py并行脚本中调用subprocess.Popen导致的pickle.unpickling错误可以通过以下方法修复：
- 检查mpi4py和subprocess.Popen的版本兼容性：首先确保mpi4py和subprocess.Popen的版本兼容。有时候不同版本的mpi4py和subprocess.Popen之间可能存在一些不兼容的问题，导致pickle.unpickling错误。可以尝试升级或降级mpi4py和subprocess.Popen的版本，以解决兼容性问题。
- 使用pickle协议：pickle模块在序列化和反序列化对象时使用不同的协议。尝试使用不同的pickle协议来序列化和反序列化对象，以解决pickle.unpickling错误。可以尝试使用较低的协议版本，如pickle.HIGHEST_PROTOCOL-1，来避免一些不兼容的问题。
- 检查并行脚本中的代码逻辑：检查并行脚本中调用subprocess.Popen的代码逻辑，确保正确传递参数和处理返回结果。可能存在一些参数传递错误或返回结果处理不当的问题，导致pickle.unpickling错误。确保代码逻辑正确并且没有其他潜在的错误。
- 使用其他替代方法：如果以上方法无法解决pickle.unpickling错误，可以尝试使用其他替代方法来实现并行脚本的调用。例如，可以使用multiprocessing模块或其他并行计算框架来替代mpi4py和subprocess.Popen的使用。这些替代方法可能不会引起pickle.unpickling错误。
总结：修复在使用mpi4py并行脚本中调用subprocess.Popen导致的pickle.unpickling错误的方法包括检查版本兼容性、使用不同的pickle协议、检查代码逻辑和使用其他替代方法。具体的修复方法需要根据具体情况进行调试和尝试。
相关·内容
在与mpi4py并行化的脚本中，对subprocess.Popen()的重复串行调用最终会导致通信期间的数据损坏，表现为各种类型的pickle.unpickling错误(我见过取消筛选错误: EOF、似乎只有当通信的数据量很大、对子进程的串行调用数量很大或mpi进程数量很大时
浏览 26提问于2019-09-14得票数 0
回答已采纳
我对并行计算是全新的，我正在尝试建立一个小型的Raspberry Pi集群来摆弄。每当我去安装mpi4py时，我都使用pip3 install mpi4py，但是当我试图运行一个简单的测试脚本时，仍然会遇到以下错误。我可以在Hello脚本中使用mpiexec，该脚本为集群中的每个核心打印"Hello“。硬件是一个运行R
浏览 8提问于2022-04-22得票数 0
回答已采纳
我们有一个从C++代码中调用Python解释器的应用程序。C++代码与mpi并行化。解释器用于运行Python脚本(这些脚本可能涉及到是否通过mpi4py传递消息)。问题是:当我们将代码作为串行代码运行时，如果Python脚本包含错误，在stderr上，我们会得到解释器生成的消息和常见的诊断信息(发生错误的行、错误类型等)。但是
浏览 33提问于2019-06-13得票数 0
我们已经使用Ananconda python环境安装了mpi4py和petsc。对于mpi4py和petsc之类的测试代码，运行mpi效果很好。但是，当我们运行OpenMdao v2.2.0的测试mpi代码时，我们总是得到这样的错误
$ mpirun -n 4 python .MPI_LONG, rbuf=0x5629c3c809e0, rcount=1, MPI_LONG, MPI_COMM_W
浏览 3提问于2018-02-19得票数 0
使用subprocess.Popen会产生不完整的结果，因为subprocess.call提供了正确的输出任务使用shell脚本执行，该脚本调用了一组C编译的
浏览 2提问于2016-08-29得票数 3
回答已采纳
我是一名学生，我是第一次使用python。我的“并行编程”教授给了我这个简单的python代码。from mpi4py import MPIrank = comm.Get_rank()我正在
浏览 620提问于2019-11-25得票数 2
回答已采纳
脚本在info.plist和Android清单中操作必要的值，然后使用subprocess.popen调用xbuild构建每个版本。或者至少应该是这样的。(cmd, env=os.environ, shell=True)
但是，它将导致python脚本与构建并行进行。subprocess.popen的任何其他速记方法，如.call、.check_call以及sub
浏览 10提问于2017-02-21得票数 2
回答已采纳
我有一个生成系统矩阵的Python脚本。这是连续发生的，在一个处理器上，在一个进程中，没有并行化。我也有一个解算码。代码使用MPI在许多处理器上运行。目前，Python脚本创建矩阵，将其写入文件，通过subprocess.call(["mpirun ....."])调用求解器，求解器从文件中读取矩阵，进行求解，将其写回文件，最后Python脚本
浏览 5提问于2017-05-16得票数 0
如果这已经被问到了，我很抱歉，但是我已经阅读了一堆文档，我仍然不知道如何去做我想做的事情。
创建提取数据<e
浏览 1提问于2017-10-13得票数 5
2回答
我想在终端上运行一个mpi4py测试文件，但是失败了。 操作系统是mac，我使用的是带有python3的anaconda2。我通过anaconda环境安装了mpi4py。: mpirun -np 5 python test.py 错误消息为： 回溯(最近一次调用)：文件"test.py"，第3行，从mpi4py导入MPI ImportError:没有名为mpi4py回溯的模块(最近一次调用
浏览 86提问于2019-03-30得票数 0
我正在使用一个python脚本，它使用在脚本开始时定义的自定义python环境：当我运行这个python脚本时，它会产生以下错误： File "/home/gleb/amb
浏览 28提问于2022-08-08得票数 0
1回答
到目前为止，我的方法是让一个python脚本并行运行(使用mpi4py，使用48个节点)，使用subprocess.check_call调用模拟代码。我需要这个调用来运行我的mpi模拟应用程序，在这种情况下，我不需要模拟也可以并行运行。python脚本可以并行地分析数据，并在完成后启动新的模拟运行，直到大量的运行积累起来。mpi
浏览 1提问于2014-01-13得票数 7
回答已采纳
我试图在Windows764bit上使用Mpi4py 1.3和python2.7。我从下载了可安装的版本，其中包括OpenMPI 1.6.3，因此在安装的目录(*/Python27 27\lib\site-packages\mpi4py\lib)中存在以下库: libmpi.lib、现在在我的代码中，当试图导入它时：它返回以下错误</
浏览 6提问于2012-12-22得票数 19
回答已采纳
1回答
我有一个python脚本，通常使用以下命令并行运行有没有可能将这段并行的python代码嵌入到C程序中？也就是说，python.org描述了如何在C 中嵌入python代码。例如。ctime\n" Py_Finalize();
ret
浏览 0提问于2014-09-11得票数 0
1回答
我正在运行一个python脚本，它本质上是关于信息检索的。由于脚本的一次执行需要很长时间，因此我希望运行并行脚本。我在脚本中使用以下代码调用java程序：args=shlex.split(x)
print
浏览 0提问于2013-07-11得票数 0
回答已采纳
1回答
我有一个python脚本，它使用子进程调用窗口的nbtstat命令，以便从其IP地址获取计算机的主机名。这是在cmd中使用以下方法完成的：运行以下脚本将导致WindowsError: Error 2系统找不到指定的文件
import subprocessp = subprocess.Popen(['nbtstat'
浏览 1提问于2018-03-18得票数 0
1回答
我正在尝试使用PyOpt运行一些并行优化。棘手的部分是，在我的目标函数中，我还想使用mpi运行一个C++代码。#!import MPI myrank = comm.Get_rank() raise ImportError('mpi4py：
mpirun -np 20 python Script.
浏览 1提问于2015-05-22得票数 8
我有一个python脚本，在其中我使用subProcess运行两个命令。我希望这些命令并行运行。当我在我的机器上运行python脚本时，这些命令确实并行运行，但是当我通过Jenkins运行脚本时，它会一个接一个地运行它们。如何在jenkins中并行运行这些命令？f'python3 {python_script_path} {reg_path} '
processes =
浏览 3提问于2022-09-16得票数 -1
我想调用一个进程，并将它的stdd和stout输出到一个字符串中以供检查。此代码触发意外错误块。try: actualResult =stdoutexcept:
print "Unexpected
浏览 0提问于2012-11-14得票数 0
回答已采纳
我正在执行以下代码：p.communicate(input='Y')当使用"python“在shell上执行它时，它可以工作，但是在Eclipse中使用scriptName.py执行PyDev时，它会失败，原因是：
浏览 1提问于2013-04-20得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
