多处理pool.map不从函数调用返回
多处理（Multiprocessing）是一种并行计算的方法，它利用多个处理器或计算机来同时执行任务，以提高计算效率和性能。在Python中，multiprocessing模块提供了多处理的支持。
pool.map是multiprocessing模块中的一个函数，它用于并行地执行一个函数，并返回结果。该函数接受两个参数：第一个参数是要执行的函数，第二个参数是一个可迭代对象，包含了要传递给函数的参数。它将并行地对可迭代对象中的每个元素调用函数，并返回一个包含结果的列表。
在使用pool.map时，如果函数调用没有返回结果，可能有以下几个原因：
- 函数执行时间过长：如果函数执行时间过长，可能会导致pool.map无法从函数调用返回。这可能是因为函数中包含了复杂的计算或IO操作。在这种情况下，可以考虑对函数进行优化，减少执行时间。
- 函数中出现异常：如果函数中出现了异常，并且没有进行异常处理，那么pool.map可能无法从函数调用返回。在这种情况下，可以在函数中添加异常处理逻辑，以确保函数能够正常返回。
- 函数中存在死锁：如果函数中存在死锁，可能会导致pool.map无法从函数调用返回。死锁是指多个进程或线程相互等待对方释放资源，导致程序无法继续执行。在这种情况下，可以通过检查函数中的锁使用情况，解决死锁问题。
总结起来，如果在使用多处理的过程中，pool.map不从函数调用返回，可以考虑函数执行时间过长、函数中出现异常或函数中存在死锁等问题。需要根据具体情况进行排查和解决。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云函数计算（云原生 Serverless 产品）：https://cloud.tencent.com/product/scf
- 腾讯云容器服务（云原生容器化部署产品）：https://cloud.tencent.com/product/tke
- 腾讯云数据库（包括云数据库 MySQL、云数据库 PostgreSQL 等）：https://cloud.tencent.com/product/cdb
- 腾讯云云服务器（提供云上虚拟机实例）：https://cloud.tencent.com/product/cvm
- 腾讯云人工智能（包括图像识别、语音识别、自然语言处理等）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（提供物联网设备接入、数据处理等服务）：https://cloud.tencent.com/product/iotexplorer
- 腾讯云移动开发（提供移动应用开发、推送等服务）：https://cloud.tencent.com/product/mobdev
- 腾讯云对象存储（提供海量数据存储服务）：https://cloud.tencent.com/product/cos
- 腾讯云区块链（提供区块链服务和解决方案）：https://cloud.tencent.com/product/baas
- 腾讯云虚拟专用网络（提供安全的云上网络隔离环境）：https://cloud.tencent.com/product/vpc
相关·内容
1回答
我有一个简短的代码片段，可以调用pool.map来挂机。它不会在任何合理的时间内返回。这个想法是有几个点列表，并找到一个度量对应到另一个点列表。, expected the same result as above print('Calling pool.map')
distancesMultiprocess = pool.map(dist, zip(kdTreeList,
浏览 15提问于2020-02-14得票数 1
1回答
我试图使用multiprocessing包并行调用一个函数(让我们称之为myfunc)，特别是使用pool.map即pool.map(myfunc, myarglist)。如果我只是在myarglist上循环而不使用multiprocessing，就不会出现错误，因为myfunc中的所有操作都是在try块中调用的。但是，当我使用pool.map调用函数时，脚本总是停止运行，即停止打印"myfunc！“函数中的语句和进程停止使
浏览 3提问于2014-07-02得票数 4
将按顺序返回，而pool.map_async则不会。我的问题是：
r = pool.map_async(f, range(10)); print 'HERE'; print
浏览 3提问于2016-10-04得票数 2
所以我有一个我正在编写的算法，函数multiprocess应该调用另一个函数CreateMatrixMp()，并行地在尽可能多的cpus上调用。我以前从来没有做过多处理，也不能确定下面哪种方法更有效。在可能需要调用数千次的函数CreateMatrixMp()的上下文中使用“高效”一词。range(self.numPixels)]
pool = mp.Pool(processes = poolCount, maxtasksperchild= 2
浏览 3提问于2015-07-30得票数 18
回答已采纳
1回答
我正在做一个作业，现在我意识到这可能有点超出了我的能力范围(这是我做过的第一个学期)我必须输入一个高达1TB的csv文件，可能是本地无序的节拍数据(每微秒)。对数据运行过程以识别噪声，并输出清理后的数据文件。我不知道从哪里开始并行化程序。我知道，因为我的计算都是本地的，所以我应该并行地从csv导入，并运行该过程来识别噪声。
我相信做到这一点的最好方法(我可能完全错了)是使用hdf5分散、运行计算
浏览 11提问于2017-02-18得票数 1
1回答
我在python中使用模块多处理。在使用映射函数调用main函数之前，我需要从用户那里获得一些输入。我的问题是，当我用pool.map调用主函数时，主函数被多次执行之前的代码--非常简单的代码--说明了我的问题：result=rangeprint('start') print(a+10)
if __name__=="__m
浏览 2提问于2016-05-31得票数 0
回答已采纳
1回答
平行速度
、、
我正在尝试处理python的并行性。corepool = ProcessPoolExecutor(max_workers=2) #I have two cores
results = list(pool.map
浏览 4提问于2015-03-21得票数 1
回答已采纳
2回答
我希望并行地处理一个大型for循环，从我所读到的内容来看，最好的方法是使用Python标准的多处理库。pool = multiprocessing.Poo
浏览 3提问于2013-12-26得票数 1
回答已采纳
1回答
在多处理池中尝试使用全局变量时，我遇到了问题。我知道这方面已经有相当多的内容，但我正在努力落实我的案例的答案。 C = Actual Input Array For the Multiprocessing
Res= pool.map
浏览 5提问于2020-07-12得票数 0
1回答
多个函数的多处理
、、
假设我有100k的json，其中包含相当多的数据，data_jsons是包含这些文件名称的列表。另外，假设我有3个函数: 1) upload_data() 2) data_preprocess_1() 3) data_preprocess_2() temp_1 =
浏览 8提问于2019-11-05得票数 1
因此，如果我将100作业发送到10处理器，如何才能显示当前返回的作业数量。我可以获得id，但是如何从映射函数中计数已完成的返回作业的数量。我调用我的函数如下：在我的函数中，我可以打印当前的名称
current = multiprocessing.current_process
浏览 1提问于2014-10-07得票数 10
回答已采纳
1回答
我在使用Python的多处理模块时遇到了一些问题。我需要用不同的参数测试一个函数，由于该函数进行了大量的计算，所以使用所有内核是最理想的。我最终使用了pool.map()，它满足了我的需要。问题是，有时我的函数永远不会结束，所以pool.map一直被阻塞，等待一个返回值。我不知道为什么会这样。我在没有使用多处理的情况下做了很多测试，只是在for循环中传递一个接一个的参数，而它总是结束。无论如何，我现在要做的是为函数的每个worker
浏览 3提问于2016-02-02得票数 0
1回答
我需要为另一个函数处理变量airports，但是值是null，我认为这是空的，因为csv文件还没有被完全处理，对吗？
我是怎么解决的？
浏览 3提问于2015-07-28得票数 0
回答已采纳
我主要用的是Pool.map，其他的有什么优点？
浏览 0提问于2011-12-16得票数 344
回答已采纳
2回答
我正在使用pool.map来填充一个称为节点的字典。要明确的是:这个字典是在pool.map运行后填充的，所以在进程之间共享变量并不是一个问题。函数返回的所有内容以及字典中的所有内容都是可选择的。下面是我如何调用pool.map的方式： nodesPopulated = [currentNode]
connections注意:我确信这是一个多处理问题，因为我不使用pool.map</e
浏览 0提问于2018-07-26得票数 9
回答已采纳
3回答
(x):
pool=mp.Pool(processes=4) for i in range(100000000):我读过类似的关于堆栈溢出的问题，比如：
仍未得到应用结果。
浏览 2提问于2014-08-11得票数 0
回答已采纳
如何将多个参数传递给通过pool.map调用的函数？in these calls# process(param1=arg2a, param2=arg2b)
results = pool.map
浏览 8提问于2012-11-21得票数 2
回答已采纳
我有一个函数，它执行一些模拟并返回一个字符串格式的数组。由于运行模拟函数超过10000次的整个过程需要很长的时间，所以我真的很想跟踪整个操作的过程。我认为我当前代码中的问题是，pool.map运行该函数10000次，在这些操作过程中没有任何进程跟踪。一旦并行处理运行完10000个模拟
浏览 0提问于2015-02-07得票数 11
回答已采纳
multiprocessing.Lock() pool.map但是，当我将语句从pool.map(send_request, range(10000))更改为pool.map(send_request, range(9))时，输出显示maxtasksperchild
浏览 1提问于2019-09-10得票数 4
1回答
我有一个函数(preprocess_fit)，它将首先对数据集进行预处理(即平滑、基线校正和过滤掉不良数据)。然后，该函数对参数进行初始猜测，然后迭代猜测以找到优化的拟合，然后返回const1，const2。该函数还计算一组其他参数，但在此实例中不返回这些参数。然后，我需要在一个目录中的所有文件(大约1000个文件)上循环这个函数。为此，我使用包含for循环的第二个函数( function )。预处理步骤，特别是猜测迭代特别耗时。我想
浏览 11提问于2019-02-07得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
