将Python的concurrent.futures中的ThreadPoolExecutor和ProcessPoolExecutor结合起来
模型出错了，请稍后重试~
相关·内容
1回答
我正在用Python编写一个多线程应用程序，遇到了一个内核时间飞涨的问题。使用perf，我发现它确实是一个自旋锁：导致自旋锁定的代码如下
浏览 4提问于2014-03-01得票数 0
1回答
我使用的服务器有4个内核和8 8GB内存。在没有任何多线程的情况下，完成任务大约需要5分钟。 from concurrent.futures import ThreadPoolExecutor with open(filename, 'r') as f:
with ThreadPoolExecutor(max_worke
浏览 17提问于2020-08-26得票数 1
我想对我的脚本进行基准测试，并比较使用线程和进程之间的差异，但是我发现我甚至无法运行它，因为在使用ProcessPoolExecutor时，我不能使用全局变量。下面的代码将像我所期望的那样输出Hello，但是当您更改ThreadPoolExecutor for ProcessPoolExecutor时，它将输出None。from concurrent.futures import ProcessPoolExecutor</em
浏览 1提问于2018-06-15得票数 6
回答已采纳
在Python的concurrent.futures标准模块中，为什么在ProcessPoolExecutor中运行的调用数是max_workers + 1而不是ThreadPoolExecutor中的只有当提交的调用数严格大于池工作进程的数量时，才会发生这种情况。下面的Python代码片段将向ProcessPoolExecutor</e
浏览 1提问于2019-06-13得票数 4
我想通过python中的模块concurrent.futures使用并行来更新全局变量 事实证明，使用ThreadPoolExecutor可以更新我的全局变量，但是CPU并没有使用它们的所有潜力(总是在5-10%)，这是如此缓慢 ProcessPoolExecutor可以使用所有内核( 100%)，但我的全局变量不能更新，因为它们不共享相同的全局变量 如何在concurrent.futures模型中
浏览 685提问于2020-04-19得票数 4
所以我想我最好把ThreadPoolExecutor和ProcessPoolExecutor结合起来。需要说明的是:我不想等到下载完所有文件后才解压。self.url}')
with futures.ThreadPoolExecutor() as executor_threads, futures.Proces
浏览 31提问于2021-09-21得票数 0
回答已采纳
此代码在常规CPython 3.5下运行良好： print(text)
pool.submit(job, "hello")
但是如果你以python -m doctest myfile.py的形式运行它，它就挂起了。将submit(job更改为submit(print使其不挂
浏览 5提问于2018-01-12得票数 4
回答已采纳
1回答
我是第一次接触asyncio，我正在尝试制作一个简单的new服务器，它在收到请求时，计算国际象棋移动并将结果作为响应返回。问题是，进程正在阻塞，使得and服务器在评估时无法侦听和响应请求。我觉得我已经很接近了，但我不知道接下来的几个步骤如何让它正常工作。我已经得到了国际象棋引擎运行在几个不同的线程与另一个脚本，现在我只需要知道如何集成到一个简单的web服务器。下面是我的代码：from aiohttp import web
import chess.engi
浏览 19提问于2019-07-11得票数 0
我的目标是对具有数百个并发请求的外部api进行多进程请求。我使用Pool函数来实现这个功能，它工作得很好，但是对于64个工作人员，我的内存使用量为25 do (与工作人员的数量成比例)，对于一个简单的http请求来说，这似乎太高了。如何将RAM的使用量降到最低，以便启动数百名工作人员？
我的假设是，Pool函数在每个工作人员中重复整个进程内存。我怎么才能避免呢？
浏览 2提问于2019-12-12得票数 1
回答已采纳
1回答
完成这三个任务后，脚本将启动下三个任务。 目前所有进程都是并行启动的 不幸的是，我不知道该怎么办。有人能帮我吗？我的脚本： import json, osfrom subprocess import Popen, PIPE
list = open('list.txt', '
浏览 10提问于2020-04-29得票数 0
回答已采纳
我正在用Python做一个小任务：2-声明一个包含10个数字的数组。3-在并行线程中调用sum函数，并将上述数组中的数字传递给按照以下规则执行的函数：我已经完成了步骤1和步骤2，但我不知道在步骤3中该做什么。above a
浏览 0提问于2021-04-07得票数 0
我有下面的代码，它抛出“无法选择”弱的“对象”。我已经看过很多例子，人们用if __name__ == '__main__'包装if __name__ == '__main__'，但是在我的类中这是不可能的。没有关于如何在python类中使用ProcessPoolExecutor的示例。有人知道怎么做吗？.dump(obj)
TypeError: ca
浏览 3提问于2021-04-30得票数 0
我想要一些类似于Executors.newFixedThreadPool(3)的东西，它是用Java的。也就是说，我希望我的python程序一次最多分3个多线程，如果现在的多线程数是3，则等到多线程数小于3。
蟒蛇身上有类似的东西吗？非常感谢!
浏览 5提问于2013-11-18得票数 0
回答已采纳
1回答
我有一个包含这些urls列表的类，这个类返回一个自定义迭代器，它帮助我遍历这些urls以获得html (简化如下) def __init__(self, url)url_list)我的问题是，我想要处理所有的请求，而不是让获取have在我的列表上顺序操作，一旦它们完成，然后提取图像列表
浏览 5提问于2013-05-26得票数 0
作为一名Python (和编程)新手，我正在尝试将数千个PDF的文本提取到一个文件(或列表，如果更好)。这些数据将用于稍后的内容分析。我创建了一个工作函数，可以遍历目录中的所有PDF，使用pdfplumber提取文本并将其附加到列表中。 现在，我想使用多进程来加速一个非常冗长的过程。然而，我似乎不知道如何最好地实现一个使用并行进程追加到列表中的循环。下面是在我的函数中使用c
浏览 8提问于2020-10-27得票数 1
回答已采纳
= req.json() title = res['title'] return title
break
另一个问题是，为了理解线程是如何工作的，
浏览 1提问于2020-08-21得票数 1
回答已采纳
代码： p = ProcessPoolExecutor()
p.submit(lambda x: print(x), "something
浏览 17提问于2022-10-14得票数 2
回答已采纳
我计划使用concurrent.futures.ProcessPoolExecutor并行执行函数。根据，它的executor对象只能接受map中的一个简单函数。我的实际情况包括在执行“要并行化”函数之前初始化(加载数据)。我该怎么安排呢？换句话说，有一个init函数为这个tbp函数产生一些输出。每个子程序都应该有自己的输出副本，因为函数依赖于这个副本。
浏览 3提问于2015-08-21得票数 9
回答已采纳
2回答
我搞不懂多线程和多线程import concurrent.futures
with concurrent.futures.ThreadPoolExecutor() asimport concurrent.futures</em
浏览 3提问于2022-09-12得票数 0
1回答
我想用Python实现并行快速排序。我知道快速排序，你必须选择一个透视，分区，但是如何在Python中将它们派生为独立的任务？下面是它的伪代码：if n=1 then return A[1]L <- A[A[:] < pivot]
浏览 0提问于2019-08-16得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
