线程不能与ThreadPoolExecutor并行执行python
的原因是Python的全局解释器锁（Global Interpreter Lock，GIL）。GIL是一种机制，它确保在任何给定的时间点只有一个线程在解释器中执行Python字节码。这意味着即使在多核处理器上，Python的多线程程序也无法实现真正的并行执行。
由于GIL的存在，当使用ThreadPoolExecutor创建线程池时，线程池中的线程在执行Python代码时会受到GIL的限制，无法同时并行执行。虽然线程池可以提供并发执行的效果，但并不是真正的并行执行。
然而，ThreadPoolExecutor在处理I/O密集型任务时仍然具有优势。因为当一个线程在等待I/O操作完成时，其他线程可以继续执行，从而提高了程序的整体效率。
对于Python中需要并行执行的计算密集型任务，可以考虑使用多进程（multiprocessing）来实现真正的并行执行。多进程可以充分利用多核处理器，并且每个进程都有自己独立的GIL，不受全局解释器锁的限制。
总结起来，线程不能与ThreadPoolExecutor并行执行Python是因为全局解释器锁（GIL）的存在。对于计算密集型任务，可以考虑使用多进程来实现并行执行。对于I/O密集型任务，线程池仍然是一种有效的并发执行方式。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云容器服务（Tencent Kubernetes Engine，TKE）：https://cloud.tencent.com/product/tke
- 腾讯云函数计算（Serverless Cloud Function，SCF）：https://cloud.tencent.com/product/scf
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
- 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iot
- 腾讯云移动开发（Mobile Development）：https://cloud.tencent.com/product/mobdev
- 腾讯云对象存储（Cloud Object Storage，COS）：https://cloud.tencent.com/product/cos
- 腾讯云区块链（Blockchain）：https://cloud.tencent.com/product/baas
- 腾讯云虚拟专用网络（Virtual Private Cloud，VPC）：https://cloud.tencent.com/product/vpc
相关·内容
我是python线程方面的新手，我正在尝试这样做:当我在线程中运行某些东西时(每当我打印输出时)，它似乎永远不会并行运行。而且，我的函数所用的时间与使用库concurrent.futures (ThreadPoolExecutor)之前相同。我必须计算数据集上某些属性的增益(我不能使用库)。由于我有大约1024个属性，而该函数的执行时间约为一分钟(我必须在for迭代中使用它)，因此我决定将attributes数组拆分为10个(仅作为示例)，并分别为每个子数组运行gain(attribut
浏览 23提问于2020-04-11得票数 5
2回答
Python的futures包允许我们享受并行执行任务的ThreadPoolExecutor和ProcessPoolExecutor。但是，对于调试，有时用虚拟并行临时替换真正的并行是有用的，虚拟并行在主线程中以串行方式执行任务，而不会产生任何线程或进程。
有没有DummyExecutor的实现？
浏览 2提问于2012-05-03得票数 19
回答已采纳
3回答
我试图在我的烧瓶应用程序中使用线程，比如：def index(): t.start在浏览器中调用127.0.0.1:5000/index时，服务器控制台中的结果与我所期望的不一样：ready to response
我希望do_sth_else()函数在其他线程中运行
浏览 13提问于2015-02-26得票数 4
回答已采纳
我有一个for循环，它在数组上迭代。对于数组中的每个项，它调用一个函数，该函数生成django-rest框架请求。每个函数调用都独立于其他函数调用。用于这一职能的一半时间是由达尔富尔地区基金会的请求占用的。用多处理池替换for循环是否有意义？如果是这样的话，我如何确保每个进程使用请求包通过单独的连接发出请求？
pool = Pool(process
浏览 0提问于2017-09-10得票数 0
回答已采纳
嗨，我对线程非常陌生，这让我很困惑，我如何并行运行这段代码？= req.json() title = res['title'] return title
break
另一个问题是，为了理解线程是如何
浏览 1提问于2020-08-21得票数 1
回答已采纳
2回答
datapoint Threading_list.append(t)
t.join()
这将创建大约100000个线程，但我被允许创建最多32个线程？
浏览 8提问于2013-02-03得票数 2
回答已采纳
我有一段python代码，由于GPU和计算的限制，我一次最多只能运行10个线程。我有100个要处理的文件夹，我想让每个线程处理一个文件夹。以下是我为实现此目的而编写的一些示例代码。running_threads.append(thread) thread.start() 在这段代码中，我检查活动线程的数量是否超过了我指定的线程限制，并且除非有空间可以再执行一
浏览 15提问于2021-09-29得票数 0
回答已采纳
1回答
我正在创建一个系统，它将在接收用户命令时执行几种操作。其中一些命令是：
该系统有一个摄像头，所以最后两个任务不能并行执行。我认为要实现它，我需要有某种并行和非并行的任务执行。我不知道java中是否存在某种可以用来实现这一点的并发性。我没有要求任何密码。任何关于如何做的指示都会对我很有帮助。
浏览 3提问于2014-05-08得票数 0
回答已采纳
1回答
我正在寻找一种方法来生成不同的线程(在我的实际程序中，线程的数量在执行过程中可以改变)来执行一个无休止的运行操作，这将在我的整个应用程序运行期间(在最坏的情况下)阻塞几秒钟。因此，我使用标准线程类和asyncio (因为我的程序的其他部分正在使用它)。这似乎是好的，根据的说法，它似乎还可以，但是在搜索异步线程和异步时，我经常会遇到使用ProcessPoolExecutor的建议(例如，在堆栈溢出帖子中)。我知道这与我给出的示例没有直接联系，但我想我开始使用这些线程来破坏
浏览 3提问于2020-09-12得票数 4
回答已采纳
线程池执行器将与主线程并行执行。主线程不会等待执行器的关闭。CommandGenerator();
浏览 5提问于2016-11-24得票数 1
回答已采纳
1回答
我想用Python实现并行快速排序。我知道快速排序，你必须选择一个透视，分区，但是如何在Python中将它们派生为独立的任务？
浏览 0提问于2019-08-16得票数 2
1回答
我知道python中有一个GIL，它强制线程只在一个内核上执行。但我根据处理器核心的数量创建进程，并在每个进程中创建线程。从理论上讲，它们会在每个进程中并行执行吗？如果工作正常，我如何在使用池的同时同步所有内容from concurrent.futures import ThreadPoolExecutordef make_threads(data):
with ThreadPoolExecu
浏览 14提问于2020-03-24得票数 0
Python没有并行运行，正在顺序调用ThreadPoolExecutor方法等待完成， 我需要运行20个并行线程 from concurrent.futures import ThreadPoolExecutorsleep
sleep(2)while True:
with ThreadPoolExecutor
浏览 231提问于2021-06-18得票数 0
回答已采纳
1回答
我已经得到了国际象棋引擎运行在几个不同的线程与另一个脚本，现在我只需要知道如何集成到一个简单的web服务器。这方面的任何帮助都将不胜感激。下面是我的代码：from aiohttp import webfrom concurrent.futures import ThreadPoolExecutorimport json
engine = chess.engine.SimpleEngine.popen_uci("/usr/games/stockf
浏览 19提问于2019-07-11得票数 0
2回答
我希望有一个连续运行的循环，而不需要等待循环中的内容。例如，在下面的示例中，我想迭代一个列表并调用一个名为doSomething()的方法，一旦调用了doSomething()方法，我就希望循环继续到第二个项目，即第三个项目，比如… { doSomething(obj);这可以用民意测验者来做，但我不想用民意测验者来做。
浏览 2提问于2012-11-16得票数 1
回答已采纳
我想在while循环中使用多任务处理，在python中使用for循环来提高代码速度，我将300个硬币放在50个列表中，所有列表都放在一个列表中。
浏览 2提问于2021-09-28得票数 0
我们在项目中使用多个线程组并行执行，如下面的ThreadPoolExecutor executorService = (ThreadPoolExecutor) Executors.newFixedThreadPool(5)；
在这里，我的问题是，当任何线程组中出现异常时，如何终止其他线程组。
浏览 4提问于2022-02-22得票数 0
1回答
我是多线程新手。我在网上看了几份文件。我注意到示例使用静态函数作为线程池输入。并行执行的任务 class Test(): self.nums =它不再并行运行了。
我尝试过ThreadPoolExecutor、ProcessPoolExecutor、Pool，它们都执行相同的操作，类实例中的函数不会并行执行</
浏览 0提问于2018-04-10得票数 0
回答已采纳
我正在尝试编写一个解决方案，其中单个线程产生可以并行执行的I/O密集型任务。每个任务都有大量的内存数据。因此，我希望能够限制当前挂起的任务的数量。如果我像这样创建ThreadPoolExecutor： ThreadPoolExecutor executor = new ThreadPoolExecutor(numWorkerThreads, numWorkerThreads我能做些什么executor.submit(callable)是否在队列已满且所有线程都
浏览 145提问于2010-12-24得票数 91
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
