前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Python中的GIL是个什么玩意?

Python中的GIL是个什么玩意?

作者头像
我被狗咬了
发布于 2019-09-25 12:15:04
发布于 2019-09-25 12:15:04
1.4K0
举报
文章被收录于专栏:Python乱炖Python乱炖

关于 Python的多线程,经常我们会听到老手说:“python下多线程是鸡肋,推荐使用多进程!”,但是为什么这么说呢?

要知其然,更要知其所以然。所以有了下面的深入研究:

首先强调背景:

1、GIL是什么?GIL的全称是Global Interpreter Lock(全局解释器锁),来源是python设计之初的考虑,为了数据安全所做的决定。

2、每个CPU在同一时间只能执行一个线程(在单核CPU下的多线程其实都只是并发,不是并行,并发和并行从宏观上来讲都是同时处理多路请求的概念。但并发和并行又有区别,并行是指两个或者多个事件在同一时刻发生;而并发是指两个或多个事件在同一时间间隔内发生。) 在Python多线程下,每个线程的执行方式: 1.获取GIL 2.执行代码直到sleep或者是python虚拟机将其挂起。 3.释放GIL

可见,某个线程想要执行,必须先拿到GIL,我们可以把GIL看作是“通行证”,并且在一个python进程中,GIL只有一个。拿不到通行证的线程,就不允许进入CPU执行。

在python2.x里,GIL的释放逻辑是当前线程遇见IO操作或者ticks计数达到100(ticks可以看作是python自身的一个计数器,专门做用于GIL,每次释放后归零,这个计数可以通过 sys.setcheckinterval 来调整),进行释放。

而每次释放GIL锁,线程进行锁竞争、切换线程,会消耗资源。并且由于GIL锁存在,python里一个进程永远只能同时执行一个线程(拿到GIL的线程才能执行),这就是为什么在多核CPU上,python的多线程效率并不高。

那么是不是python的多线程就完全没用了呢?

在这里我们进行分类讨论:

1、CPU密集型代码(各种循环处理、计数等等),在这种情况下,ticks计数很快就会达到阈值,然后触发GIL的释放与再竞争(多个线程来回切换当然是需要消耗资源的),所以python下的多线程对CPU密集型代码并不友好。

2、IO密集型代码(文件处理、网络爬虫等),多线程能够有效提升效率(单线程下有IO操作会进行IO等待,造成不必要的时间浪费,而开启多线程能在线程A等待时,自动切换到线程B,可以不浪费CPU的资源,从而能提升程序执行效率)。所以python的多线程对IO密集型代码比较友好。

而在python3.x中,GIL不使用ticks计数,改为使用计时器(执行时间达到阈值后,当前线程释放GIL),这样对CPU密集型程序更加友好,但依然没有解决GIL导致的同一时间只能执行一个线程的问题,所以效率依然不尽如人意。

多核多线程比单核多线程更差,原因是单核下多线程,每次释放GIL,唤醒的那个线程都能获取到GIL锁,所以能够无缝执行,但多核下,CPU0释放GIL后,其他CPU上的线程都会进行竞争,但GIL可能会马上又被CPU0拿到,导致其他几个CPU上被唤醒后的线程会醒着等待到切换时间后又进入待调度状态,这样会造成线程颠簸(thrashing),导致效率更低

回到最开始的问题:经常我们会听到老手说:“python下想要充分利用多核CPU,就用多进程”,原因是什么呢?

原因是:每个进程有各自独立的GIL,互不干扰,这样就可以真正意义上的并行执行,所以在python中,多进程的执行效率优于多线程(仅仅针对多核CPU而言)。

所以我们能够得出结论:多核下,想做并行提升效率,比较通用的方法是使用多进程,能够有效提高执行效率。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-07-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Python乱炖 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Python - 多线程
**线程(Thread)**也叫轻量级进程,是操作系统能够进行运算调度的最小单位,它被包涵在进程之中,是进程中的实际运作单位。线程自己不拥有系统资源,只拥有一点儿在运行中必不可少的资源,但它可与同属一个进程的其它线程共享进程所拥有的全部资源。一个线程可以创建和撤消另一个线程,同一进程中的多个线程之间可以并发执行。
为为为什么
2022/08/04
6920
python3 gil锁_python同步锁
python的使用者都知道Cpython解释器有一个弊端,真正执行时同一时间只会有一个线程执行,这是由于设计者当初设计的一个缺陷,里面有个叫GIL锁的,但他到底是什么?我们只知道因为他导致python使用多线程执行时,其实一直是单线程,但是原理却不知道,那么接下来我们就认识一下GIL锁
全栈程序员站长
2022/09/19
6590
python3 gil锁_python同步锁
Python进阶——为什么GIL让多线程变得如此鸡肋?
做 Python 开发时,想必你肯定听过 GIL,它经常被 Python 程序员吐槽,说 Python 的多线程非常鸡肋,因为 GIL 的存在,Python 无法利用多线程提高性能。
_Kaito
2021/03/23
8730
Python进阶——为什么GIL让多线程变得如此鸡肋?
python GIL解释器
全局解释器锁(Global Interpreter Lock)是计算机程序设计语言解释器用于同步线程的工具,使得在同一进程内任何时刻仅有一个线程在执行。常见例子有CPython(JPython不使用GIL)与Ruby MRI。
云深无际
2021/04/14
1.1K0
python GIL解释器
Python中的GIL锁
在多线程的实现过程中,为了避免出现资源竞争问题,可以使用互斥锁来使线程同步(按顺序)执行。
Python碎片公众号
2021/02/26
4660
Python中的GIL锁
Python 多线程与多进程
原文地址:http://www.cnblogs.com/whatisfantasy/p/6440585.html
Dar_Alpha
2018/10/09
6170
进程队列补充、socket实现服务器并发、线程完结
解释型语言单个进程下多个线程不可以并行,但是向C语言等其他语言中在多核情况下是可以实现并行的,所有语言在单核下都是无法实现并行的,只能并发。
GH
2019/12/16
5920
进程队列补充、socket实现服务器并发、线程完结
Python 多进程与多线程
看到这里,也许你会疑惑。这很正常,所以让我们带着问题来阅读本文章吧。 问题: 1、Python 多线程为什么耗时更长? 2、为什么在 Python 里面推荐使用多进程而不是多线程?
猴哥yuri
2018/08/16
1.2K0
python的多线程是否没有用了[通俗易懂]
相同的代码,为何有时候多线程会比单线程慢,有时又会比单线程快? 这主要跟运行的代码有关: 1、 CPU密集型代码 (各种循环处理、计数等等 ),在这种情况下,由于计算工作多, ticks计数很快就会达到 100阈值,然后触发 GIL的释放与再竞争 (多个线程来回切换当然是需要消耗资源的),所以 python下的多线程遇到 CPU密集型代码时,单线程比多线程效率高。 IO密集型代码 (文件处理、网络爬虫等 ),多线程能够有效提升效率 (单线程下有 IO操作会进行 IO等待,造成不必要的时间浪费,而开启多线程能在 线程 A等待时,自动切换到线程 B,可以不浪费 CPU的资源,从而能提升程序执行效率 )。
全栈程序员站长
2022/09/06
4730
python的GIL锁
处理机:是计算机中存储程序和数据,并按照程序规定的步骤执行指令的部件。包括中央处理器、主存储器、I/O接口。
西西嘛呦
2020/08/26
4530
【干货】python多进程和多线程谁更快
而python里面的多线程显然得拿到GIL,执行code,最后释放GIL。所以由于GIL,多线程的时候拿不到,实际上,它是并发实现,即多个事件,在同一时间间隔内发生。
未名编程
2024/10/12
1000
【干货】python多进程和多线程谁更快
python多线程菜鸟教程_python实现多线程有几种方式
大家好,我是架构君,一个会写代码吟诗的架构师。今天说一说python多线程菜鸟教程_python实现多线程有几种方式,希望能够帮助大家进步!!!
Java架构师必看
2022/07/06
7680
Python 中的 GIL(全局解释器锁)
在Python中,GIL是一个广为人知的概念,它影响了Python解释器的多线程执行。GIL(Global Interpreter Lock)是一种机制,它可以确保在同一时间只有一个线程在Python解释器中执行字节码。这意味着,尽管Python中有多线程的概念,但在实际执行过程中,同一时刻只有一个线程被允许执行。
疯狂的KK
2023/07/24
5590
Python 中的 GIL(全局解释器锁)
Python Threading 学习笔记 | 5、不一定有效率GIL
GIL的全称是Global Interpreter Lock(全局解释器锁),来源是python设计之初的考虑,为了数据安全所做的决定。
TeamsSix
2019/11/05
3820
python3.9多线程_python多线程没用
线程也叫轻量级进程,是操作系统能够进行运算调度的最小单位,它被包涵在进程之中,是进程中的实际运作单位。线程自己不拥有系统资源,只拥有一点儿在运行中必不可少的资源,但它可与同属一个进程的其他线程共享进程所拥有的全部资源。一个线程可以创建和撤销另一个线程,同一个进程中的多个线程之间可以并发执行
全栈程序员站长
2022/09/19
1.1K0
python3.9多线程_python多线程没用
Python的全局解释器锁(GIL)GIL是什么为什么会有GILGIL的影响顺序执行的单线程(single_thread.py)同时执行的两个并发线程(multi_thread.py)当前GIL设计的
转一篇关于Python GIL的文章。 归纳一下,CPU的大规模电路设计基本已经到了物理意义的尽头,所有厂商们都开始转向多核以进一步提高性能。Python为了能利用多核多线程的的优势,但又要保证线程之间数据完整性和状态同步,就采用了最简单的加锁的方式(所以说Python的GIL是设计之初一时偷懒造成的!)。Python库的开发者们接受了这个设定,即默认Python是thread-safe,所以开始大量依赖这个特性,无需在实现时考虑额外的内存锁和同步操作。但是GIL的设计有时会显得笨拙低效,但是此时由于内
SeanCheney
2018/04/24
1.4K0
Python的全局解释器锁(GIL)GIL是什么为什么会有GILGIL的影响顺序执行的单线程(single_thread.py)同时执行的两个并发线程(multi_thread.py)当前GIL设计的
Python Web学习笔记之GIL机制下的鸡肋多线程
为什么有人会说 Python 多线程是鸡肋?知乎上有人提出这样一个问题,在我们常识中,多进程、多线程都是通过并发的方式充分利用硬件资源提高程序的运行效率,怎么在 Python 中反而成了鸡肋? 有同学可能知道答案,因为 Python 中臭名昭著的 GIL。 那么 GIL 是什么?为什么会有 GIL?多线程真的是鸡肋吗? GIL 可以去掉吗?带着这些问题,我们一起往下看,同时需要你有一点点耐心。 多线程是不是鸡肋,我们先做个实验,实验非常简单,就是将数字 “1亿” 递减,减到 0 程序就终止,这个任务如果我们
Jetpropelledsnake21
2018/06/20
6180
对GIL的一些理解
python的代码执行由python虚拟机(也叫解释器主循环,CPython版本)来控制,python在设计之初就考虑到在解释器的主循环中,同时只有一个线程在运行。即在任意时刻只有一个线程在解释器中运行。对python虚拟机访问的控制由全局解释锁GIL控制,正是这个锁来控制同一时刻只有一个线程能够运行。
步履不停凡
2019/09/11
6490
深入解析Python中的GIL(全局解释器锁)
在Python多线程编程中,GIL(全局解释器锁)是一个重要的概念。本文将深入解析GIL的定义、作用机制以及对多线程编程的影响。
疯狂的KK
2023/07/31
1.2K1
深入解析Python中的GIL(全局解释器锁)
Python 全局解释器锁(GIL):影响因素、机制与性能优化
在Python语言中,全局解释器锁(Global Interpreter Lock,简称GIL)是一个备受争议的话题。GIL是Python语言中特有的机制,对于多线程编程产生了一些限制。本文将深入探讨GIL的背景、作用、机制以及如何进行性能优化。
疯狂的KK
2023/07/31
1.4K1
Python 全局解释器锁(GIL):影响因素、机制与性能优化
相关推荐
Python - 多线程
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档