作者 | 字节跳动技术团队 简 介 CloudWeGo - Shmipc 是字节跳动服务框架团队研发的高性能进程间通讯库，它基于共享内存构建，具有零拷贝的特点，同时它引入的同步机制具有批量收割 IO 的能力，相对于其他进程间通讯方式能明显提升性能。在字节内部，Shmipc 应用于 Service Mesh 场景下，mesh proxy 进程与业务逻辑进程、与通用 sidecar 进程的通讯， 在大包场景和 IO 密集型场景能够取得显著的性能收益。 开源社区关于这方面的资料不多，Shmipc 的开源
进程同步和通信是操作系统中的关键概念，它们在多进程或多线程环境中起着至关重要的作用。进程同步是指多个进程或线程之间按照一定的顺序执行，以避免竞争条件和不一致的结果。而进程通信则是指进程之间交换信息和共享资源的机制，使它们能够相互协作和协调工作。 进程同步和通信的重要性体现在以下几个方面：关面试中的应对能力和问题解决能力。
为了使参与并发执行的每个程序都能独立地运行，在操作系统中必须为之配置一个专门的数据结构，称为进程控制块
在我们使用的操作系统中为什么要有进程同步机制？我们的计算机系统刚开始是单道批处理系统，意思就是同一时间段内只能运行一个程序，这个程序运行完，才能运行另一个程序，这样就会导致运行效率太低，系统中的资源得不到充分的利用。这也是传统操作系统在进行业务处理的时候效率低下的主要原因，那么对于这种情况应该如何解决呢？这也是现在多道批处理系统出现的原因。
Hello，你好呀，我是灰小猿，一个超会写bug的程序猿！ 今天是10.24程序员节🙊🙊🙊！ 我要把你的名字写进代码里🖥，因为我是浪漫的程序员🙊！ 我要把你种进我的头发里💻，因为我是浪漫的程序员🙊！ 我要把你编程键盘上的CV⌨️，因为我是浪漫的程序员🙊！ 我要把你new在对象里🖱，因为我是浪漫的程序员🙊！ 我还要我们的进程同步💾，因为我是浪漫的程序员🙊！ 那么身为一名浪漫的程序员，应该如何深入的实现进程同步嘞？今天就来和小猿一探究竟吧😇【文中1024程序员表情包大赏】！ 1 问题描述 1.1 为什么要有
这两天看进程的同步与通信，看了几本书上的介绍，也从网上搜了很多资料，越看越迷惑，被这几个问题搞得很纠结。
引子 在编译2.6内核的时候，你会在编译选项中看到[*] Enable futex support这一项，上网查，有的资料会告诉你"不选这个内核不一定能正确的运行使用glibc的程序"，那futex是什么？和glibc又有什么关系呢？ 1. 什么是Futex Futex 是Fast Userspace muTexes的缩写，由Hubertus Franke, Matthew Kirkwood, Ingo Molnar and Rusty Russell共同设计完成。几位都是linux领域的专家，其中可能Ingo Molnar大家更熟悉一些，毕竟是O(1)调度器和CFS的实现者。 Futex按英文翻译过来就是快速用户空间互斥体。其设计思想其实 不难理解，在传统的Unix系统中，System V IPC(inter process communication)，如 semaphores, msgqueues, sockets还有文件锁机制(flock())等进程间同步机制都是对一个内核对象操作来完成的，这个内核对象对要同步的进程都是可见的，其提供了共享 的状态信息和原子操作。当进程间要同步的时候必须要通过系统调用(如semop())在内核中完成。可是经研究发现，很多同步是无竞争的，即某个进程进入 互斥区，到再从某个互斥区出来这段时间，常常是没有进程也要进这个互斥区或者请求同一同步变量的。但是在这种情况下，这个进程也要陷入内核去看看有没有人 和它竞争，退出的时侯还要陷入内核去看看有没有进程等待在同一同步变量上。这些不必要的系统调用(或者说内核陷入)造成了大量的性能开销。为了解决这个问 题，Futex就应运而生，Futex是一种用户态和内核态混合的同步机制。首先，同步的进程间通过mmap共享一段内存，futex变量就位于这段共享 的内存中且操作是原子的，当进程尝试进入互斥区或者退出互斥区的时候，先去查看共享内存中的futex变量，如果没有竞争发生，则只修改futex,而不 用再执行系统调用了。当通过访问futex变量告诉进程有竞争发生，则还是得执行系统调用去完成相应的处理(wait 或者 wake up)。简单的说，futex就是通过在用户态的检查，（motivation）如果了解到没有竞争就不用陷入内核了，大大提高了low-contention时候的效率。 Linux从2.5.7开始支持Futex。 2. Futex系统调用 Futex是一种用户态和内核态混合机制，所以需要两个部分合作完成，linux上提供了sys_futex系统调用，对进程竞争情况下的同步处理提供支持。 其原型和系统调用号为 #include <linux/futex.h> #include <sys/time.h> int futex (int *uaddr, int op, int val, const struct timespec *timeout,int *uaddr2, int val3); #define __NR_futex 240 虽然参数有点长，其实常用的就是前面三个，后面的timeout大家都能理解，其他的也常被ignore。 uaddr就是用户态下共享内存的地址，里面存放的是一个对齐的整型计数器。 op存放着操作类型。定义的有5中，这里我简单的介绍一下两种，剩下的感兴趣的自己去man futex FUTEX_WAIT: 原子性的检查uaddr中计数器的值是否为val,如果是则让进程休眠，直到FUTEX_WAKE或者超时(time-out)。也就是把进程挂到uaddr相对应的等待队列上去。 FUTEX_WAKE: 最多唤醒val个等待在uaddr上进程。 可见FUTEX_WAIT和FUTEX_WAKE只是用来挂起或者唤醒进程，当然这部分工作也只能在内核态下完成。有些人尝试着直接使用futex系统调 用来实现进程同步，并寄希望获得futex的性能优势，这是有问题的。应该区分futex同步机制和futex系统调用。futex同步机制还包括用户态 下的操作，我们将在下节提到。 3. Futex同步机制 所有的futex同步操作都应该从用户空间开始，首先创建一个futex同步变量，也就是位于共享内存的一个整型计数器。 当 进程尝试持有锁或者要进入互斥区的时候，对futex执行"down"操作，即原子性的给futex同步变量减1。如果同步变量变为0，则没有竞争发生， 进程照常执行。如果同步变量是个负数，则意味着有竞争发生，需要调用futex系统调用的futex_wait操作休眠当前进程。 当进程释放锁或 者要离开互斥区的时候，对futex进行"up"操作，即原子性的给futex同步变量加1。如果同步变量由0变成1，则没有竞争发生，进程照常执
引子 在编译2.6内核的时候，你会在编译选项中看到[*] Enable futex support这一项，上网查，有的资料会告诉你”不选这个内核不一定能正确的运行使用glibc的程序”，那futex是什么？和glibc又有什么关系呢？
例如，在上面的P1和P2进程中，由于异步性导致程序执行顺序并不确定，但我们必须保证代码1和代码2在代码4之前执行，此时就需要使用进程同步机制实现
大家好，又见面了，我是你们的朋友全栈君。 引子 在编译2.6内核的时候，你会在编译选项中看到[*] Enable futex support这一项，上网查，有的资料会告诉你”不选这个内核不一定能正确的运行使用glibc的程序”，那futex是什么？和glibc又有什么关系呢？ 1. 什么是Futex Futex 是Fast Userspace muTexes的缩写，由Hubertus Franke, Matthew Kirkwood, Ingo Molnar and Rusty Russell共同设计完成。几位都是linux领域的专家，其中可能Ingo Molnar大家更熟悉一些，毕竟是O(1)调度器和CFS的实现者。 Futex按英文翻译过来就是快速用户空间互斥体。其设计思想其实 不难理解，在传统的Unix系统中，System V IPC(inter process communication)，如 semaphores, msgqueues, sockets还有文件锁机制(flock())等进程间同步机制都是对一个内核对象操作来完成的，这个内核对象对要同步的进程都是可见的，其提供了共享 的状态信息和原子操作。当进程间要同步的时候必须要通过系统调用(如semop())在内核中完成。可是经研究发现，很多同步是无竞争的，即某个进程进入 互斥区，到再从某个互斥区出来这段时间，常常是没有进程也要进这个互斥区或者请求同一同步变量的。但是在这种情况下，这个进程也要陷入内核去看看有没有人 和它竞争，退出的时侯还要陷入内核去看看有没有进程等待在同一同步变量上。这些不必要的系统调用(或者说内核陷入)造成了大量的性能开销。为了解决这个问 题，Futex就应运而生，Futex是一种用户态和内核态混合的同步机制。首先，同步的进程间通过mmap共享一段内存，futex变量就位于这段共享 的内存中且操作是原子的，当进程尝试进入互斥区或者退出互斥区的时候，先去查看共享内存中的futex变量，如果没有竞争发生，则只修改futex,而不 用再执行系统调用了。当通过访问futex变量告诉进程有竞争发生，则还是得执行系统调用去完成相应的处理(wait 或者 wake up)。简单的说，futex就是通过在用户态的检查，（motivation）如果了解到没有竞争就不用陷入内核了，大大提高了low-contention时候的效率。 Linux从2.5.7开始支持Futex。 2. Futex系统调用 Futex是一种用户态和内核态混合机制，所以需要两个部分合作完成，linux上提供了sys_futex系统调用，对进程竞争情况下的同步处理提供支持。 其原型和系统调用号为 #include <linux/futex.h> #include <sys/time.h> int futex (int *uaddr, int op, int val, const struct timespec *timeout,int *uaddr2, int val3); #define __NR_futex 240 虽然参数有点长，其实常用的就是前面三个，后面的timeout大家都能理解，其他的也常被ignore。 uaddr就是用户态下共享内存的地址，里面存放的是一个对齐的整型计数器。 op存放着操作类型。定义的有5中，这里我简单的介绍一下两种，剩下的感兴趣的自己去man futex FUTEX_WAIT: 原子性的检查uaddr中计数器的值是否为val,如果是则让进程休眠，直到FUTEX_WAKE或者超时(time-out)。也就是把进程挂到uaddr相对应的等待队列上去。 FUTEX_WAKE: 最多唤醒val个等待在uaddr上进程。 可见FUTEX_WAIT和FUTEX_WAKE只是用来挂起或者唤醒进程，当然这部分工作也只能在内核态下完成。有些人尝试着直接使用futex系统调 用来实现进程同步，并寄希望获得futex的性能优势，这是有问题的。应该区分futex同步机制和futex系统调用。futex同步机制还包括用户态 下的操作，我们将在下节提到。 3. Futex同步机制 所有的futex同步操作都应该从用户空间开始，首先创建一个futex同步变量，也就是位于共享内存的一个整型计数器。 当 进程尝试持有锁或者要进入互斥区的时候，对futex执行”down”操作，即原子性的给futex同步变量减1。如果同步变量变为0，则没有竞争发生， 进程照常执行。如果同步变量是个负数，则意味着有竞争发生，需要调用futex系统调用的futex_wait操作休眠当前进程。 当进程释放锁或 者要离开互斥区的时候，对futex进行”up”操作，
操作系统的设计目标：方便性；有效性；可扩充性；开放性。 方便性和有效性 是操作系统设计中最重要的两个目标。 1990年后， 开放性已成为新系统或软件能否被广泛应用的至关重要的因素。 操作系统的基本特征：并发性；共享性；虚拟性；异步性。 并发性和共享性是多用户、多任务操作系统两个最基本的特征。 并发性是多用户、多任务操作系统最重要的特征。 在OS基本特征中，异步性是指进程是以人们不可预知的速度向前推进的。 操作系统基本类型：批处理系统；分时系统；实时系统。 在操作系统基本类型中，可靠性 是 实时系统最重要的特征。 操作系统的主要功能：处理机管理；存储器管理；设备管理；文件管理；用户接口。 操作系统的用户接口：命令接口；程序接口；图形用户接口。 在操作系统接口中，程序接口亦称为系统调用。 目前比较流行的操作系统（实例）：Windows；UNIX；Linux。 UNIX系统最本质的特征（英文缩写）：OSI。 UNIX系统的内核结构可分成两大部分：进程控制子系统；文件子系统。
共享变量：multiprocessing.Value 共享数组：multiprocessing.Array
1965年，荷兰学者Dijkstra提出的信号量（Semaphores）机制是一种卓有成效的进程同步工具。在长期且广泛的应用中，信号量机制又得到了很大的发展，它从整型信号量经记录型信号量，进而发展为“信号量集”机制。现在，信号量机制已经被广泛地应用于单处理机和多处理机系统以及计算机网络中。
Futex 是Fast Userspace muTexes的缩写，由Hubertus Franke, Matthew Kirkwood, Ingo Molnar and Rusty Russell共同设计完成。
进程管理是操作系统中一个核心的功能，负责创建、调度、同步和终止进程。一个进程基本上是一个程序的执行实例，包含了程序的代码和其活动的数据以及执行历史的状态。有效的进程管理对于确保系统的稳定性、效率和公平性至关重要。
计算机系统中，线程和进程是两个基本的概念。多线程编程已经成为现代编程中比较常见的技术，因此对于线程和进程的深刻理解变得尤为重要。
（2）不考虑缓存情况，CPU能且只能对内存进行读写，不能访问外设（输入输出设备）；
对多个相关进程在执行次序上进行协调，使并发执行的诸进程之间能按照一定的规则（或时序）共享系统资源，并能很好地相互合作，从而使程序的执行具有可再现性。
管程：管程是关于共享资源的数据结构及一组针对该资源的操作过程所构成的软件模块。 管程：管理过程
为了使并发执行的诸进程之间能有效地共享资源和相互合作，从而使程序的执行具有可再现性，必须提供进程同步机制。
操作系统（Operating System，OS）是计算机系统组成要素，是管理和控制计算机硬件与软件资源的基本软件。操作系统是用户和计算机交互的接口，也是计算机硬件和其他软件交互的接口。操作系统为用户提供各种形式的用户界面，比如Windows的图形用户界面（Graphical User Interface，GUI），Linux的命令行交互Shell。此外，为其它软件的开发提供必要的服务和相应的接口等。操作系统管理着计算机硬件资源，同时按照应用程序的资源请求，分配资源，如划分CPU时间、内存空间的开辟、调用打印机等。
现如今，一个服务端应用程序几乎都会使用到多线程来提升服务性能，而目前服务端还是以linux系统为主。一个多线程的java应用，不管使用了什么样的同步机制，最终都要用JVM执行同步处理，而JVM本身也是linux上的一个进程，那么java应用的线程同步机制，可以说是对操作系统层面的同步机制的上层封装。这里我说的操作系统，主要是的非实时抢占式内核（non-PREEMPT_RT），并不讨论实时抢占式内核（PREEMPT_RT） 的问题，二者由于使用场景不同，因此同步机制也会存在差异或出现变化。
转载自 https://www.cnblogs.com/mengyuxin/p/5358364.html
今天要分享的是Linux进程的同步机制，包括管道和IPC。之前学习的信号也有控制进程同步的作用，但是信号仅仅传输很少的信息，而且系统开销大，所以这里再介绍几种其他的进程同步机制。在之前的一篇文章中有提到相关内容，但是当时没有详细展开，可以回顾一下：Linux笔记（10）| 进程概述。
在主流的Linux内核中包含了几乎所有现代的操作系统具有的同步机制，这些同步机制包括：原子操作、信号量（sem aphore）、读写信号量（rw_sem aphore）、spinlock、BKL(Big Kernel Lock)、rwlock、brlock（只包含在2.4内核中）、RCU （只包含在2.6内核中）和seqlock（只包含在2.6内核中）
线程同步可以说在日常开发中是用的很多，但对于其内部如何实现的，一般人可能知道的并不多。本篇文章将从如何实现简单的锁开始，介绍linux中的锁实现futex的优点及原理。
线程同步可以说在日常开发中是用的很多， 但对于其内部如何实现的，一般人可能知道的并不多。 本篇文章将从如何实现简单的锁开始，介绍linux中的锁实现futex的优点及原理，最后分析java中同步机制如wait/notify, synchronized, ReentrantLock。
在操作系统中，进程之间需要进行通信以实现协作和数据共享。以下是几种常见的进程通信方式：1）管道（Pipe）：管道是一种半双工的通信方式，它可以在两个进程之间传递数据。管道的特点是数据只能单向流动，而且通常只用于具有亲缘关系的进程之间进行通信，例如父子进程之间。
在现代操作系统里，同一时间可能有多个内核执行流在执行，因此内核其实像多进程多线程编程一样也需要一些同步机制来同步各执行单元对共享数据的访问，尤其是在多处理器系统上，更需要一些同步机制来同步不同处理器上的执行单元对共享的数据的访问。在主流的Linux内核中包含了如下这些同步机制包括：
前言：非常早之前就接触过同步这个概念了，可是一直都非常模糊。没有深入地学习了解过，最近有时间了，就花时间研习了一下《linux内核标准教程》和《深入linux设备驱动程序内核机制》这两本书的相关章节。趁刚看完，就把相关的内容总结一下。
如果一个进程的执行不影响其他进程的执行，且与其他进程的进展情况无关，即它们是各自独立的，则说这些并发进程的相互之间是无关的。无关的并发进程一定没有共享的变量。
缺点： 1）、系统广播不可控，只有在系统广播发生的时候能重启，不能在进程一被杀死就重启。
在Linux中，做什么都有相应命令。一般就在bin或者sbin目录下，数量繁多。如果你事先不知道该用哪个命令，很难通过枚举的方式找到。因此，在这样没有统一入口的情况下，就需要你对最基本的命令有所掌握。
它的应用： 1.Lua语言（Lua从5.0版本开始使用协程，通过扩展库coroutine来实现 2.Python语言（在python 3.5以后，async/await 成为了更好的替代方案） 3.Go语言(Go语言对协程的实现非常强大而简洁，可以轻松创建成百上千个协程并发执行) 4.Java语言
Redis（Remote Dictionary Server）是一种高性能的 key-value 数据库。它采用了内存数据库技术，它的数据操作是基于内存中的数据完成的，从而极大的提升了 Redis 的读写性能。
信号量是最早出现的用来解决进程同步与互斥问题的机制(也可实现进程通信)，包括一个称为信 号量的变量及对它进行的两个原语操作。信号量为一个整数，我们设这个信号量为：sem。很显然，我们规定在sem大于等于零的时候代表可供并发进程使用的 资源实体数，sem小于零的时候，表示正在等待使用临界区的进程的个数。根据这个原则，在给信号量附初值的时候，我们显然就要设初值大于零。
有2个循环程序A和B，它们共享一个变量N，程序A每执行一次时，都要做N:=N+1; B则每次要执行Print(N), 然后再做N:=0. 若程序A,B以不同的速度运行有以下三种不同的结果. N:=N+1在print(N)和N:=0之前，则N值分别为 n+1,n+1,0. N:=N+1在print(N)和N:=0之后，则N值分别为 n,0，1. N:=N+1在print(N)和N:=0之间，则N值分别为 n,n+1,0.
同步是指协调多个执行线程或进程的执行，以确保它们按照一定的顺序执行或在特定的条件下等待。常见的同步机制包括信号量、条件变量和屏障等。
总体而言，Linux操作系统是一个强大、灵活且可定制的操作系统，广泛应用于服务器、嵌入式系统、超级计算机等各种领域。
你的进程，为啥挂了？进程挂了，这个问题大家并不陌生。学完这篇，你会对进程有一定了解。后面碰到进程挂的情况，你很快能找到对应解决思路。
进程与线程是操作系统中重要的概念，用于实现并发执行和资源管理。它们在计算机系统中扮演着不同的角色，并具有各自的特点。 进程是程序在执行过程中的一个实体，是资源分配的基本单位。一个进程可以包含多个线程，每个线程共享进程的资源，包括内存、文件句柄、打开的文件等。每个进程都有自己的地址空间和独立的执行状态，通过操作系统进行管理和调度。进程之间相互独立，彼此隔离，拥有自己的地址空间，需要通过进程间通信来实现数据共享和协作。 线程是进程中的一个执行单元，是 CPU 调度的基本单位。一个进程可以包含多个线程，这些线程可以并发执行，共享进程的资源。线程之间共享同一进程的地址空间，可以直接访问进程的全局变量和堆内存，减少了进程间通信的开销。由于线程之间共享资源，所以需要采取同步机制来避免数据竞争和冲突。 进程与线程的基本特点如下：
共享内存是System V版本的最后一个进程间通信方式。共享内存，顾名思义就是允许两个不相关的进程访问同一个逻辑内存，共享内存是两个正在运行的进程之间共享和传递数据的一种非常有效的方式。不同进程之间共享的内存通常为同一段物理内存。进程可以将同一段物理内存连接到他们自己的地址空间中，所有的进程都可以访问共享内存中的地址。如果某个进程向共享内存写入数据，所做的改动将立即影响到可以访问同一段共享内存的任何其他进程。
比如尽管有两个人去水井打水，但是水井却只有一个；合理安排的话刚好错开，但是如果安排不合理，那就会出现冲突，出现冲突怎么办？总有一个先来后到，等下就好了。
Linux 的同步机制不断发展完善。从最初的原子操作,到后来的信号量,从大内核锁到今天的自旋锁。这些同步机制的发展伴随Linux从单处理器到对称多处理器的过渡;
进程（Process）是计算机进行系统分配和调度的基本单位，为使程序能并发执行，且为了对并发执行的程序加以描述和控制，人们引入了“进程”的概念。而实现进程并发和调度的关键是进程控制块-PCB（Process Control Block），那PCB是什么呢，而其工作原理是什么样的呢？
在计算机科学中，多线程是指一个进程中的多个线程共享该进程的资源。一般来说，多线程可以提高程序的执行效率，从而加快了应用程序的响应时间。Go语言作为一种现代化的编程语言，特别适合于开发高并发的网络服务。本文将介绍Golang的并发模型和同步机制。
分时系统是指，在一台主机上连接了多个配有显示器和键盘的终端并由此所组成的系统，该系统允许多个用户同时通过自己的终端，以交互方式使用计算机，共享主机中的资源
同步原语是计算机科学中用于实现进程或线程之间同步的机制。它提供了一种方法来控制多个进程或线程的执行顺序，确保它们以一致的方式访问共享资源。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
