在 Linux 中，最直观、最可见的部分就是 文件系统(file system)。下面我们就来一起探讨一下关于 Linux 中国的文件系统，系统调用以及文件系统实现背后的原理和思想。这些思想中有一些来源于 MULTICS，现在已经被 Windows 等其他操作系统使用。Linux 的设计理念就是 小的就是好的(Small is Beautiful) 。虽然 Linux 只是使用了最简单的机制和少量的系统调用，但是 Linux 却提供了强大而优雅的文件系统。
题目是golang下文件锁的使用，但本文的目的其实是通过golang下的文件锁的使用方法，来一窥文件锁背后的机制。
一 简介 相信大家在开发脚本或者写程序的时候 ，大多会遇到如何判断已经有程序在运行的情况。比如设计备份binlog ，由于某个实例产生的binlog 数量大于备份的速度，在下一个时间点，会启动一个新的进程对binlog进行备份。那我们要怎么解决呢，本文分别从 shell和python的角度提出我的解决方法，同时也推荐《 Ensure a single instance of an application in Linux》[1]，这里有比较详细的讨论。
用户空间(User Space) ：用户空间又包括用户的应用程序(User Applications)、C 库(C Library) 。
有某些场景下，我们不希望有多个相同的 Linux 进程 或 Shell 脚本同时执行，因为相同进程同时执行，可能会破坏数据的一致性。
在 Linux 系统中，文件锁定是一种对文件进行保护的方法，可以防止多个进程同时访问同一个文件，从而导致数据损坏或者冲突。文件锁定命令是一组用于在 Linux 系统中实现文件锁定操作的命令，它们可以用于对文件进行加锁或解锁，控制文件的访问权限，保证系统的稳定性和安全性。在本文中，我们将详细介绍 Linux 中的文件锁定命令，包括锁定的类型、命令的使用方法、常见问题及解决方法等内容。
在数据库中，除传统的计算资源的争用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的问题，锁冲突也是影响数据库并发访问性能的一个重要的因素。
文件的写入是否是原子的？多个线程写入同一个文件是否会写错乱?多个进程写入同一个文件是否会写错乱？想必这些问题多多少少会对我们产生一定的困扰，即使知道结果，很多时候也很难将这其中的原理清晰的表达给提问者
本文主要探讨了在Linux系统中，文件锁的概念、实现方式、相关命令和应用场景。文件锁主要用于保护文件系统，避免因多个进程并发访问同一文件而导致的竞争条件。通过使用锁命令和工具，可以有效地管理文件锁，确保文件系统的安全性和稳定性。
加锁操作就是为特定对象设置一个标志位，然后通过使用锁机制（对象上存在标志位则不能改写，放弃加锁请求或等待锁释放后再进行操作）和释放锁（取消特定对象上被设置的标志位）
python的文件锁目前使用的是fcntl这个库，它实际上为 Unix上的ioctl，flock和fcntl 函数提供了一个接口。
通过之前的open()/close()/read()/write()/lseek()函数已经可以实现文件的打开、关闭、读写等基本操作，但是这些基本操作是不够的。
要深入理解Linux内核中的同步与互斥的实现，需要先了解一下内联汇编：在C函数中使用汇编代码。
这次吧，我也实在给自己找不到偷懒的借口了，总之一句话：有好多话现阶段我不能敞开聊。比如有可能在将来某一天，老李也老母鸡翻着跟头生孩子---滚蛋，滚蛋回老家了，滚蛋离开这行业了，就啥也能叨叨了。不过咋说吧，感谢各位的长期关注，这段时间莫名其妙的增长关注量让我觉得我不能太懒惰了寒了大伙儿的心，以后保持周更级别的活跃更新发文的节奏，准备更一个比较简单平时用的比较多的业务方向系列：《API安全指东》。
linux下的 pthread 是一个整形，而 id 是一个自定义类型， get_id 即打印线程id
随着智能化互联时代的来临，家中的智能设备越来越多：电视机、平板、游戏主机、电脑、手机等遍及家中各个角落，同时设备之间共享数据的需求变的越来越强烈。比如同步、备份手机上的照片和视频，在电视机上观看电脑中下载的影片、手机拍摄的视频，存储高清电影、音乐、VLOG 素材等。这时候在家中搭建一台 NAS（Network Attached Storage：网络附属存储）存储服务器是不错的选择，在备份保障数据安全的同时给家庭娱乐带来更多方便。在企业中，NAS 也有着广泛的应用，其部署简单，扩展方便，在文件共享、容灾备份领域发挥了重要作用。
今天在分析HDFS数据节点的源码时，了解到在数据节点的文件结构中，当数据节点运行时，${dfs.data.dir}下会有一个名为”in_use.lock”的文件，该文件就是文件锁。
这三个函数的作用都是给文件加锁，那它们有什么区别呢？首先flock和fcntl是系统调用，而lockf是库函数。lockf实际上是fcntl的封装，所以lockf和fcntl的底层实现是一样的，对文件加锁的效果也是一样的。后面分析不同点时大多数情况是将fcntl和lockf放在一起的。下面首先看每个函数的使用，从使用的方式和效果来看各个函数的区别。 1. flock 函数原型 int flock(int fd, int operation); // Apply or remove an advisory
1、多线程的问题引入 多线程的最大的特点是资源的共享，但是，当多个线程同时去操作（同时去改变）一个临界资源时，会破坏临界资源。如利用多线程同时写一个文件： #include <stdio.h> #include <pthread.h> #include <malloc.h> const char filename[] = "hello"; void* thread(void *id){ int num = *(int *)id; // 写文件的操作 F
开始阅读 nginx 源码的时候就一直伴随着一个问题，那就是多进程的 nginx 模型是怎么保证多个进程同时写入一个文件不发生数据交错呢？ 猜想中，主要有以下几种解决方案： 1. 最传统的，正在写文件的进程加锁，其他进程等待，但是这样的情况是绝对不允许的，效率太过低下 2. 写 log 前测试锁状态，如果已经锁定，则写入进程自己的缓冲区中，等待下次调用时同步缓冲区，这样做的好处是无需阻塞，提高了效率，但是就无法做到 log 的实时了，这样做工程中也是绝对无法接受的，一旦发生问题，将无法保证 log 是否已经被写入，因此很难定位 3. 一个进程专门负责写 log，其他进程通过域套接字或者管道将 log 内容发送给他，他持续阻塞在 epoll_wait 上，直到收到信息，立即写入，但是众所周知，nginx 是调用同一个函数启动所有进程的，并没有专门调用函数启动所谓的 log 进程，除了 master 和 worker，nginx 也确实没有 log 进程存在 4. 那么就是进程启动后，全部去竞争某个锁，竞争到该锁的 worker 执行 log worker 的代码，其余的 worker 继续运行相应程序，这个方案看上去是一个不错的方案，如果是单 worker 的话，那么就无需去使用该锁即可
这篇文章介绍Linux下线程同步与互斥机制–互斥锁，在多线程并发的时候，都会出现多个消费者取数据的情况，这种时候数据都需要进行保护，比如: 火车票售票系统、汽车票售票系统一样，总票数是固定的，但是购票的终端非常多。
3.系统级别。当打开文件并设置了O_APPEND标识，内核会共享文件写入游标，保证内容不会被覆盖。
当多个进程或多个程序都想要修同一个文件的时候，如果不加控制，多进程或多程序将可能导致文件更新的丢失。
在Linux中，文件加锁是通过使用文件锁（File Locks）来实现的。文件锁主要有两种类型：共享锁（Shared Lock）和排他锁（Exclusive Lock）。这些锁用于控制对文件的并发访问，以防止多个进程同时对同一文件进行读或写操作，从而保护文件的一致性。
初学者在使用 多线程 并发执行任务时一定会遇到 并发访问的问题，最直观的感受就是每次运行得出的结果值大概率不一致，这种执行结果不一致的现象是非常致命，因为它具有随机性，即结果可能是对的，也可能是错的，无法可靠的完成任务，类似物理学神兽 薛定谔的猫
桔妹导读：死锁是多线程和分布式程序中常见的一种严重问题。死锁是毁灭性的，一旦发生，系统很难或者几乎不可能恢复；死锁是随机的，只有满足特定条件才会发生，而如果条件复杂，虽然发生概率很低，但是一旦发生就非常难重现和调试。使用锁而产生的死锁是死锁中的一种常见情况。Linux 内核使用 Lockdep 工具来检测和特别是预测锁的死锁场景。然而，目前 Lockdep 只支持处理互斥锁，不支持更为复杂的读写锁，尤其是递归读锁（Recursive-read lock）。因此，Lockdep 既会出现由读写锁引起的假阳性预测错误，也会出现假阴性预测错误。
---- Hello、Hello大家好，我是木荣，今天我们继续来聊一聊Linux中多线程编程中的重要知识点，详细谈谈多线程中同步和互斥机制。 同步和互斥 互斥：多线程中互斥是指多个线程访问同一资源时同时只允许一个线程对其进行访问，具有唯一性和排它性。但互斥无法限制访问者对资源的访问顺序，即访问是无序的； 同步：多线程同步是指在互斥的基础上（大多数情况），通过其它机制实现访问者对资源的有序访问。在大多数情况下，同步已经实现了互斥，特别是所有写入资源的情况必定是互斥的。少数情况是指可以允许多个访问者同时访问资源
如果线程1，申请锁成功，进入临界区，正在访问临界资源。此时其它进程真正阻塞等待。那么问题来了，这时该线程是否可以被切换？答案是肯定的，可以被切换。 当持有锁的线程被切换走时，它是抱着锁一起被切走的。即使该线程被切换掉，其它线程此时也无法申请锁，只能等待该线程将锁释放掉。 因此，对于其它线程而言，有意义的锁的状态只有两种：1.锁被申请前、2.锁被释放后。 在其它线程眼中，当前线程持有锁的过程就是原子的（要么持有，要么不持有）。
最近在一个项目营销活动中，一位同事用到了Redis来实现商品的库存管理。在压测的过程中，发现存在超卖的情况。这里总结一篇如何正确使用Redis来解决秒杀场景下，超卖的情况。
文件锁是用于解决资源的共享使用的一种机制：当多个用户需要共享一个文件时，Linux通常采用的方法是给文件上锁，来避免共享的资源产生竞争的状态。
线程池是一种管理线程的机制，它可以在需要时自动创建和销毁线程，以及分配和回收线程资源。线程池的主要优点是减少了频繁创建和销毁线程所带来的开销，提高了系统的稳定性和可扩展性。此外，线程池还可以有效地控制线程的数量，避免过多线程导致的资源竞争和系统过载
Zookeeper是一个分布式协调服务，可以用于元数据管理、分布式锁、分布式协调、发布订阅、服务命名等等。
最近有小伙伴拿到了一线互联网企业如美团、拼多多、极兔、有赞、希音的面试资格，遇到一几个很重要的面试题：
入门 包含了正确的头文件只能编译通过，没链接正确的库链接会报错。 一些常用的库gcc会自动链接。 库的缺省路径/lib /usr/lib /usr/local/lib 不知道某个函数在那个库可以nm -o /lib *.so | grep 函数名 man sin 会列出包含的头文件和链接的库名。 man 2 sin 2表示系统调用，3表示c库函数 一旦子进程被创建，父子进程一起从fork处被创建。 创建子进程为了争夺资源。 重定向用dup2函数 kill -l查看信号种类 pthread_mutex不跨进
关于如何设计一个不允许被拷贝的类，其实我们之前在 C++11 右值引用和移动语义 学 default 和 delete 关键字的时候就讲过，这里我们再来回顾一下。
锁是一个常见的同步概念，我们都听说过加锁（lock）或者解锁（unlock），当然学术一点的说法是获取（acquire）和释放（release）。
core dump又叫核心转储, 当程序运行过程中发生异常, 程序异常退出时, 由操作系统把程序当前的内存状况存储在一个core文件中, 叫core dump. (linux中如果内存越界会收到SIGSEGV信号，然后就会core dump)
Boost::asio io_service 实现分析 io_service的作用 io_servie 实现了一个任务队列，这里的任务就是void(void)的函数。Io_servie最常用的两个接口是post和run，post向任务队列中投递任务，run是执行队列中的任务，直到全部执行完毕，并且run可以被N个线程调用。Io_service是完全线程安全的队列。 Io_servie的接口 提供的接口有run、run_one、poll、poll_one、stop、reset、dispatch、post，最常
翻阅参考资料，你会发现文件锁可以进行很多的分类，最常见的主要有读锁与写锁，前者也叫共享锁，后者也叫排斥锁，值得注意的是，多个读锁之间是不会相互干扰的，多个进程可以在同一时刻对同一个文件加读锁；但是，如果已经有一个进程对该文件加了写锁，那么其他进程则不能对该文件加读锁或者写锁，直到这个进程将写锁释放，因此可以总结为：对于同一个文件而言，它可以同时拥有多个读者，但是在某一时刻，他只能拥有一个写者。
线程1的功能就是输1,线程2的功能就是输出2,以此类推……现在有四个文件ABCD初始都为空
当有多个进程或者多个应用同时操作文件时 , 会并行往文件中写入字节 , 如何保证多个进程中文件写入或者操作当原子性就很重要.
在多年前，linux还没有支持对称多处理器SMP的时候，避免并发数据访问相对简单。
最近我在生产上遇到一个非常有意思的问题，在Cent OS7以上的操作系统中，VG卷组一激活其默认对应的文件系统也一并挂载上了，而且这还不是红帽和CentOS的特有问题，如果fstab配置default参数的话，其它Linux发行版也有同样的问题。
之前由于种种原因，折腾了很多个Ubuntu系统，也换了好多个，重新安装了很多次系统，终于找到了当前这个能用的了。本以为万事大吉了，然而最近突然发现之前安装的没用的Ubuntu系统竟然还在我的磁盘中！不说了，接下来我们的任务肯定得把这个删干净了。
环形缓冲区通常有一个读指针和一个写指针。读指针指向环形缓冲区中可读的数据，写指针指向环形缓冲区中可写的缓冲区。通过移动读指针和写指针就可以实现缓冲区的数据读取和写入。在通常情况下，环形缓冲区的读用户仅仅会影响读指针，而写用户仅仅会影响写指针。如果仅仅有一个读用户和一个写用户，那么不需要添加互斥保护机制就可以保证数据的正确性。如果有多个读写用户访问环形缓冲区，那么必须添加互斥保护机制来确保多个用户互斥访问环形缓冲区。
信号量强调的是线程（或进程）间的同步：“信号量用在多线程多任务同步的，一个线程完成了某一个动作就通过信号量告诉别的线程，别的线程再进行某些动作（大家都在sem_wait的时候，就阻塞在那里）。当信号量为单值信号量时，也可以完成一个资源的互斥访问。信号量测重于访问者对资源的有序访问，在大多数情况下，同步已经实现了互斥，特别是所有写入资源的情况必定是互斥的。少数情况是指可以允许多个访问者同时访问资源。
之前有一章节介绍了Handler的常见面试题，今天就来说说另类的，可能你没关注的其他问题，一起看看吧。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
