但是最让人烦的问题是这些语言之间的 IO 接口都是不一样的，这样子导致我们学习成本很高！ 这些语言拥有文件操作接口的目的找到文件，然后对文件进行操作。那么文件是在磁盘上，磁盘是属于硬件。...对于硬件的访问只有操作系统才能进行。...所有人想访问磁盘都不能绕开操作系统，C语言也好，其他语言也罢都是人表达出意思让操作系统理解我们想要干嘛，所以任何上层语言想要进行对磁盘进行操作，都会使用操作系统提供的接口。 ...所以我们只要搞清楚了操作系统提供的 IO 接口，那么其它语言只是对其的一个包装而已！下面我们一起来认识一下系统的IO接口！ Ⅱ....系统IO接口 一、open接口 #include #include #include int open(const char *
Linux基础IO 零、前言 一、C语言文件IO 1、C库函数介绍 2、stdin/stdout/stderr 二、系统文件IO 1、系统调用介绍 2、系统调用和库函数 三、文件描述符 1、open返回值...2、制作使用动态库 零、前言 本章主要讲解学习Linux基础IO流的知识 一、C语言文件IO 1、C库函数介绍 具体详解博文： 文件操作超详解CSDN博客 打关文件fopen/fclose...对于任何语言来说，都有输入输出的需求，而不打开这三个输入出输出流文件，则无法使用这些接口 二、系统文件IO 1、系统调用介绍 操作文件，除了上述C接口（当然C++也有接口，其他语言也有），还可以使用系统接口...1、FILE 概念： 因为IO相关函数与系统调用接口对应，并且库函数封装系统调用，所以本质上，访问文件都是通过fd访问的，所以C库当中的FILE结构体内部，必定封装了fd 示例： #include...*_lock; #ifdef _IO_USE_OLD_IO_FILE }; 2、文件系统 命令 ls -l 查看文件信息： [root@localhost linux]# ls -l 总用量
这句话换到编程中就是 CPU 与外部存储器的输入输出，包括 CPU 本身的一，二，三级的缓存，内存，硬盘，网络，Usb 设备等等 Linux中的IO机制 阻塞与非阻塞 在调用IO函数时，如果需要等待IO...事件准备就绪才返回执行结果就是阻塞的IO调用，如果调用IO函数时，不需要IO事件准备就绪就可以返回结果就是非阻塞。...同步与异步 同步是指在非阻塞的前提下每次调用IO函数不一定会返回准备就绪的IO事件，所以需要不断地去调用IO函数查看是否有IO事件准备就绪。...异步是指在非阻塞的前提下每次调用IO函数后，本线程不在接管IO事件的处理，会告诉程序如果你有准备就绪的IO事件你就去把你的IO事件交给其他线程的函数处理。...多路复用IO技术 在早期的网络服务器中为了处理多个连接请求往往需要开辟多个线程，每个线程负责一个连接的处理，但是多线程需要进行CPU的上下文切换。
今天看到一篇文章，其中有几张图很有意思，进行记录一下，我相信如果你对IO子系统有初步了解的话，将会有一些收获： Linux 存储栈：涉及比较全面，分为文件系统层，块层，设备层三层； 对上图进行抽象后：...Buffer IO: 经典读写操作IO: 从磁盘到网络； 网络与磁盘读写IO： 参考来源： https://mp.weixin.qq.com/s/ccZJaRLq2-Ns9dJILigIgw...Linux Storage Stack Diagram
内存和磁盘之间也是有交互的，它们之间的交互我们称为 output、 input，也叫做 IO，一般内存和磁盘之间 IO 交互时，不是纯硬件级别的交互，而是要通过文件系统完成，也就是通过操作系统。...比如说我们想查看 linux 中文件的 IO 交互单位是多少，我们可以用 stat 指令查看： 以 4kb 为基本单位进行 IO 时，有时 4kb 数据并不能完全被利用，但这并不代表着浪费。...文件系统 深度剖析 Linux cp 的秘密 Linux 的文件【属性】和【内容】是分批储存的，如下图所示： 我们在 linux 中可以使用 ls -li 打印出文件的基本信息，其中最关键的就是这个...，如下： 上图为 linux 磁盘文件系统图（内核内存映像肯定有所不同），磁盘是典型的块设备，硬盘分区被划分为一个个的 block。...当然不同的分区当然可以使用不同的文件系统，Linux 下就使用五六种不同的文件系统，Linux 可以支持多种文件系统，包括 Ext2、Ext3、fs、usb-fs、sysfs、proc。
Linux下的IO统计工具如iostat，nmon等大多数是只能统计到per设备的读写情况，如果你想知道每个进程是如何使用IO的就比较麻烦，使用iotop命令可以很方便的查看。...iotop使用Python语言编写而成，要求Python2.5（及以上版本）和Linux kernel2.6.20（及以上版本）。iotop提供有源代码及rpm包，可从其官方主页下载。...有三种指定方式； -q：只在第一次监测时显示列名； iotop常用快捷键： 1）左右箭头：改变排序方式，默认是按IO排序。 2）r：改变排序顺序。 3）o：只显示有IO输出的进程。
传统的 System Call I/O 在 Linux 系统中，传统的访问方式是通过 write() 和 read() 两个系统调用实现的，通过 read() 函数读取文件到到缓存区中，然后通过 write...存储设备的 I/O 栈 由图可见，从系统调用的接口再往下，Linux 下的 IO 栈致大致有三个层次： 文件系统层，以 write 为例，内核拷贝了 write 参数指定的用户态数据到文件系统 Cache...块层，管理块设备的 IO 队列，对 IO 请求进行合并、排序（还记得操作系统课程学习过的 IO 调度算法吗？)。 设备层，通过 DMA 与内存直接交互，完成数据和具体设备之间的交互。...结合这个图，想想 Linux 系统编程里用到的 Buffered IO、mmap、Direct IO，这些机制怎么和 Linux I/O 栈联系起来呢？...（甚至 Linux 2.4 还要求是文件系统逻辑块的整数倍）。
1 传统的系统调用 I/O 在 Linux 系统中，传统的访问方式是通过 write() 和 read() 两个系统调用实现的，通过 read() 函数读取文件到到缓存区中，然后通过 write()...存储设备的 I/O 栈 由图可见，从系统调用的接口再往下，Linux 下的 IO 栈致大致有三个层次： 用： 文件系统层，以 write 为例，内核拷贝了 write 参数指定的用户态数据到文件系统...结合这个图，想想 Linux 系统编程里用到的 Buffered IO、mmap、Direct IO，这些机制怎么和 Linux I/O 栈联系起来呢？...上面的图有点复杂，我画一幅简图，把这些机制所在的位置添加进去： Linux IO系统 这下一目了然了吧？传统的 Buffered IO 使用 read 读取文件的过程什么样的？...（甚至 Linux 2.4 还要求是文件系统逻辑块的整数倍）。
：因为OS是软件，磁盘是硬件，硬件定位一个地址，用的是CHS，但是如果OS直接用了这个地址，万一硬件改变，OS也要发生变化，所以OS要和硬件做好解耦工作 ---- 第二点：即便是扇区512字节，单位IO...的基本数据量也是很小的，所以硬件是按照512字节处理， 操作系统实际进行IO，基本单位是4KB 操作系统和磁盘进行交互时，基本以4KB为单位， 基本大小：进行磁盘读取和磁盘写入时，必须以基本单位为基本大小...sector_disk1 ---- 初步完成了从物理逻辑到线性逻辑抽象的过程 因为看作是一个数组，而数组都是有下标的 假设数组下标为n，定位一个扇区，只需要数组下标就可以定位一个扇区了 ---- OS是以4KB为单位进行IO...---inode表 ---- 文件的内容是变化的，用数据块对文件内容保存的，所以一个有效文件要保存内容就需要1/n数据块 若有多个文件就需要更多的数据块，数据块称为 Data blocks ---- linux...不正常工作 每一个比特位表示 一个inode是否空闲可用 ---- Block Bitmap 每一个bit位表示data block是否空闲可用 ---- 细节问题 1.inode与文件名 Linux
今日更新了Linux基础IO的内容 欢迎大家关注点赞收藏⭐️留言 理解文件系统 磁盘 图1,2是磁盘，图3是服务器，磁盘插入到服务器的凹槽中。...上图下半部分是磁盘文件系统图。 Linux文件系统特点：文件内容和文件属性 分开存储。 Block Group：文件系统会根据分区的大小划分为数个Block Group。...根目录是系统给我们的，是已知的，就可以找到目标文件了。这种逆向的路径解析由OS完成。这也是为什么Linux定位一个文件时，都要有路径的原因。...一个目录内部有几个目录=该目录引用计数-2 Linux系统中，不允许给目录建立硬链接。主要是为了避免路径环绕。...-static就是强制要求程序进行静态链接，如果没有静态库版本，就会报错。 也就是说，没有带-static时，优先使用动态库，没有动态库就使用静态库。
文件描述符 表示 宏 0 标准输入（stdin） STDIN_FILENO 1 标准输出（stdout） STDOUT_FINENO 2 标准错误（stderr） STDERR_FILENO 遵循Linux...open()系统调用 对文件进行读写之前，必须先打开文件。Linux提供了系统调用open()。...read()系统调用 文件打开后，就能够读文件了。read（）是最基础、最常见的读取文件的机制。...系统调用write()时，数据从用户空间的缓冲区中拷贝到了内核空间的缓冲区，但并没有立即把数据写入磁盘中，这称为延迟写。延迟写的问题在于，如果在数据真正写入磁盘之前系统崩溃了，则数据可能丢失。...Linux系统也支持强制文件立即写入磁盘上，这在后面介绍。 close()系统调用 程序完成文件的读写后，调用close函数关闭文件描述符与文件之间的连接，使得文件描述符可以被重用。
虽然全缓冲的刷新方式，可以大大降低数据 IO 的次数，节省时间。但若数据暂存于缓冲区，等缓冲区满后再刷出，当人阅读时面对屏幕中出现的一大堆数据，很难不懵逼。...所以显示器采用行刷新的策略，既保证了人的阅读习惯，又使得数据 IO 效率不至于太低。...也就是说使用 write 等系统 IO 接口，函数直接输出到输出设备上，是不带缓冲；但是 标准 IO 库是带有缓冲的，比如 printf 遇到 \n 的时候才会冲刷缓冲区，输出到输出设备上。 Ⅴ....尝试写一个自己的FILE 下面我们来通过调用系统接口实现的C语言库接口，主要是用于理解系统调用接口和缓冲区。...特别需要理解的 库级别 的缓冲区和 系统级别 的缓冲区不是一个概念，库级别是 FILE 中的一段内存，系统级别则是更加复杂的处理方式。比如说如果操作系统突然挂了，那么内核缓冲区中的数据将会丢失。
存储设备的 I/O 栈 由图可见，从系统调用的接口再往下，Linux 下的 IO 栈致大致有三个层次： 文件系统层，以 write 为例，内核拷贝了 write 参数指定的用户态数据到文件系统 Cache...块层，管理块设备的 IO 队列，对 IO 请求进行合并、排序（还记得操作系统课程学习过的 IO 调度算法吗？ ）。 设备层，通过 DMA 与内存直接交互，完成数据和具体设备之间的交互。...结合这个图，想想 Linux 系统编程里用到的 Buffered IO、mmap、Direct IO，这些机制怎么和 Linux I/O 栈联系起来呢？...上面的图有点复杂，我画一幅简图，把这些机制所在的位置添加进去： Linux IO系统 这下一目了然了吧？传统的 Buffered IO 使用 read 读取文件的过程什么样的？...（甚至 Linux 2.4 还要求是文件系统逻辑块的整数倍）。
而对于磁盘文件的管理，则离不开文件系统，本次文章将对此进行探讨。 磁盘的物理结构 磁盘是什么？...当然，OS进行IO的基本单位是可以进行调整的，一般都是4KB，即一个数据块的大小，这也是为什么磁盘会被称之为块设备的原因之一。这样也是为了提高IO效率，根据内存对齐原则。...同样，Linux操作系统为了更好的管理整个磁盘空间，也会对磁盘进行分区，对OS来说，管理好一个分区，就能管理好所有的分区（每一个分区的管理方法都一样），而为了更好的管理一个分区，又会在该区内进行分组管理...块组内的信息 如上所说，OS只需要管理好一个块组，就能管理好所有的块组，进而管理好一个分区，再进而管理好整个文件系统。那么，一个块组内，都包含些什么呢？...如下所示： 上面提到了一个inode节点，我们知道，Linux下一切皆文件，文件=内容+属性，Linux是将文件的内容与属性的数据分离开来，一个inode节点内，保存文件的各种属性信息，比如：文件的读写权限
在这之前先将这个包解压到 main.c 目录下： 接下来有了这个 mylib ，我们不就可以直接编译链接 main.c 为可执行文件了吗，下面我们来试试看： 奇怪，明明我们的库和头文件都有啊，为什么还报错说找不到头文件呢...的依赖库中并看不到 libmymath.a，并且 main 是动态链接的；这是由如下原因造成的： 1、gcc 默认使用动态链接（只是建议行为），这是针对动静态库都存在的情况说的，如果只存在静态库，那么 Linux...，有一部分库有动态库，那么形成的可执行程序整体是动态链接的，但其中只有静态库的地方才会进行静态链接； 3、这里的现象和第二点一样，main 的形成不仅仅依赖一个库 (使用了 C 语言库函数)，且 Linux...，通过加载到内存变成进程从而管理，但是操作系统哪里知道我们告诉了它这些头文件路径等等呢，并且我们的库也不在系统中，所以 操作系统 和 shell 才会找不到！ ...如果想让这个环境变量永久生效，可以把这个环境变量添加到登录相关的启动脚本里，下面两个都行，但是不建议，如果真要改，多开几个终端，防止改了之后登不上 Linux： vim ~/.bash_profile
经过查找资料，找到了一个解决方案 进入 /var/lock/subsys目录下，删掉里面的httpd文件
---- 二、系统文件I/O 文件操作除了上面我们所说的语言级别的文件操作，还有系统级别的文件操作调用接口。...stdin—>0,dup2(fd,0);//输入重定向 ---- 六、Linux一切皆文件 Linux一切皆文件： 在冯诺依曼体系中，我们知道硬件有键盘、显示器、磁盘、网卡等外设，在IO过程中，外设任何的数据处理都需要把数据读到内存...因为软硬件资源多，所以操作系统需要对其先描述，在组织。所以这些外设都有对应的结构体，对应着属性信息，同时，对应着自己的IO函数，具体硬件的读写方法都在应用匹配的驱动程序里。...每种硬件的访问方法都是不一样的，而Linux一切皆文件是这样体现的：任何一个被打开的文件结构体对象struct file{ //各种文件的属性 }对象，不同的文件对应的读写方法不一样，struct file...站在struct file上层看来，所有的设备和文件，统一都是struct file->，就可以调用具体的设备方法了，所以在用户级看到的就是Linux下一切皆文件！
PS：如果你对 top 的用法不了解，请参考我去年写的一篇博文： linux 系统监控、诊断工具之 top 详解 常用组合方式有如下几种： 用vmstat、sar、iostat检测是否是CPU瓶颈...注意：内存够用的时候，这2个值都是0，如果这2个值长期大于0时，系统性能会受到影响，磁盘IO和CPU资源都会被消耗。...IO（现在的Linux版本块的大小为1kb） • bi: 每秒读取的块数 • bo: 每秒写入的块数 注意：随机磁盘读写的时候，这2个值越大（如超出1024k)，能看到CPU在IO等待的值也会越大。...://bencane.com/2012/08/06/troubleshooting-high-io-wait-in-linux/ [2] 理解Linux系统负荷 http://www.ruanyifeng.com.../en/interesting-articles/126-linux-wait-io-problem [10] Tracking Down High IO Wait in Linux http://ostatic.com
文件I/O 直接使用系统调用的缺点: 影响系统性能 系统调用比普通函数调用开销大，因为系统调用要进行用户空间和内核空间的切换。 系统调用一次所能读写的数据量大小，受硬件的限制。...文件系统缓存 主存(通常是DRAM)的一块区域用来缓存文件系统的内容，包含各种数据和元数据。...注意：直接IO的缺点就是如果访问的数据不在应用程序缓存中，那么每次数据都会直接从磁盘进行加载，这种直接加载会非常慢，通常直接IO跟异步IO结合使用会得到较好的性能。...---- O_SYNC 缓存同步 为了保证磁盘系统与缓冲区内容一致，Linux系统提供了sync,fsync,fdatasync三个函数。...---- Linux文件IO流程图 内核中会有一个线程，不断地将高速页缓冲区中的数据写入到物理磁盘中。
在 Linux 操作系统中，文件 I/O（输入/输出）是程序与文件系统交互的基础。理解文件 I/O 的工作原理对于编写高效、可靠的程序至关重要。本文将深入探讨系统文件 I/O 的机制。...结论 通过深入分析 FILE 结构体、task_struct 中的 file_struct 以及 fd_array[] 数组的关系，我们能够更清晰地理解 Linux 系统中文件操作的底层机制。...比如，Windows 和 Linux 都有 C 语言的实现，但它们的文件 I/O 操作部分会有所不同，Windows 可能使用 CreateFile()，而 Linux 使用 open()。...操作系统依赖： 不同的操作系统有不同的API和系统调用。例如，Linux和windows的文件操作、内存管理、线程处理等API不同。...使用 dup2() 系统调用 在 Linux 中，dup2() 系统调用用于复制一个文件描述符，并将其指向另一个指定的文件描述符。这对于实现输入输出的重定向非常有用。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
