unix环境高级编程(上)-文件篇

kinnylee

发布于 2020-10-15 10:09:36

1.5K0

发布于 2020-10-15 10:09:36

文章被收录于专栏：kinnylee钻研技术

前言

unix基础知识

unix标准化和实现

unix提供的文件IO

文件和目录

标准IO

系统数据文件

前言

笔者将《unix环境高级编程》主要内容总结为三篇：文件篇，进程篇，高级io和进程间通信三大板块。本文是unix环境高级编程系列文章第一篇：文件篇。该篇主要包括：

unix基础知识

介绍了unix的体系结构，以及unix中的文件和目录，输入输出，程序和进程，信号等基本概念

unix标准与实现

标准包括C语言的标准和操作系统标准，实现包括BSD，FreeBSD，Linux，Solari，Mac os等

unix内核提供的文件io函数

包括文件描述符，对文件的打开，关闭，定位，读，写，改变文件属性操作。内核IO调用基于文件描述符。还介绍了文件的底层数据结构，了解数据结构之后就能理解文件是如何支持共享的

文件和目录

主要介绍文件的属性和属性对应的数据结构，以及各个字段控制的问访问权限，文件类型等。unix中一切皆文件，这些文件包括：普通文件，目录文件，块特殊文件，字符特殊文件，FIFO，套接字和符号链接。最后结束UFS文件系统。

标准IO函数

标准io解决了内核io的很多细节问题，包括缓冲区分配。所有操作基于流和File对象

系统数据文件

最后介绍系统提供的一些数据文件，包括口令文件，阴影文件，朱文杰，登录账号文件，服务数据文件，协议数据文件，网络数据文件等

一. unix基础知识

1. unix体系结构

操作系统是一种特殊的软件，它控制计算机硬件资源，提供程序运行环境
此软件称为内核，它相对较小，位于环境的中心
内核的接口被称为系统调用
公共函数库构建在系统调用接口上
系统调用一般比普通函数调用需要花费更多时间
应用软件可以调用公共函数库或者使用系统调用

2. 文件和目录

文件系统是目录和文件组成的一种层次结构
目录的起点称为根，名称为/符号
目录是包含很多目录项的文件
逻辑上可认为每个目录项都包含文件名和文件属性。物理上是不包含的，因为一个文件可被多次硬链接
文件属性包括：类型（普通文件，目录），大小，所有者，权限，修改时间等。state和fstate函数返回文件属性。

3. 输入和输出

3.1 文件描述符

通常是一个小的非负整数，内核用它标识一个特定进程正在访问的文件

3.2 标准输入，标准输出，标准出错

每当运行一个新程序时，shell都为其打开三个文件描述符：

说明	文件描述符	宏
标准输入	0	STDIN_FILENO
标准输出	1	STDOUT_FILENO
标准出错	2	STDERR_FILENO

3.3 不用缓冲的io

函数open，read，write，lseek，close提供了不用缓冲的io
这些函数都使用文件描述符
头文件为

3.4 标准io

标准io提供一种带缓冲io的接口
使用标准io无需担心如何选取最佳缓冲区大小，且简化了堆输入行的处理
标准io头文件为

4. 程序和进程

4.1 程序

存放在磁盘，处于某个目录中的可执行文件
exec函数执行时，内核将程序读入存储器并执行

4.2 进程

程序的执行实例被称为进程
每个进程都有一个唯一的数字标识，称为进程ID

4.3 进程控制

进程控制的主要函数：fork，exec和waitpid

4.4 线程

进程内所有线程共享同一个地址空间，文件描述符，栈，进程相关属性
线程访问共享数据时需要采取同步措施避免不一致性
线程也用ID标识，但是只在它所属进程内起作用

5. 信号

信号是通知进程已发生某种情况的一种技术
进程如何处理信号有三种选择：
- 忽略该信号
- 按系统默认方式处理
- 捕捉该信号：提供一个函数，信号发生时调用该函数。调用signal函数，第一个参数为信号名称，第二个参数为处理函数

6. 时间值

unix系统一直使用两种不同的时间值

日历时间：UTC时间，用time_t表示。记录自1970年1月1日以来锁经过的秒数
进程时间：cpu时间，用clock_t表示。已时钟滴答计算

二. unix标准化和实现

1. unix标准化

ISO c：c语言国际化标准
POSIX：可移植的操作系统接口（protable operating system interface）

2. unix实现

SVR4：AT&T的UNIX系统实验室产品，初版了系统V接口定义
BSD：加州伯克利分校研究和开发的，含有AT&T许可证的代码
FreeBSD：BSD去除AT&T许可证代码后，完全免费的版本
Linux：1991年Linux开发的一款被目前广泛使用的unix操作系统
Mac OS：核心系统是Darwin，基于Mach内核和FreeBSD的组合
Solaris：sun公司开发的unix系统版本

三. unix提供的文件IO

1. 文件描述符

内核中，所有打开的文件都通过文件描述符引用
打开，新建时，内核向进程返回一个文件描述符
读写文件时，将文件描述符传给read和write

2. open

作用：创建或打开一个文件
pathname参数：文件名字
flag参数：由以下值进行“或”组成
- O_RDONLY：只读
- O_WRONLY：只写
- O_RDWR：读写
- O_APPEND：追加到末尾
- O_CREATE：文件不存在就创建
- O_EXCL：同时指定O_CREATE时，如果文件存在，就会出错。使测试和创建成为原子操作
- O_TRUNC：将文件长度截短为0
- O_NOCTTY：控制终端相关
- O_NONBLOCK：非阻塞模式
mode参数：文件访问权限，仅新建文件时使用该参数

3. create

作用：创建文件
等价于open(pathname, O_WRONLY|O_CREATE|O_TRUNC, mode)

4. close

作用：关闭文件
关闭会释放加在该文件上的所有记录锁
进程终止时，内核自动关闭它打开的文件，故可以不用显示调用close

5. lseek

作用：设置打开文件的偏移量
默认偏移量为0，如果设置O_APPEND属性，默认偏移量为文件末尾
whence的取值：
- SEEK_SET：设置文件偏移为pos值
- SEEK_CUR：设置文件偏移为当前位置+pos
- SEEK_END：设置文件偏移为文件长度+pos

6. read

作用：从打开的文件中读数据
读取成功，返回读到的字节数。读到末尾，返回0。
导致读到的字节数小于要求读字节数的情况：
- 普通文件：读到达到要求字节数时，已经读到文件结尾了
- 终端设备文件：一次最多读一行
- 网络数据：缓存区大小小于要读字节
- 管道文件：管道包含的字节小于要读字节

7. write

作用：向打开文件中写数据
返回值通常与nbyte相同，否则出错
写成功后，文件偏移量增加写入字节数量

9. 文件共享

9.1 打开文件的内核数据结构

unix支持在不同进程间共享打开的文件，unix内核使用什么数据结构来支持这种共享呢？

进程表记录来所有的进程
每个进程都有一个记录项，用来记录打开文件的文件描述表
文件描述符的每一项包括：
- 文件描述符标识
- 指向文件表项的指针
文件表项由内核维护，每一项包括：
- 文件状态标识（读，写，同步，阻塞等）
- 当前文件偏移量
- 指向该文件v节点表项的指针
每个打开文件都有v节点（v-node）结构，这些信息是打开文件时从磁盘读入内存的。包括：
- 文件类型
- 对此文件进行各种操作的指针
- i节点信息（索引信息）：包括长度，所有者，所在设备，磁盘位置指针等

9.2 两个独立进程各自打开同一文件

给定的文件，只有一个v节点表项
每个进程都有自己的文件表项，以使自己有独立的文件偏移量

9.3 两个独立进程共享同一个文件表项

使用dup和fork函数时，父子进程对于每一个文件描述符，都共享同一个文件表项，达到文件共享的目的

9.4 创建共享文件的函数

dup：返回的文件描述符为可用的最小值
dup2：返回fieldes2指定的描述符。如果fieldes2已经打开，就关闭。如果fieldes=fieldes2，不关闭，直接返回。
fcntl：也可以创建共享文件

10. 原子操作

原子操作：指多步组成的操作，
任何一个需要调用多个函数的操作都不可能是原子操作，因为中间可能会挂起该进程
unix提供了一些函数，使多个操作成为一个“原子操作”
O_APPEND标识：lseek和write的原子操作
pread：lseek和read的原子操作
pwrite：lseek和write的原子操作
调用open时，通过制定O_CREAT和O_EXCL参数，将创建文件作为原子操作

11. sync, fsync, fdatasync函数

这几个函数出现的背景：unix提供的延时写功能，通过提供缓冲区以减少磁盘读写次数，但是降低了文件内容更新速度，这几个函数用于保证缓冲区内容与文件内容的同步，保证一致性。

sync：将修改的快缓冲区排入写队列，立马返回，不等待真正写磁盘
fsync：针对指定的文件描述符起作用，且等待磁盘写完才返回。同步内容包括数据和文件属性。适用于数据库系统。
fdatasync：包括fsync的功能，但是只同步数据，不同步文件属性。

12. fcntl函数

作用：改变已打开文件的性质
参数cmd的取值和作用：
- F_DUPFD：复制一个现有的文件描述符
- F_GETFD: 设置文件描述符标记
- F_SETFD: 获得文件描述符标记
- F_GETFL: 设置文件状态标记：读，写，追加，阻塞等。
- F_SETFL: 获得文件状态标记
- F_GETOWN: 设置异步io所有权
- F_SEGOWN: 获得异步io所有权
- F_GETLK：获得记录锁
- F_SETLK：设置记录锁
- F_SETLKW：设置记录锁

四. 文件和目录

1. 文件属性

1.1 表示文件属性的数据结构：struct stat

struct stat {

mode_t     st_mode;       //文件模式，包含文件类型，用户id，组id，访问权限（9种）等信息

ino_t      st_ino;       //inode节点号

dev_t      st_dev;        //设备号码

dev_t      st_rdev;       //特殊设备号码

nlink_t    st_nlink;      //文件的连接数

uid_t      st_uid;        //文件所有者

gid_t      st_gid;        //文件所有者对应的组

off_t      st_size;       //普通文件，对应的文件字节数

time_t     st_atime;      //文件数据最后被访问的时间

time_t     st_mtime;      //文件数据最后被修改的时间

time_t     st_ctime;      //文件状态（i节点状态）的最后修改时间

blksize_t st_blksize;    //文件内容对应的块大小

blkcnt_t   st_blocks;     //伟建内容对应的块数量

};

1.2 如何获取文件属性

state：根据文件名获取属性
fstate：根据描述符获取属性
lstate：返回符号链接的属性

1.3 修改属性的部分方法

访问时间和修改时间： utime函数，参数为struct utimbuf，每一项都是utc时间
文件用户id和组id：chown，fchown，lchown

2. 文件类型：

2.1 st_mode字段控制的文件类型

S_ISREG：普通文件。文本或二进制；可执行文件有固定的可被内核识别的格式。
S_ISDIR：目录文件。包含其他文件的名字以及指向与这些文件有关信息的指针。
S_ISBLK：块特殊文件。提供堆设备（如磁盘）带缓冲的访问，访问长度固定。
S_ISCHR：字符特殊文件。提供堆设备（如磁盘）不带缓冲的访问，访问长度不固定。
S_ISFIFO：FIFO，命名管道。用于进程间通信
S_ISSOCK：套接字。用于网络间进程通信
S_ISLINK：符号链接。指向另一个文件

2.2 stat结构体本身控制的文件类型

S_TYPEISMQ：消息队列
S_TYPEISSEM：信号量
S_TYPEISSHM：共享存储对象

3. 文件访问权限

权限位保存在st_mode属性中
9个访问权限位对应的值为：

更改文件访问权限的函数：chmod和fchmod

4. UFS文件系统

4.1 磁盘，分区和文件系统图

一个磁盘分为多个分区，每个分区可以包含一个文件系统
i节点是固定长度的记录项

4.2 详细的柱面组的i节点和数据块

每个柱面包括：i节点数组，数据库，目录块
每个i节点包含文件的大部分信息：文件类型，访问权限，长度，占用的实际数据库。（stat结构大多数信息取自i节点）
每个目录块包括：目录名称，i节点号
同一个i节点，可以被不同的目录指向，i节点的链接计数统计指向的数量
文件改名时，实际内容并未移动，只是构造一个新目录项，指向现有的节点，并解除旧记录项的链接

5. 硬链接

硬链接直接指向文件的i节点

5.1 创建一个指向现有文件的链接：link方法

如果newpath已经存在，返回出错
只能创建newpath中最后一个分量，路径中其他部分必须已经存在
很多文件系统不允许堆目录创建硬链接
超级用户能直接创建目录硬链接

5.2 删除一个现有的链接项：unlink方法

将path所引用的文件的链接数减1
只有当连接技术为0，该文件的内容才被删除
对于文件，可以使用remove功能，和unlink一样
对于目录，可以使用rmdir功能，和unlink一样

6. 符号链接

符号链接是指向一个文件的间接指针。

6.1 符号链接是为了避开硬链接的一些限制

硬链接要求链接和文件位于同一文件系统中
只有超级用户才能创建指向目录的硬链接

6.2 使用符号链接需要注意的事情

当调用某个函数时，需要注意函数处理的是链接的文件，还是链接本身

6.3 符号链接相关的函数

创建符号链接： symlink
打开符号链接：readlink

7. 目录

创建目录：mkdir
删除目录：rmdir。入炉链接计数为0，且没有进程打开次目录，释放目录空间。
读取目录：

更改当前工作目录：chdir，fchdir

五. 标准IO

标准io库不仅在unix上，很多操作系统上都实现了。
标准io处理很多细节，例如：缓冲区分配，优化长度执行io等。便于用户使用。
使用的头文件为。
标准io的底层调用了前面介绍的unix内核io。
标准io的缺点是效率低。这与它需要复制的数据量有关

1. 流和File对象

unix内核io提供的io函数都是针对文件描述符的
但是标准io的操作是针对流进行的
标准io文件流可用于单字节或宽字节字符集，由流定向决定（fwide函数）。
标准io打开一个文件（fopen函数）时，返回一个FILE的指针，它包含了实际io的文件描述符，指向用于该流缓冲区的指针，缓冲区长度，缓冲区当前字符数，出错标志，文件结束标志等信息
每个进程预定义三个流：标准输入，标准输出，标准出错

2. 缓冲

2.1 缓冲类型

标准io提供三种类型的缓冲

全缓冲：填满标准io缓冲区后才进行实际的io操作（malloc申请缓冲区，flush执行写操作）。
行缓冲：输入输出中遇到换行符时进行实际的io操作。涉及终端设备时，通常用行缓冲。
不带缓冲：不对字符进行缓冲存储。标准出错流通常不带缓冲。

2.2 设置缓冲类型

setbuf
setvbuf：第三个参数：
- _IOFBF：全缓冲
- _IOLBF: 行缓冲
- _IONBF：无缓冲

3. 打开流

fopen：打开一个指定的文件
freopen：将一个文件读到一个指定的流。如果流已经打开，就先关闭，已经定向，就先清除定向。
fdopen：通过文件描述符打开文件。因为管道和网络通信等特殊文件不能用标准io函数fopen打开，所以用到该函数。
type：指定文件的打开方式

4. 读和写流

读写流有三种不同的方式

每次读写一个字符：
- 读：getc，fgetc，getchar
- 写：putc，fputc，putchar

不带f前缀的从标准输入流读取数据，带f前缀的从指定流读取数据。不带f前缀的函数不推荐使用，因为它不指定缓冲区大小，会导致溢出。

每次读写一行：
- 读：gets，fgets
- 写：puts，fputs
每次读写一定数量的对象（直接io，二进制io）：
- 读：fread，需要指定要读取的元素个数和每个元素的大小
- 写：fwrite
- 缺点：不同系统间，交换二进制数据会编译期和计算机体系结构不同而有差异，所以必须用更高级的协议。