三剑客中的利器——Awk

什么是Awk？

Awk是一种文本处理工具，它的名字是由其三位创始人（Aho、Weinberger和Kernighan）的姓氏首字母组成的。Awk的设计初衷是用于处理结构化文本数据，它提供了强大的模式匹配和数据提取功能。

Awk的工作方式是逐行扫描输入文本文件，并对每一行应用一组用户定义的规则。这些规则由模式-动作对构成，当文本行匹配某个模式时，对应的动作将被执行。Awk将输入文本自动分割成字段（默认以空格作为分隔符），可以方便地对字段进行操作和处理。

Awk的基本用法

Awk命令的一般格式如下：

awk 'pattern { action }' input_file

• `pattern`是用于匹配文本行的条件。可以是正则表达式、比较表达式、逻辑表达式等。如果省略pattern，则默认匹配所有行。
• `{ action }`是在匹配成功时执行的动作块。可以是一条或多条语句，用花括号 {} 包围。如果省略动作块，将默认执行打印整行的操作。
• `input_file`是要处理的输入文件。如果省略此参数，则从标准输入读取数据。

以下是一些Awk语法的常见要点：

1. 字段和字段分隔符：1）默认情况下，Awk将每一行分割成多个字段，字段之间以空格或制表符作为分隔符。2）可以使用`-F`选项指定不同的字段分隔符。例如，`-F ','`表示使用逗号作为分隔符。3）可以使用`1`、`2`等表示第1、第2个字段，`
2. 内置变量： 1）`NR`表示当前处理的行数。 2）`NF`表示当前行的字段数量。 3）`FNR`表示当前文件中的行数。 4）`FILENAME`表示当前处理的文件名。
3. 控制流语句： 1）`if-else`条件语句：根据条件执行不同的动作。 2）`for`循环语句：迭代执行一系列动作。 3）`while`循环语句：在满足条件的情况下重复执行一系列动作。 4）`do-while`循环语句：先执行一系列动作，然后根据条件重复执行。
4. 内置函数： Awk提供了许多内置函数，可用于字符串处理、数学运算、日期处理等。例如：`length()`、`substr()`、`tolower()`、`toupper()`、`sin()`、`cos()`等。
5. 输出打印： 1）使用`print`语句将结果输出到标准输出。可以打印文本、变量、表达式等。 2）使用`printf`函数以格式化的方式打印输出。

Awk的实际应用示例

• 使用Awk来统计文件中的行数：

awk '{ count++ } END { print count }' input.txt

• 使用Awk计算一个CSV文件中某一列的总和：

awk -F ',' '{ sum += $3 } END { print sum }' data

• 使用Awk从日志文件中提取特定时间段内的日志记录：

awk '/Jun 15 10:30:00/, /Jun 15 11:00:00/' access.log

• 使用Awk计算一个文本文件中每个单词的出现次数：

awk '{ for(i=1; i<=NF; i++) count[$i]++ } END { for(word in count) print word, count[word] }' text.txt

• 使用正则表达式匹配包含数字的行：

awk '/[0-9]+/' input.txt

• 计算每行字段数量，并打印行号和字段数量：

awk -F ',' '{ print "Line", NR, "has", NF, "fields" }' data.csv

• 打印文件名和行号：

awk '{ print "File:", FILENAME, "Line:", NR, $0 }' file1.txt file2.txt

• 使用`if-else`条件语句来根据条件执行不同的动作：

awk '{ if ($1 > 10) print $1, "is greater than 10"; else print $1, "is less than or equal to 10" }' data.txt

• 使用`for`循环语句打印九九乘法表：

awk 'BEGIN { for(i=1; i<=9; i++) { for(j=1; j<=i; j++) printf("%d*%d=%d ", j, i, i*j); print "" } }'

• 使用`length()`函数获取每行的字符数：

awk '{ print "Line", NR, "has", length($0), "characters" }' data.txt

• 使用`substr()`函数截取字段的子字符串：

awk -F ',' '{ print "Name:", $1, "Initials:", substr($1, 1, 1) substr($2, 1, 1) }' names.csv

• 使用`print`语句打印文本和变量：

awk '{ name = $1; age = $2; print "Name:", name, "Age:", age }' data.txt

• 使用`printf`函数以格式化的方式打印输出：

awk '{ printf "Name: %-10s Age: %2d\n", $1, $2 }' data.txt

今天的分享就到这里啦