Linux 三大马车——grep sed awk

grep :搜索文本工具(有点类似于网页上control +F)

grep -w '查找内容' #精确查找关键词

grep -c #含有关键词的行数

grep -v  #反向查找

grep -n #显示匹配成功的行所在行号

grep '查找内容' -r [文件夹] or [文件] #可实现文件夹查找

grep -e ‘’ -e'' #多个关键词查找

grep -f #从文件里读取关键词

grep -i #忽略大小写

eg: 我们可以将多个关键词存入到一个文件中进行查找 这样就不需要不停地输-e

cat > file

关键词1

关键词2

...

^C

less [需要进行检索的文件路径] | grep -f file -w 

结果显示

正则表达式：

^ 行首 '^T'表示以T开头的行

￥ 行尾 'T)' 表示以T结尾的行

. 表示换行符之外的任意字符 eg:'f.ee'

? 匹配之前项0次或1次 eg: 'f\?ee'=ee or fee

• 匹配之前项1次或多次 eg:‘re+’ =re ree reee...

* 匹配之前项0次或多次

[] eg: TATA-box 则可表示为：TATAATAAT. (这里的塔塔盒是指TATAWAWN 其中W=A/T N=ATC/G)

^

|

使用 \ 来切换正则表达式与正常字符

eg:

'f\?ee' 则这里的？是正则表达式

而'f?ee' 的？则是正常的字符

故为了避免麻烦 可使用

grep -E '' 

如果查找多出几行，可能说明关键词不够精确，可以适当延长关键词以达到更精确的查找

eg：

用‘^@’查找的结果，显示有1006行

延长关键词后，可查找到正确行数

eg：

人类Y染色体有多少基因？

sed：流编辑器 将文件打印到标准输出流，不修改文件，对文本进行增删改查

sed以行为单位编辑！！

sed options 'scrip' files

'scrip' : ‘address命令 对象 ’

address：

2

2,4

2,+4

2~4

2,$

/pattern/

!

命令：

a 在指定行的后面增加一行

i 在指定行的前面增加一行

d 删除指定行

c 改变指定行的内容

s s/查找/替换/g s/查找/替换/1 s/查找/替换/2

y 把指定行的检索出的内容进行一对一的转换

p 把指定行or修改过的行打印出来

eg:

'1,3d'

'1a hi!' 在第1行后面插入一行，内容为：hi!

'2c Hi' 把第二行的内容改成 Hi

PS：定位的行数是指源文件的行数 而不是新修改过的

sed 's/is/IS/g'

sed 's/is/IS/2'

sed 's/is/IS/'

sed '1~3s/is/IS/' 处理第1、4、7、10行 常运用于fq文件

sed '/www/ s/is/IS/' 处理能匹配到www的行

查：

sed -n '2~4p' 查找并输出某些行

sed -n '/关键词/p' #根据关键词进行查找

sed -n 's/ee/EE/p' #输出的同时被处理

s和y的区别：

s 是将查找到的内容替换掉

y 是一一对应替换 （多用于输出互补碱基）

如何获得反向互补的序列？

awk:

结构：awk [option] '{scrips}' files

默认分隔符：空格or制表符

常用option：-F #自定义分隔符

eg: -F '\t' #将分隔符改为tab 第一个tab前为第一列

‘{scrips}’结构：

1.‘{scrips}’

2.‘/pattern/ {script}’

3.'BEGIN{scrips} {scrips} END{scrips}'

输出某列：

awk '{print $9}'

awk '{print $9,$10}'

awk '{print 9"@"10}'

匹配模式：

awk '/UTR/{PRINT $1,$5,$3}' 可以按顺序打印1.5.3列

VS. cut 只能由小到大打印列

awk不仅可以自定义识别的分隔符，还可以定义输出的分隔符

awk '{print $3":"$4"-"$5}'

awk 'BEGIN{OFS=":"} {print $3,$4,$5}'

awk 'BEGIN{OFS=":"} {print NR $3,$4,$5}' #打印出行号

awk '{if(条件) 执行内容}' #awk 的条件循环

awk '{if($=="gene") print $0} else{print $3"is not gene"}'

awk 的运算

+ - * / ** ^ % log() int() 取整数 int(...+0.5) 四舍五入

eg:外显子的长度

awk '/exon/{print $4-$4+1}'

Linux常见字符和含义：