Shell正则表达式及综合案例及文本处理工具详解

一、常规匹配

先看一个基本规则：一个不包含特殊字符的正则表达式，匹配的就是它本身。也就是说，你写什么，它就找什么。

举个例子，如果想查看密码中包含root字符串的行，可以这样写：

cat /etc/passwd | grep root

二、常用特殊字符

特殊字符	作用
^	匹配一行的开头
$	匹配一行的结束
.	匹配任意一个字符
*	*不单独使用，他和上一个字符连用，表示匹配上一个字符0次或者多次
[]	[]表示匹配某个范围内的一个字符
\	表示转义字符，一般和特殊字符连用表示特殊字符本身

下面看几个实际例子，感受一下这些特殊字符怎么用。

例1：匹配以a字符开头的行：

cat /etc/passwd | grep ^a

例2：匹配以e字符结尾的行：

cat /etc/passwd | grep e$

例3：匹配任意一个字符（. 匹配任意一个字符，如 r.t 匹配 r后面跟任意字符再跟t）：

cat /etc/passwd | grep r.t

cat /etc/passwd | grep r..t

例4：查询包含以字符r开头，t结尾的字符串（中间任意字符任意次数）：

cat /etc/passwd | grep r.*t

字符集 [] 的用法也很常用：

• [6,8] —— 匹配6或者8
• [0-9] —— 匹配一个0-9的数字
• [0-9]* —— 匹配任意长度的数字字符串
• [a-z] —— 匹配一个a-z之间的字符
• [a-z]* —— 匹配任意长度的字母字符串
• [a-c,e-f] —— 匹配a-c或者e-f之间的任意字符

具体用法，看下图就清楚了：

例6：假如想查找n_test.sh文件中包含$符的行，因为$是特殊字符，所以需要转义：

cat /scripts/n_test.sh | grep '\$'

三、匹配手机号

手机号有固定规则：第一位是1，第二位是3、4、5、7、8、9，其余数字任意，总共11位。所以可以写出这样的正则：

"1569656955" | grep ^1[3,4,5,7,8,9][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]$

从图中可以看到，第一个数字符合手机号，第二个明显不符合。但这样写[0-9]重复了9次，太繁琐。可以用大括号{}表示重复次数，不过需要加上-E选项启用扩展正则：

grep -E ^1[3,4,5,7,8,9][0-9]{9}$

大于或小于11位都是不符合的。

四、案例之归档文件

实际生产环境中，重要数据的归档备份是家常便饭。这里实现一个目录归档脚本：输入一个目录名称，将目录下所有文件按天归档，归档日期附加在文件名上，放在根目录下的/archive目录。

归档命令用tar，加上-c表示归档，-z表示压缩，得到.tar.gz文件。注意可能需要加上-P选项，允许使用绝对路径归档。

#!/bin/bash
# 首先判断输入的参数个数是否为1
if [ $# -ne 1 ]
then
    echo "参数个数错误！应该输入一个参数作为归档目录名"
    exit
fi
# 从参数中获取目录名称，查看目录名称是否存在
if [ -d $1 ]
then
    echo
else
    echo
    echo "目录不存在！"
    echo
    exit
fi
# 获取绝对路径
DIR_NAME=$(basename $1)
DIR_PATH=$(cd $(dirname $1);pwd)
# 获取当前日期，归档文件名拼接成日期
DATE=$(date +%y%m%d)
# 订阅生成归档文件名称
FILE=archive_${DIR_NAME}_$DATE.tar.gz
# 订阅生成归档文件的路径
DEST=/archive/$FILE
# 开始归档目录文件
echo "开始归档...."
echo
# -c 归档 z 压缩 f可视化
tar -czPf $DEST $DIR_PATH/$DIR_NAME
# 判断上面文件归档文件操作是否成功
if [ $? -eq 0 ]
then
    echo
    echo "归档成功"
    echo "归档的文件为：$DEST"
    echo
else
    echo "归档出现问题"
    echo
fi
exit

五、案例之定时归档文件

如果需要定时执行归档，比如每分钟归档一次，可以设置crontab：

*/1 * * * * /archive/archive_test.sh /scripts

可以看到确实添加了一个归档文件。

六、Shell文本处理工具

1. cut工具

cut顾名思义就是“剪切”，负责从文件中按列剪切数据。它可以按字节、字符或字段来切，输出指定部分。

基本用法：

cut [选项参数] filename

选项参数：

• -f 列号，提取第几列
• -d 分隔符，按照指定分隔符分割列，默认是制表符"\t"
• -c 按字符进行切割，后加n表示取第几列，比如-c 1

比如有一个文本文件包含以下诗歌：

提取第一列，按空格分隔：

cut -d " " -f 1 cut_test.txt

提取第一和第四列：

cut -d " " -f 1,4 cut_test.txt

想知道ens33网卡的所有IP？先ifconfig ens33，然后管道传给grep，用正则提取ip，最后用cut切割：

因为ip在第10列，所以-f后面跟10：

ifconfig ens33 | grep netmask | cut -d " " -f 10

2. awk工具

awk是一个强大的文本分析工具，它把文件逐行读入，默认以空格为分隔符将每行切片，然后对切片进行分析处理。

基本用法：

awk [选项参数] '/pattern1/{action1}/pattern2/{action2}...' filename

pattern：匹配模式，awk在数据中查找的内容；action：找到匹配内容时执行的命令。

选项参数：

• -F 指定文件分隔符
• -v 分支一个用户定义变量

有些系统可能不支持awk，可以用which awk检查：

which awk

出现上面的路径说明系统支持awk。

实例操作

1. 搜索passwd文件以root关键字开头的所有行，并输出该行的第7列

cat /etc/passwd | awk -F ":" '/^root/ {print $7}'

2. 搜索passwd文件以root开头的所有行，输出第1列和第7列，中间以逗号分隔

cat /etc/passwd | awk -F ":" '/^root/ {print $1 "," $7}'

3. 只显示/etc/passwd的第一列和第七列，以逗号分隔，并在所有行前面添加列名"start"，最后一行添加"over"

cat /etc/passwd | awk -F ":" '/^root/ {print $1"," $7} END{print "over"}'

4. 将passwd文件中的用户id增加数值1并输出

cat /etc/passwd | awk -F ":" '{print $3+1}'

内置变量

awk内置了一些常用变量：

• FILENAME：文件名
• NR：已读记录数（行号）
• NF：浏览记录的域的个数（切割后，列的个数）

下面看几个示例操作。

1. 统计passwd文件名、每行的行号、每列的列数

cat /etc/passwd | awk -F ":" '{print " 文件名：" FILENAME "\t行号：" NR "\t列数: " NF}' /etc/passwd

2. 查询ifconfig命令输出结果中的空行所在行号

ifconfig | awk '/^$/ {print "空行: " NR}'