当前位置:

首页 > 编程开发 > Shell正则表达式及综合案例及文本处理工具详解

Shell正则表达式及综合案例及文本处理工具详解

一、常规匹配 先看一个基本规则:一个不包含特殊字符的正则表达式,匹配的就是它本身。也就是说,你写什么,它就找什么。 举个例子,如果想查看密码中包含root字符串的行,可以这样写: cat /etc/passwd | grep root 二、常用特殊字符 特殊字符作用^匹配一行的开头$匹配一行的结束.

本文目录

    一、常规匹配

    先看一个基本规则:一个不包含特殊字符的正则表达式,匹配的就是它本身。也就是说,你写什么,它就找什么。

    举个例子,如果想查看密码中包含root字符串的行,可以这样写:

    cat /etc/passwd | grep root

    Shell正则表达式及综合案例及文本处理工具详解

    二、常用特殊字符

    特殊字符作用
    ^匹配一行的开头
    $匹配一行的结束

    .

    匹配任意一个字符
    **不单独使用,他和上一个字符连用,表示匹配上一个字符0次或者多次
    [][]表示匹配某个范围内的一个字符
    \表示转义字符,一般和特殊字符连用表示特殊字符本身

    下面看几个实际例子,感受一下这些特殊字符怎么用。

    例1:匹配以a字符开头的行:

    cat /etc/passwd | grep ^a

    Shell正则表达式及综合案例及文本处理工具详解

    例2:匹配以e字符结尾的行:

    cat /etc/passwd | grep e$

    Shell正则表达式及综合案例及文本处理工具详解

    例3:匹配任意一个字符(. 匹配任意一个字符,如 r.t 匹配 r后面跟任意字符再跟t):

    cat /etc/passwd | grep r.t

    cat /etc/passwd | grep r..t

    Shell正则表达式及综合案例及文本处理工具详解

    例4:查询包含以字符r开头,t结尾的字符串(中间任意字符任意次数):

    cat /etc/passwd | grep r.*t

    Shell正则表达式及综合案例及文本处理工具详解

    字符集 [] 的用法也很常用:

    • [6,8] —— 匹配6或者8
    • [0-9] —— 匹配一个0-9的数字
    • [0-9]* —— 匹配任意长度的数字字符串
    • [a-z] —— 匹配一个a-z之间的字符
    • [a-z]* —— 匹配任意长度的字母字符串
    • [a-c,e-f] —— 匹配a-c或者e-f之间的任意字符

    具体用法,看下图就清楚了:

    Shell正则表达式及综合案例及文本处理工具详解

    例6:假如想查找n_test.sh文件中包含$符的行,因为$是特殊字符,所以需要转义:

    cat /scripts/n_test.sh | grep '\$'

    Shell正则表达式及综合案例及文本处理工具详解

    三、匹配手机号

    手机号有固定规则:第一位是1,第二位是3、4、5、7、8、9,其余数字任意,总共11位。所以可以写出这样的正则:

    "1569656955" | grep ^1[3,4,5,7,8,9][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]$

    Shell正则表达式及综合案例及文本处理工具详解

    从图中可以看到,第一个数字符合手机号,第二个明显不符合。但这样写[0-9]重复了9次,太繁琐。可以用大括号{}表示重复次数,不过需要加上-E选项启用扩展正则:

    grep -E ^1[3,4,5,7,8,9][0-9]{9}$

    Shell正则表达式及综合案例及文本处理工具详解

    大于或小于11位都是不符合的。

    四、案例之归档文件

    实际生产环境中,重要数据的归档备份是家常便饭。这里实现一个目录归档脚本:输入一个目录名称,将目录下所有文件按天归档,归档日期附加在文件名上,放在根目录下的/archive目录。

    归档命令用tar,加上-c表示归档,-z表示压缩,得到.tar.gz文件。注意可能需要加上-P选项,允许使用绝对路径归档。

    #!/bin/bash
    # 首先判断输入的参数个数是否为1
    if [ $# -ne 1 ]
    then
        echo "参数个数错误!应该输入一个参数作为归档目录名"
        exit
    fi
    # 从参数中获取目录名称,查看目录名称是否存在
    if [ -d $1 ]
    then
        echo
    else
        echo
        echo "目录不存在!"
        echo
        exit
    fi
    # 获取绝对路径
    DIR_NAME=$(basename $1)
    DIR_PATH=$(cd $(dirname $1);pwd)
    # 获取当前日期,归档文件名拼接成日期
    DATE=$(date +%y%m%d)
    # 订阅生成归档文件名称
    FILE=archive_${DIR_NAME}_$DATE.tar.gz
    # 订阅生成归档文件的路径
    DEST=/archive/$FILE
    # 开始归档目录文件
    echo "开始归档...."
    echo
    # -c 归档 z 压缩 f可视化
    tar -czPf $DEST $DIR_PATH/$DIR_NAME
    # 判断上面文件归档文件操作是否成功
    if [ $? -eq 0 ]
    then
        echo
        echo "归档成功"
        echo "归档的文件为:$DEST"
        echo
    else
        echo "归档出现问题"
        echo
    fi
    exit

    Shell正则表达式及综合案例及文本处理工具详解

    五、案例之定时归档文件

    如果需要定时执行归档,比如每分钟归档一次,可以设置crontab:

    */1 * * * * /archive/archive_test.sh /scripts

    Shell正则表达式及综合案例及文本处理工具详解

    可以看到确实添加了一个归档文件。

    六、Shell文本处理工具

    1. cut工具

    cut顾名思义就是“剪切”,负责从文件中按列剪切数据。它可以按字节、字符或字段来切,输出指定部分。

    基本用法:

    cut [选项参数] filename

    选项参数:

    • -f 列号,提取第几列
    • -d 分隔符,按照指定分隔符分割列,默认是制表符"\t"
    • -c 按字符进行切割,后加n表示取第几列,比如-c 1

    比如有一个文本文件包含以下诗歌:

    Shell正则表达式及综合案例及文本处理工具详解

    提取第一列,按空格分隔:

    cut -d " " -f 1 cut_test.txt

    Shell正则表达式及综合案例及文本处理工具详解

    提取第一和第四列:

    cut -d " " -f 1,4 cut_test.txt

    Shell正则表达式及综合案例及文本处理工具详解

    想知道ens33网卡的所有IP?先ifconfig ens33,然后管道传给grep,用正则提取ip,最后用cut切割:

    Shell正则表达式及综合案例及文本处理工具详解

    因为ip在第10列,所以-f后面跟10:

    ifconfig ens33 | grep netmask | cut -d " " -f 10

    2. awk工具

    awk是一个强大的文本分析工具,它把文件逐行读入,默认以空格为分隔符将每行切片,然后对切片进行分析处理。

    基本用法:

    awk [选项参数] '/pattern1/{action1}/pattern2/{action2}...' filename

    pattern:匹配模式,awk在数据中查找的内容;action:找到匹配内容时执行的命令。

    选项参数:

    • -F 指定文件分隔符
    • -v 分支一个用户定义变量

    有些系统可能不支持awk,可以用which awk检查:

    which awk

    Shell正则表达式及综合案例及文本处理工具详解

    出现上面的路径说明系统支持awk。

    实例操作

    1. 搜索passwd文件以root关键字开头的所有行,并输出该行的第7列

    cat /etc/passwd | awk -F ":" '/^root/ {print $7}'

    Shell正则表达式及综合案例及文本处理工具详解

    2. 搜索passwd文件以root开头的所有行,输出第1列和第7列,中间以逗号分隔

    cat /etc/passwd | awk -F ":" '/^root/ {print $1 "," $7}'

    Shell正则表达式及综合案例及文本处理工具详解

    3. 只显示/etc/passwd的第一列和第七列,以逗号分隔,并在所有行前面添加列名"start",最后一行添加"over"

    cat /etc/passwd | awk -F ":" '/^root/ {print $1"," $7} END{print "over"}'

    Shell正则表达式及综合案例及文本处理工具详解

    4. 将passwd文件中的用户id增加数值1并输出

    cat /etc/passwd | awk -F ":" '{print $3+1}'

    Shell正则表达式及综合案例及文本处理工具详解

    内置变量

    awk内置了一些常用变量:

    • FILENAME:文件名
    • NR:已读记录数(行号)
    • NF:浏览记录的域的个数(切割后,列的个数)

    下面看几个示例操作。

    1. 统计passwd文件名、每行的行号、每列的列数

    cat /etc/passwd | awk -F ":" '{print " 文件名:" FILENAME "\t行号:" NR "\t列数: " NF}' /etc/passwd

    Shell正则表达式及综合案例及文本处理工具详解

    2. 查询ifconfig命令输出结果中的空行所在行号

    ifconfig | awk '/^$/ {print "空行: " NR}'

    Shell正则表达式及综合案例及文本处理工具详解

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发
    相关文章 更多
    Nod 0.8.1怎样理解状态码、Ray ID与计划检查
    Nod 0.8.1怎样理解状态码、Ray ID与计划检查

    Nod 0.8.1补充连接服务状态与原因、Attio Cloudflare 403诊断,并让Gmail在连接服务429或503后延后计划轮询。

    Ducter 0.0.59如何理解同会话聊天、Git可选和附件变化
    Ducter 0.0.59如何理解同会话聊天、Git可选和附件变化

    Ducter 0.0.59扩展Telegram、Slack和Mac iMessage会话,区分项目目录来源、Git可选、等待状态与附件入口。

    llama.cpp b12435、b12436、b12438测试构建的三类兼容变化有什么区别?
    llama.cpp b12435、b12436、b12438测试构建的三类兼容变化有什么区别?

    llama.cpp b12435、b12436、b12438预发布构建,分别解释Vulkan并列选择确定性、32位编译与Jinja JSON键排序的适用范围。

    ScopeWeaver 0.9.2、0.9.3与0.9.4如何区分运行时、Zod和任务状态变化
    ScopeWeaver 0.9.2、0.9.3与0.9.4如何区分运行时、Zod和任务状态变化

    ScopeWeaver 0.9.2、0.9.3与0.9.4分别调整桥运行时、Zod依赖和同进程服务器重建后的暂停状态;区分版本对象与作者本地研究用途声明。

    AG2 1.3.2的输入Token为何变多,旧ACP版本还能用吗
    AG2 1.3.2的输入Token为何变多,旧ACP版本还能用吗

    AG2 1.3.2统一缓存Token统计并更新ACP1.x依赖;解释预算提前触达、报表口径与Python3.15构建限制。

    llama.cpp b12433怎样为AMD奇数列保留MUL_MAT_ID回退路径
    llama.cpp b12433怎样为AMD奇数列保留MUL_MAT_ID回退路径

    llama.cpp b12433避免AMD设备将奇数src0列送入需要偶数列的MMVF路径:满足偶数条件才保留MMVF,其他形状沿用既有回退。对应改动发生在MUL_MAT_ID处理和相关同步判断中,范围限定于代码说明中的类型与token条件。

    Ducter 0.0.58如何区分下一步消息、完成后消息与后台会话
    Ducter 0.0.58如何区分下一步消息、完成后消息与后台会话

    Ducter 0.0.58调整任务阅读、执行中消息和后台会话,区分下一步发送与做完再说,并说明tailnet HTTPS辅助的条件。

    Unlimited OCR 2在TextMind能否直接使用,账号权限与模型示例如何区分
    Unlimited OCR 2在TextMind能否直接使用,账号权限与模型示例如何区分

    Unlimited OCR 2官方确认百度智能云TextMind渠道;区分云端入口、账号权限配额与本地模型部署,避免混淆接口和计费条件。

    TensorFold 1.2.9的Ollama接口和服务配置文件怎么用
    TensorFold 1.2.9的Ollama接口和服务配置文件怎么用

    TensorFold 1.2.9的服务配置文件用于保存和复用启动参数,Ollama兼容API则在同一推理路径上提供聊天、生成和模型查询等接口。理解配置优先级及后端限制,比只看到“兼容”就直接迁移全部流量更有用。

    如何理解Univer 1.5.2的二次混淆移除与构建边界?
    如何理解Univer 1.5.2的二次混淆移除与构建边界?

    理解Univer 1.5.2的关键,是把额外混淆与构建压缩分开。本版删除二次混淆插件及相关配置,同时保留Pro模块的minify设置;它解释的是产物处理方式的变化,不代表增加了表格或公式能力。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。