300字范文 > Shell编程(三）grep sed awk文本处理三剑客

Shell编程(三）grep sed awk文本处理三剑客

时间：2022-12-04 16:13:35

Shell编程(二）_做测试的喵酱的博客-CSDN博客

一、ps命令

指令：ps

作用：主要是查看服务器的进程信息

选项含义：

-e：等价于 ‘-A’ ，表示列出全部的进程

-f：显示全部的列（显示全字段）

二、 grep （文本过滤）

grep主要用于过滤。对文本按行来过滤。如果某一行包含要搜索的关键字，则会把这一整行输出出来。

2.1 grep基础使用方法

查看grep 帮助文档 grep --help

[root@ecs-39233 chenshuai]# grep --helpUsage: grep [OPTION]... PATTERN [FILE]...Search for PATTERN in each FILE or standard input.PATTERN is, by default, a basic regular expression (BRE).Example: grep -i 'hello world' menu.h main.c

grep应用的两种形式

形式一：对一个文件/多个文件，进行搜索。

grep [OPTION]... PATTERN [FILE1,FILE2 ... ]

[OPTION] 可选项，可填写以下内容

PATTERN 关键字，被搜索的关键字。从文件FILE1FILE2 搜索包含关键字PATTERN 的行。

形式二：执行命令时，在命令结果中搜索数据

some command | grep [option] pattern

[OPTION] 可选项，可填写以下内容

PATTERN 关键字，被搜索的关键字。可以有没有引号，可以单引号，可以双引号。

如果没有引号，PATTERN 关键字中不能有空格。

单引号，PATTERN 关键字中的变量不能解析，搜索的什么就是什么

双引号，可以解析PATTERN 关键字中的变量。

将一个命令（command）的输出，通过管道符｜传给后面的grep命令。

在第一个命令的输出结果中，搜索关键字pattern

例子1

搜索在当前Linux系统中（/etc/passwd)，是否存在某一个用户。

是否存在root用户

grep root /etc/passwd

[root@ecs-39233 ~]# grep root /etc/passwdroot:x:0:0:root:/root:/bin/bashoperator:x:11:0:operator:/root:/sbin/nologin[root@ecs-39233 ~]#

是否存在miao用户

[root@ecs-39233 ~]# grep miao /etc/passwd[root@ecs-39233 ~]#

例子2

查看当前系统，java进程信息

ps -ef |grep java

查看tomcat进程信息

ps -ef |grep tomcat

例子3忽略大小写 -i

忽略大小写 -i

grep 默认不忽略大小写。 grep -i 忽略大小写。

不忽略大小写

[root@ecs-39233 ~]# echo "Hello world" |grep hello[root@ecs-39233 ~]#

忽略大小写

[root@ecs-39233 ~]# echo "Hello world" |grep -i helloHello world

例子3 统计总数量 -c

统计总数量 -c

查看Linux用户文件。/etc/passwd

[root@ecs-39233 ~]# cat /etc/passwdroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologinadm:x:3:4:adm:/var/adm:/sbin/nologin

这种nologin结尾的用户，是没有登录权限的用户。

统计一下/etc/passwd 中，有多少个用户没有登录权限。-c

[root@ecs-39233 ~]# grep -c "/sbin/nologin" /etc/passwd16

例子4 搜索多个文件

1、搜索多个文件

在test_while.sh test_read_n.sh 这两个文件中，搜索"/bin/bash" 字符串

[root@ecs-39233 ~]# grep "/bin/bash" test_while.sh test_read_n.shtest_while.sh:#!/bin/bashtest_read_n.sh:#!/bin/bash

2、对目录进行过滤 -r

我想在/chenshuai 目下，对所有的文件进行搜索。搜索"/bin/bash" 字符串

grep -r "/bin/bash" /chenshuai

[root@ecs-39233 chenshuai]# grep -r "/bin/bash" /chenshuai/chenshuai/study_shell.sh:#!/bin/bash/chenshuai/until.sh:#!/bin/bash/chenshuai/miao_test.sh:#!/bin/bash

3、过滤时，只打印文件名称。不打印命中的字符串 -l

grep -rl "/bin/bash" /chenshuai

/chenshuai/study_shell.sh/chenshuai/until.sh/chenshuai/miao_test.sh

例子5 过滤目标行的前后数据

显示目标行的后几行数据 -A

显示目标行的前几行数据-B

显示目标行的前后各几行数据 -C

查看grep 帮助文档

grep --help

查看grep帮助文档，中的-A 用法。（"\-A" 转义）

grep --help | grep "\-A"

[root@ecs-39233 ~]# grep --help | grep "\-A"-A, --after-context=NUM print NUM lines of trailing context

显示目标行的后几行数据（-A ,after)

查看-A 这一行，及后3行数据。

grep --help | grep -A3 "\-A"

查看- B这一行，及前4行的数据。

显示目标行的前后各几行数据 -C

查看目前行的前后各2行数据

grep --help|grep -C2 "\-C"

2.2 grep + 正则

2.2.1 基础正则

^ 以x开头$ 以x结尾.*[][^]

在文件中搜索，以"r"开头的字符串

grep '^r' /etc/passwd

2.2.2 扩展正则grep -E 或者 egrep

扩展正则：（常用）

{}()|+?

在文件中，匹配手机号

grep -E '^1[3456789]\d{9}$' /etc/xxx.log

egrep '^1[3456789]\d{9}$' /etc/xxx.log

2.2.3 过滤多个关键字

我想在文件中，搜索文件中，包含-E -A -B 多个关键字的数据（这几个关键字是或的关系）

注意：

过滤多个关键字，需要使用正则中的管道符｜表示或的关系

正则中的管道符｜，属于扩展正则，需要使用grep -E 或者egrep

-E 需要转移 \-E

grep --help | egrep '\-E|\-A\-B'

grep --help | grep -E '\-E|\-A|\-B'

2.3 grep 编写Shell 脚本

实现功能：

shell脚本，实现查看cpu 核数。

Linux知识小拓展：

使用top命令，查看linux信息。然后按1，顶部就会显示所有的cpu使用信息。

查看cpu的配置信息，

cat /proc/cpuinfo

里面，每一个核都有一个model name，所以统计cpu核数量，可以通过统计model name 文本数量实现。

grep -c "model name" /proc/cpuinfo

三、 sed （对文件进行增删改查处理）

sed全名叫streameditor，流编辑器。用无交互式的方式来编辑文本。

sed 编辑器没有破坏性，它不会修改文件，除非使用 shell重定向来保存输出结果。默认情况下，所有的输出行都被打印到屏幕上。

sed 工作过程：

sed 编辑器逐行处理文件（或输入），并将输出结果发送到屏幕。sed 的命令就是在 vi和 ed/ex 编辑器中见到的那些。sed 把当前正在处理的行保存在一个临时缓存区中，这个缓存区称为模式空间或临时缓冲。sed 处理完模式空间中的行后（即在该行上执行 sed 命令后），就把改行发送到屏幕上（除非之前有命令删除这一行或取消打印操作）。sed 每处理完输入文件的最后一行后，sed 便结束运行。sed 把每一行都存在临时缓存区中，对这个副本进行编辑，所以不会修改或破坏源文件。

作用：

sed流编辑器，对文件进行增删改查的处理。

我们日常对文件进行处理，使用vim命令。但是在shell脚本中，不能使用vim处理文本，vim是一个交互式的命令，我们可以使用sed命令。

处理文本方式：

按照行来处理文本，与grep相似。

两种形式：

方式一：对文件进行处理

sed [option] "pattern command" file

[option] 可选的扩展项目，如-n -f -r等

pattern 要搜索的关键词。pattern 为空的话，默认是对每一行进行处理。

cmond 对命中的这一行数据，做何种处理。（处理命令）

file 文件路径

sed打印时，默认会把原数据打印出来。

方式二：对命令的输出结果做处理

some command | sed [option] "pattern command"

将一个命令command的输出结果，传给sed处理。

sed 在这个结果中，寻找匹配行，然后对这一匹配行进行处理。

3.1打印文件

sed 'p' /etc/passwd

没有搜索词，默认对每一行都处理。

'p' 打印命令，print简写。

[root@ecs-39233 ~]# sed 'p' /etc/passwdroot:x:0:0:root:/root:/bin/bashroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologinbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologinadm:x:3:4:adm:/var/adm:/sbin/nologin

发现，passwd文件中，每一行数据，都打印了两遍。因为sed打印了一遍原数据，还打印了一遍命中数据，所以打印了两遍。

-n 只打印模式匹配的行。(只打印1行）

sed -n 'p' /etc/passwd

[root@ecs-39233 ~]# sed -n 'p' /etc/passwdroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologinadm:x:3:4:adm:/var/adm:/sbin/nologin

3.2 匹配词pattern 的四种类型

command命令

3.2.1 使用行号过滤，pattern 为行号

方式一：对文件进行操作

sed -n "第几行操作命令"文件路径

pattern 为具体的行号。

如，打印第3行内容

sed -n '3 p' /etc/passwd

[root@ecs-39233 ~]# sed -n '3 p' /etc/passwddaemon:x:2:2:daemon:/sbin:/sbin/nologin[root@ecs-39233 ~]#

方式二对一个命令的结果进行处理

cat /etc/passwd | sed -n '3 p'

对cat的运行结果，打印第3行的数据。

[root@ecs-39233 ~]# cat /etc/passwd | sed -n '3 p'daemon:x:2:2:daemon:/sbin:/sbin/nologin

对连续的行进行处理 'x,y command'

如，打印第4行到第8行的数据

sed -n '4,8 p' /etc/passwd

[root@ecs-39233 ~]# sed -n '4,8 p' /etc/passwdadm:x:3:4:adm:/var/adm:/sbin/nologinlp:x:4:7:lp:/var/spool/lpd:/sbin/nologinsync:x:5:0:sync:/sbin:/bin/syncshutdown:x:6:0:shutdown:/sbin:/sbin/shutdownhalt:x:7:0:halt:/sbin:/sbin/halt[root@ecs-39233 ~]#

3.2.2使用正则过滤，pattern 为正则表达式

表达式：

sed -n '/正则表达式/ 操作命令' 文件路径

举例，打印/etc/passwd 文件中，包含root的行

sed -n '/root/ p' /etc/passwd

[root@ecs-39233 ~]# sed -n '/root/ p' /etc/passwdroot:x:0:0:root:/root:/bin/bashoperator:x:11:0:operator:/root:/sbin/nologin

对所有s开头的行，进行打印 /^s p/

sed -n '/^s/ p' /etc/passwd

[root@ecs-39233 ~]# sed -n '/^s/ p' /etc/passwdsync:x:5:0:sync:/sbin:/bin/syncshutdown:x:6:0:shutdown:/sbin:/sbin/shutdownsystemd-network:x:192:192:systemd Network Management:/:/sbin/nologinsshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

遇到/要使用转义

如，打印包含/sbin/nologin 的行，其中/ 需要进行转义

sed -n -e '/\/sbin\/nologin/ p' /etc/passwd

[root@ecs-39233 ~]# sed -n -e '/\/sbin\/nologin/ p' /etc/passwdbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologinadm:x:3:4:adm:/var/adm:/sbin/nologinlp:x:4:7:lp:/var/spool/lpd:/sbin/nologinmail:x:8:12:mail:/var/spool/mail:/sbin/nologinoperator:x:11:0:operator:/root:/sbin/nologingames:x:12:100:games:/usr/games:/sbin/nologinftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

-r 支持拓展正则

sed 只默认只支持基本正则，拓展正则需要加-r

举例：

打印包含2个o的行，o{2}

sed -n -r '/o{2}/ p' /etc/passwd

[root@ecs-39233 ~]# sed -n -r '/o{2}/ p' /etc/passwdroot:x:0:0:root:/root:/bin/bashlp:x:4:7:lp:/var/spool/lpd:/sbin/nologinmail:x:8:12:mail:/var/spool/mail:/sbin/nologinoperator:x:11:0:operator:/root:/sbin/nologinpostfix:x:89:89::/var/spool/postfix:/sbin/nologin

多个正则的使用，实现过滤以x行到y行的数据。

注意，这里的多个正则，不是或的关系，而是x行到y行的意思。

举例，我要过滤，以adm开头的行，到以mail开头行的数据

sed -n '/^adm/,/^mail/ p' /etc/passwd

[root@ecs-39233 ~]# sed -n '/^adm/,/^mail/ p' /etc/passwdadm:x:3:4:adm:/var/adm:/sbin/nologinlp:x:4:7:lp:/var/spool/lpd:/sbin/nologinsync:x:5:0:sync:/sbin:/bin/syncshutdown:x:6:0:shutdown:/sbin:/sbin/shutdownhalt:x:7:0:halt:/sbin:/sbin/haltmail:x:8:12:mail:/var/spool/mail:/sbin/nologin

3.3sed 修改文本

3.3.1在目标行后写入内容 a (假修改，修改的内存）

模版：

sed '/正则表达式/ a 新增内容' 文件路径

a,append 追加

修改文本，只在当前输出的屏幕生效。查看文本内容，实际并未做修改。

提前准备一个文件（如滕王阁序.txt）

vim 滕王阁序.txt

豫章故郡，洪都新府。星分翼轸，地接衡庐。襟三江而带五湖，控蛮荆而引瓯越。物华天宝，龙光射牛斗之墟；人杰地灵，徐孺下陈蕃之榻。雄州雾列，俊采星驰。台隍枕夷夏之交，宾主尽东南之美。都督阎公之雅望，棨戟遥临；宇文新州之懿范，襜帷暂驻。十旬休假，胜友如云；千里逢迎，高朋满座。腾蛟起凤，孟学士之词宗；紫电青霜，王将军之武库。家君作宰，路出名区；童子何知，躬逢胜饯。时维九月，序属三秋。潦水尽而寒潭清，烟光凝而暮山紫。俨骖騑于上路，访风景于崇阿；临帝子之长洲，得天人之旧馆。层峦耸翠，上出重霄；飞阁流丹，下临无地。鹤汀凫渚，穷岛屿之萦回；桂殿兰宫，即冈峦之体势。披绣闼，俯雕甍，山原旷其盈视，川泽纡其骇瞩。闾阎扑地，钟鸣鼎食之家；舸舰弥津，青雀黄龙之舳。云销雨霁，彩彻区明。落霞与孤鹜齐飞，秋水共长天一色。渔舟唱晚，响穷彭蠡之滨；雁阵惊寒，声断衡阳之浦。遥襟甫畅，逸兴遄飞。爽籁发而清风生，纤歌凝而白云遏。睢园绿竹，气凌彭泽之樽；邺水朱华，光照临川之笔。四美具，二难并。穷睇眄于中天，极娱游于暇日。天高地迥，觉宇宙之无穷；兴尽悲来，识盈虚之有数。望长安于日下，目吴会于云间。地势极而南溟深，天柱高而北辰远。关山难越，谁悲失路之人？萍水相逢，尽是他乡之客。怀帝阍而不见，奉宣室以何年？

向文件内插入内容。

举例: 对包含 “时维九月” 这一行，后面进行追加一行内容。

sed '/时维九月/ a 作者：王勃' /chenshuai/滕王阁序.txt

[root@ecs-39233 chenshuai]# sed '/时维九月/ a 作者：王勃' /chenshuai/滕王阁序.txt豫章故郡，洪都新府。星分翼轸，地接衡庐。襟三江而带五湖，控蛮荆而引瓯越。物华天宝，龙光射牛斗之墟；人杰地灵，徐孺下陈蕃之榻。雄州雾列，俊采星驰。台隍枕夷夏之交，宾主尽东南之美。都督阎公之雅望，棨戟遥临；宇文新州之懿范，襜帷暂驻。十旬休假，胜友如云；千里逢迎，高朋满座。腾蛟起凤，孟学士之词宗；紫电青霜，王将军之武库。家君作宰，路出名区；童子何知，躬逢胜饯。时维九月，序属三秋。潦水尽而寒潭清，烟光凝而暮山紫。俨骖騑于上路，访风景于崇阿；临帝子之长洲，得天人之旧馆。层峦耸翠，上出重霄；飞阁流丹，下临无地。鹤汀凫渚，穷岛屿之萦回；桂殿兰宫，即冈峦之体势。作者：王勃

使用cat命令，查看文本内容，实际并未修改。