awk命令详细介绍:这些awk用法你会用几个

人气:131 ℃/2024-12-13 16:27:29

【一天一篇Linux运维文档】

关注我,持续学习Linux运维技能!

awk也是流式编辑器,针对文档中的行来操作,一行一行地执行。awk工具其实是很复杂的(有专门的书来介绍它的应用),对于初学者来说,只要能处理日常管理工作中的问题即可。鉴于此,阿铭仅介绍比较常见的awk应用,如果你感兴趣再去深入研究吧!

12.3.1截取文档中的某个段

示例命令如下:

# head -n2 test.txt |awk -F ':' '{print $1}'rootbin

本例中,-F选项的作用是指定分隔符。如果不加-F选项,则以空格或者tab为分隔符。print为打印的动作,用来打印某个字段。$1为第1个字段,$2为第2个字段,以此类推。但$0比较特殊,它表示整行:

# head -n2 test.txt |awk -F':' '{print $0}'root:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologin

注意awk的格式,-F后面紧跟单引号,单引号里面为分隔符。print的动作要用{}括起来,否则会报错。print还可以打印自定义的内容,但是自定义的内容要用双引号括起来,如下所示:

# head -n2 test.txt |awk -F ':' '{print $1"#"$2"#"$3"#"$4}'root#x#0#0bin#x#1#1

12.3.2匹配字符或者字符串

示例命令如下:

# awk '/oo/' test.txtroot:x:0:0:root:/root:/bin/bashlp:x:4:7:lp:/var/spool/lpd:/sbin/nologinmail:x:8:12:mail:/var/spool/mail:/sbin/nologinoperator:x:11:0:operator:/root:/sbin/nologinpostfix:x:89:89::/var/spool/postfix:/sbin/nologinsetroubleshoot:x:992:990::/var/lib/setroubleshoot:/sbin/nologin

这跟sed的用法类似,能实现grep的功能,但没有颜色显示,肯定没有grep用起来方便。不过awk还有比sed更强大的匹配,如下所示:

# awk -F ':' '$1 ~/oo/' test.txtroot:x:0:0:root:/root:/bin/bashsetroubleshoot:x:992:990::/var/lib/setroubleshoot:/sbin/nologin

它可以让某个段去匹配,这里的~就是匹配的意思。awk还可以多次匹配,如下所示:

# awk -F ':' '/root/ {print $1,$3} /test/ {print $1,$3}' test.txtroot 0operator 11test 1006

本例中awk匹配完root,再匹配test,它还可以只打印所匹配的段。

12.3.3条件操作符

示例命令如下:

# awk -F ':' '$3=="0"' /etc/passwdroot:x:0:0:root:/root:/bin/bash

awk中可以用逻辑符号进行判断,比如==就是等于,也可以理解为精确匹配。另外还有>、>=、<、<=、!=等。值得注意的是,在和数字比较时,若把比较的数字用双引号引起来,那么awk不会认为是数字,而会认为是字符,不加双引号则会认为是数字。

# awk -F ':' '$3>="500"' /etc/passwdshutdown:x:6:0:shutdown:/sbin:/sbin/shutdownhalt:x:7:0:halt:/sbin:/sbin/haltmail:x:8:12:mail:/var/spool/mail:/sbin/nologinnobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologindbus:x:81:81:System message bus:/:/sbin/nologinsystemd-coredump:x:999:997:systemd Core Dumper:/:/sbin/nologintss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologinpolkitd:x:998:996:User for polkitd:/:/sbin/nologingeoclue:x:997:995:User for geoclue:/var/lib/geoclue:/sbin/nologinunbound:x:996:991:Unbound DNS resolver:/etc/unbound:/sbin/nologingluster:x:995:990:GlusterFS daemons:/run/gluster:/sbin/nologinchrony:x:994:989::/var/lib/chrony:/sbin/nologinlibstoragemgmt:x:993:987:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologinsaslauth:x:992:76:Saslauthd user:/run/saslauthd:/sbin/nologindnsmasq:x:986:986:Dnsmasq DHCP and DNS server:/var/lib/dnsmasq:/sbin/nologinradvd:x:75:75:radvd user:/:/sbin/nologinclevis:x:985:984:Clevis Decryption Framework unprivileged user:/var/cache/clevis:/sbin/nologincockpit-ws:x:984:982:User for cockpit-ws:/:/sbin/nologincolord:x:983:981:User for colord:/var/lib/colord:/sbin/nologinsssd:x:982:980:User for sssd:/:/sbin/nologinsetroubleshoot:x:981:979::/var/lib/setroubleshoot:/sbin/nologinpipewire:x:980:978:PipeWire System Daemon:/var/run/pipewire:/sbin/nologingnome-initial-setup:x:979:977::/run/gnome-initial-setup/:/sbin/nologininsights:x:978:976:Red Hat Insights:/var/lib/insights:/sbin/nologinsshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologinavahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologintcpdump:x:72:72::/:/sbin/nologin

本例中,阿铭本想把uid大于等于500的行打印出来,但是结果并不理想。这是因为awk把所有的数字当作字符了,就跟上一章中提到的sort排序原理一样。但,不加双引号就得到了想要的结果:

# awk -F ':' '$3>=500' /etc/passwdnobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologinsystemd-coredump:x:999:997:systemd Core Dumper:/:/sbin/nologinpolkitd:x:998:996:User for polkitd:/:/sbin/nologingeoclue:x:997:995:User for geoclue:/var/lib/geoclue:/sbin/nologinunbound:x:996:991:Unbound DNS resolver:/etc/unbound:/sbin/nologingluster:x:995:990:GlusterFS daemons:/run/gluster:/sbin/nologinchrony:x:994:989::/var/lib/chrony:/sbin/nologinlibstoragemgmt:x:993:987:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologinsaslauth:x:992:76:Saslauthd user:/run/saslauthd:/sbin/nologindnsmasq:x:986:986:Dnsmasq DHCP and DNS server:/var/lib/dnsmasq:/sbin/nologinclevis:x:985:984:Clevis Decryption Framework unprivileged user:/var/cache/clevis:/sbin/nologincockpit-ws:x:984:982:User for cockpit-ws:/:/sbin/nologincolord:x:983:981:User for colord:/var/lib/colord:/sbin/nologinsssd:x:982:980:User for sssd:/:/sbin/nologinsetroubleshoot:x:981:979::/var/lib/setroubleshoot:/sbin/nologinpipewire:x:980:978:PipeWire System Daemon:/var/run/pipewire:/sbin/nologingnome-initial-setup:x:979:977::/run/gnome-initial-setup/:/sbin/nologininsights:x:978:976:Red Hat Insights:/var/lib/insights:/sbin/nologinaminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash# awk -F ':' '$7!="/sbin/nologin"' /etc/passwdroot:x:0:0:root:/root:/bin/bashsync:x:5:0:sync:/sbin:/bin/syncshutdown:x:6:0:shutdown:/sbin:/sbin/shutdownhalt:x:7:0:halt:/sbin:/sbin/haltaminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash

上例中,!=表示不匹配,它除了针对某一个段的字符进行逻辑比较外,还可以在两个段之间进行逻辑比较。如下所示:

# awk -F ':' '$3<$4' /etc/passwdadm:x:3:4:adm:/var/adm:/sbin/nologinlp:x:4:7:lp:/var/spool/lpd:/sbin/nologinmail:x:8:12:mail:/var/spool/mail:/sbin/nologingames:x:12:100:games:/usr/games:/sbin/nologinftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

另外还可以使用&&和||,它们分别表示“并且”和“或者”。&&的用法如下:

# awk -F ':' '$3>"5" && $3<"7"' /etc/passwdshutdown:x:6:0:shutdown:/sbin:/sbin/shutdownnobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologintss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

||的用法如下:

# awk -F ':' '$3>1000 || $7=="/bin/bash"' /etc/passwdroot:x:0:0:root:/root:/bin/bashnobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologinaminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash

12.3.4awk的内置变量

awk常用的变量有OFS、NF和NR,OFS和-F选项有类似的功能,也是用来定义分隔符的,但是它是在输出的时候定义,NF表示用分隔符分隔后一共有多少段,NR表示行号。

OFS的用法示例如下:

# head -5 /etc/passwd |awk -F ':' '{OFS="#"} {print $1,$3,$4}'root#0#0bin#1#1daemon#2#2adm#3#4lp#4#7

还有更高级一些的用法:

# awk -F ':' '{OFS="#"} {if ($3>=1000) {print $1,$2,$3,$4}}' /etc/passwdnobody#x#65534#65534aminglinux#x#1000#1000

变量NF的具体用法如下:

# head -n3 /etc/passwd | awk -F ':' '{print NF}'777# head -n3 /etc/passwd | awk -F ':' '{print $NF}'/bin/bash/sbin/nologin/sbin/nologin

这里NF是多少段,$NF是最后一段的值。变量NR的具体用法如下:

# head -n3 /etc/passwd | awk -F ':' '{print NR}'123

我们还可以使用NR作为判断条件,如下所示:

# awk 'NR>40' /etc/passwdinsights:x:978:976:Red Hat Insights:/var/lib/insights:/sbin/nologinsshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologinavahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologintcpdump:x:72:72::/:/sbin/nologinaminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash

NR也可以配合段匹配一起使用,如下所示:

# awk -F ':' 'NR<20 && $1 ~ /roo/' /etc/passwdroot:x:0:0:root:/root:/bin/bash

12.3.5awk中的数学运算

awk可以更改段值,示例命令如下:

# head -n 3 /etc/passwd |awk -F ':' '$1="root"'root x 0 0 root /root /bin/bashroot x 1 1 bin /bin /sbin/nologinroot x 2 2 daemon /sbin /sbin/nologin

awk也可以对各个段的值进行数学运算,示例命令如下:

# head -n2 /etc/passwdroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologin# head -n2 /etc/passwd |awk -F ':' '{$7=$3 $4}'# head -n2 /etc/passwd |awk -F ':' '{$7=$3 $4; print $0}'root x 0 0 root /root 0bin x 1 1 bin /bin 2

awk还可以计算某个段的总和,示例命令如下:

# awk -F ':' '{(tot=tot $3)}; END {print tot}' /etc/passwd84699

这里的END是awk特有的语法,表示所有的行都已经执行。其实awk连同sed都可以写成一个脚本文件,而且有它们特有的语法。在awk中使用if判断、for循环都可以,只是阿铭认为在日常管理工作中,没有必要使用那么复杂的语句而已。如下所示:

# awk -F ':' '{if ($1=="root") {print $0}}' /etc/passwdroot:x:0:0:root:/root:/bin/bash

最后要提醒你一下,阿铭介绍的这些仅仅是正则表达式中最基本的内容, sed和awk并没有深入讲解,但足以满足日常工作所需。如果你碰到比较复杂的需求,实在搞不定了,可以来求助阿铭。

百科

More+
首页/电脑版/网名
© 2025 NiBaKu.Com All Rights Reserved.