未加星标

Linux-awk及内置变量

字体大小 | |
[系统(linux) 所属分类 系统(linux) | 发布者 店小二05 | 时间 2016 | 作者 红领巾 ] 0人收藏点击收藏
概述

awk(分析&处理)

awk是一个数据处理工具,相比于sed常常作用于一整行的处理,awk则比较倾向于将一行分成数个”字段“来处理。

通常运行模式:

awk ' 条件类型1{动作1} 条件类型2{动作2}...‘ filename awk ' BEGIN{ print "start" } pattern { commands } END{ print "end" } file
Linux-awk及内置变量
Linux-awk及内置变量
awk 内置变量使用 内置变量表 属性 说明 $0 当前记录(作为单个变量) $1~$n 当前记录的第n个字段,字段间由FS分隔 FS 输入字段分隔符 默认是空格 NF 当前记录中的字段个数,就是有多少列 NR 已经读出的记录数,就是行号,从1开始 RS 输入的记录他隔符默 认为换行符 OFS 输出字段分隔符 默认也是空格 ORS 输出的记录分隔符,默认为换行符 ARGC 命令行参数个数 ARGV 命令行参数数组 FILENAME 当前输入文件的名字 IGNORECASE 如果为真,则进行忽略大小写的匹配 ARGIND 当前被处理文件的ARGV标志符 CONVFMT 数字转换格式 %.6g ENVIRON UNIX环境变量 ERRNO UNIX系统错误消息 FIELDWIDTHS 输入字段宽度的空白分隔字符串 FNR 当前记录数 OFMT 数字的输出格式(默认值是%.6g) RSTART 被匹配函数匹配的字符串首 RLENGTH 被匹配函数匹配的字符串长度 SUBSEP 数组下标分隔符(默认值是\034) 栗子

以下操作的数据来源为/etc/passwd

root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt mail:x:8:12:mail:/var/spool/mail:/sbin/nologin uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin operator:x:11:0:operator:/root:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin gopher:x:13:30:gopher:/var/gopher:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin ........... root开头的那一行 [[email protected] ~]# awk '/^root/{print $0}' /etc/passwd root:x:0:0:root:/root:/bin/bash

/^root/ 为选择表达式,

^root表示以root开头

$0 代表整行 $1 代表第一个区域,依此类推

设置字段分隔符号(FS使用方法) [[email protected] ~]# head -1 /etc/passwd root:x:0:0:root:/root:/bin/bash [[email protected] ~]# awk 'BEGIN{FS=":"}/^root/{print $1,$NF}' /etc/passwd root /bin/bash [[email protected] ~]# awk 'BEGIN{FS=":"}/^root/{print $2,$NF}' /etc/passwd x /bin/bash [[email protected] ~]# awk 'BEGIN{FS=":"}/^root/{print $0,$NF}' /etc/passwd root:x:0:0:root:/root:/bin/bash /bin/bash [[email protected] ~]# awk 'BEGIN{FS=":"}/^root/{print $6,$NF}' /etc/passwd /root /bin/bash

FS为字段分隔符,可以自己设置,默认是空格,因为passwd里面是”:”分隔,所以需要修改默认分隔符。

NF是字段总数, $0 代表当前行记录, $1-$n 是当前行,各个字段对应值。

$NF 最后一列的值。

记录条数(NR,FNR使用方法) [[email protected] ~]# awk 'BEGIN{FS=":"}{print NR,$1,$NF}' /etc/passwd 1 root /bin/bash 2 bin /sbin/nologin 3 daemon /sbin/nologin 4 adm /sbin/nologin 5 lp /sbin/nologin 6 sync /bin/sync 7 shutdown /sbin/shutdown 8 halt /sbin/halt 9 mail /sbin/nologin 10 uucp /sbin/nologin ........ 设置输出字段分隔符(OFS使用方法) 指定分隔符为^^ [[email protected] ~]# awk 'BEGIN{FS=":";OFS="^^"}/^root/{print FNR,$1,$NF}' /etc/passwd 1^^root^^/bin/bash 默认字段分隔符: [[email protected] ~]# awk 'BEGIN{FS=":"}/^root/{print FNR,$1,$NF}' /etc/passwd 1 root /bin/bash

OFS设置默认字段分隔符

设置输出行记录分隔符(ORS使用方法) cat /etc/passwd|head -n 5|awk 'BEGIN{FS=":";ORS="^^"}{print FNR,$1,$NF}' [[email protected] ~]# cat /etc/passwd|head -n 5|awk 'BEGIN{FS=":";ORS="^^"}{print FNR,$1,$NF}' 1 root /bin/bash^^2 bin /sbin/nologin^^3 daemon /sbin/nologin^^4 adm /sbin/nologin^^5 lp /sbin/nologin^^

ORS默认是换行符,这里修改为:”^^”,所有行之间用”^^”分隔了。

输入参数获取(ARGC ,ARGV使用) [[email protected] ~]# awk 'BEGIN{FS=":";print "ARGC="ARGC;for(k in ARGV) {print k"="ARGV[k]; }}' /etc/passwd ARGC=2 0=awk 1=/etc/passwd [[email protected] ~]# awk 'BEGIN{FS=":";print "NUM="ARGC;for(k in ARGV){print k"="ARGV[k];}}' /etc/passwd NUM=2 0=awk 1=/etc/passwd

ARGC得到所有输入参数个数,ARGV获得输入参数内容,是一个数组。

获得传入的文件名(FILENAME使用) [[email protected] ~]# awk 'BEGIN{FS=":";print FILENAME}/^root/{print FILENAME}' /etc/passwd /etc/passwd

可见 第一行并没有打印出 /etc/passwd

FILENAME,$0-$N,NF 不能使用在BEGIN中,BEGIN中不能获得任何与文件记录操作的变量。 获得linux环境变量(ENVIRON使用) [[email protected] ~]# awk 'BEGIN{print ENVIRON["PATH"];}' /etc/passwd .:/oracle/oracle11/product/112/bin:/usr/lib64/qt-3.3/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin 输出数据格式设置:(OFMT使用) [[email protected] ~]# awk 'BEGIN{OFMT="%.3f";print 2/3,123.11111111;}' /etc/passwd 0.667 123.111 默认的 [[email protected] ~]# awk 'BEGIN{OFMT="%.6f";print 2/3,123.11111111;}' /etc/passwd 0.666667 123.111111

OFMT默认输出格式是:%.6g 保留六位小数,这里修改OFMT会修改默认数据输出格式。

按宽度指定分隔符(FIELDWIDTHS使用) [[email protected] ~]# echo 20160922231258 | awk 'BEGIN{FIELDWIDTHS="4 2 2 2 2 2"}{print $1"-"$2"-"$3,$4":"$5":"$6}' 2016-09-22 23:12:58

FIELDWIDTHS其格式为空格分隔的一串数字,用以对记录进行域的分隔,FIELDWIDTHS=”4 2 2 2 2 2”就表示 $1 宽度是4, $2 是2, $3 是2 …. 。这个时候会忽略:FS分隔符。

RSTART RLENGTH使用 [[email protected] ~]# awk 'BEGIN{start=match("this is a test",/[a-z]+$/); print start, RSTART, RLENGTH }' 11 11 4 [[email protected] ~]# awk 'BEGIN{start=match("this is a test",/^[a-z]+$/); print start, RSTART, RLENGTH }' 0 0 -1

RSTART 被匹配正则表达式首位置,RLENGTH 匹配字符长度,没有找到为-1.

本文系统(linux)相关术语:linux系统 鸟哥的linux私房菜 linux命令大全 linux操作系统

主题: Linux数据变量SUUB数据处理
分页:12
转载请注明
本文标题:Linux-awk及内置变量
本站链接:http://www.codesec.net/view/483371.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 系统(linux) | 评论(0) | 阅读(37)