注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

谷搜互联网应用www.iguso.com

谷搜专注企业邮箱十二年

 
 
 

日志

 
 

好用的资料处理工具(awk)  

2014-06-06 14:07:52|  分类: 技术文章 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
awk 也是一个非常棒的资料处理工具!相较於 sed 常常作用於一整个行的处理, awk 则比较倾向於一行当中分成数个『栏位』来处理。因此,awk 相当的适合处理小型的数据资料处理呢!awk 通常运作的模式是这样的:
  [root@www ——]# awk '条件类型1{动作1} 条件类型2{动作2} ...' filename
  awk 後面接两个单引号并加上大括号 {} 来设定想要对资料进行的处理动作。 awk 可以处理後续接的档案,也可以读取来自前个指令的 standard output 。 但如前面说的, awk 主要是处理『每一行的栏位内的资料』,而预设的『栏位的分隔符号为 "空白键" 或 "[tab]键" 』!举例来说,我们用 last 可以将登入者的资料取出来,结果如下所示:
  [root@www ——]# last -n 5 <==仅取出前五行
  root     pts/1   192.168.1.100  Tue Feb 10 11:21   still logged in
  root     pts/1   192.168.1.100  Tue Feb 10 00:46 - 02:28  (01:41)
  root     pts/1   192.168.1.100  Mon Feb  9 11:41 - 18:30  (06:48)
  dmtsai   pts/1   192.168.1.100  Mon Feb  9 11:41 - 11:41  (00:00)
  root     tty1                   Fri Sep  5 14:09 - 14:10  (00:01)
  若我想要取出帐号与登入者的 IP ,且帐号与 IP 之间以 [tab] 隔开,则会变成这样:
  [root@www ——]# last -n 5 | awk '{print $1 "\t" $3}'
  root    192.168.1.100
  root    192.168.1.100
  root    192.168.1.100
  dmtsai  192.168.1.100
  root    Fri
  上表是 awk 最常使用的动作!透过 print 的功能将栏位资料列出来!栏位的分隔则以空白键或 [tab] 按键来隔开。 因为不论哪一行我都要处理,因此,就不需要有 "条件类型" 的限制!我所想要的是第一栏以及第三栏, 但是,第五行的内容怪怪的——这是因为资料格式的问题啊!所以罗——使用 awk 的时候,请先确认一下你的资料当中,如果是连续性的资料,请不要有空格或 [tab] 在内,否则,就会像这个例子这样,会发生误判喔!企业邮箱
  另外,由上面这个例子你也会知道,在每一行的每个栏位都是有变数名称的,那就是 $1, $2... 等变数名称。以上面的例子来说, root 是 $1 ,因为他是第一栏嘛!至於 192.168.1.100 是第三栏, 所以他就是 $3 啦!後面以此类推——呵呵!还有个变数喔!那就是 $0 ,$0 代表『一整列资料』的意思——以上面的例子来说,第一行的 $0 代表的就是『root .... 』那一行啊! 由此可知,刚刚上面五行当中,整个 awk 的处理流程是:
  读入第一行,并将第一行的资料填入 $0, $1, $2.... 等变数当中;
  依据 "条件类型" 的限制,判断是否需要进行後面的 "动作";
  做完所有的动作与条件类型;
  若还有後续的『行』的资料,则重复上面 1——3 的步骤,直到所有的资料都读完为止。
  经过这样的步骤,你会晓得, awk 是『以行为一次处理的单位』, 而『以栏位为最小的处理单位』。好了,那麽 awk 怎麽知道我到底这个资料有几行?有几栏呢?这就需要 awk 的内建变数的帮忙啦——
  变数名称代表意义
  NF每一行 ($0) 拥有的栏位总数
  NR目前 awk 所处理的是『第几行』资料
  FS目前的分隔字元,预设是空白键
  我们继续以上面 last -n 5 的例子来做说明,如果我想要:
  列出每一行的帐号(就是 $1);
  列出目前处理的行数(就是 awk 内的 NR 变数)
  并且说明,该行有多少栏位(就是 awk 内的 NF 变数)
  则可以这样:
  Tips:
  要注意喔,awk 後续的所有动作是以单引号『 ' 』括住的,由於单引号与双引号都必须是成对的, 所以, awk 的格式内容如果想要以 print 列印时,记得非变数的文字部分,包含上一小节 printf 提到的格式中,都需要使用双引号来定义出来喔!因为单引号已经是 awk 的指令固定用法了!
  [root@www ——]# last -n 5| awk '{print $1 "\t lines: " NR "\t columns: " NF}'
  root     lines: 1        columns: 10
  root     lines: 2        columns: 10
  root     lines: 3        columns: 10
  dmtsai   lines: 4        columns: 10
  root     lines: 5        columns: 9
  # 注意喔,在 awk 内的 NR, NF 等变数要用大写,且不需要有钱字号 $ 啦!
  这样可以了解 NR 与 NF 的差别了吧?好了,底下来谈一谈所谓的 "条件类型" 了吧!
  awk 的逻辑运算字元
  既然有需要用到 "条件" 的类别,自然就需要一些逻辑运算罗——例如底下这些:
  运算单元代表意义
  >大於
  <小於
  >=大於或等於
  <=小於或等於
  ==等於
  !=不等於
  值得注意的是那个『 == 』的符号,因为:
  逻辑运算上面亦即所谓的大於、小於、等於等判断式上面,习惯上是以『 == 』来表示;
  如果是直接给予一个值,例如变数设定时,就直接使用 = 而已。
  好了,我们实际来运用一下逻辑判断吧!举例来说,在 /etc/passwd 当中是以冒号 ":" 来作为栏位的分隔, 该档案中第一栏位为帐号,第三栏位则是 UID。那假设我要查阅,第三栏小於 10 以下的数据,并且仅列出帐号与第三栏, 那麽可以这样做:
  [root@www ——]# cat /etc/passwd | \
  > awk '{FS=":"} $3 < 10 {print $1 "\t " $3}'
  root:x:0:0:root:/root:/bin/bash
  bin      1
  daemon   2
  ....(以下省略)....
  有趣吧!不过,怎麽第一行没有正确的显示出来呢?这是因为我们读入第一行的时候,那些变数 $1, $2... 预设还是以空白键为分隔的,所以虽然我们定义了 FS=":" 了, 但是却仅能在第二行後才开始生效。那麽怎麽办呢?我们可以预先设定 awk 的变数啊! 利用 BEGIN 这个关键字喔!这样做:
  [root@www ——]# cat /etc/passwd | \
  > awk 'BEGIN {FS=":"} $3 < 10 {print $1 "\t " $3}'
  root     0
  bin      1
  daemon   2
  ......(以下省略)......
  很有趣吧!而除了 BEGIN 之外,我们还有 END 呢!另外,如果要用 awk 来进行『计算功能』呢?以底下的例子来看, 假设我有一个薪资资料表档名为 pay.txt ,内容是这样的:
  Name    1st     2nd     3th
  VBird   23000   24000   25000
  DMTsai  21000   20000   23000
  Bird2   43000   42000   41000
  如何帮我计算每个人的总额呢?而且我还想要格式化输出喔!我们可以这样考虑:
  第一行只是说明,所以第一行不要进行加总 (NR==1 时处理);
  第二行以後就会有加总的情况出现 (NR>=2 以後处理)美国主机
  [root@www ——]# cat pay.txt | \
  > awk 'NR==1{printf "%10s %10s %10s %10s %10s\n",$1,$2,$3,$4,"Total" }
  NR>=2{total = $2 + $3 + $4
  printf "%10s %10d %10d %10d %10.2f\n", $1, $2, $3, $4, total}'
  Name        1st        2nd        3th      Total
  VBird      23000      24000      25000   72000.00
  DMTsai      21000      20000      23000   64000.00
  Bird2      43000      42000      41000  126000.00
  上面的例子有几个重要事项应该要先说明的:
  awk 的指令间隔:所有 awk 的动作,亦即在 {} 内的动作,如果有需要多个指令辅助时,可利用分号『;』间隔, 或者直接以 [Enter] 按键来隔开每个指令,例如上面的范例中,鸟哥共按了三次 [enter] 喔!
  逻辑运算当中,如果是『等於』的情况,则务必使用两个等号『==』!
  格式化输出时,在 printf 的格式设定当中,务必加上 \n ,才能进行分行!
  与 bash shell 的变数不同,在 awk 当中,变数可以直接使用,不需加上 $ 符号。
  利用 awk 这个玩意儿,就可以帮我们处理很多日常工作了呢!真是好用的很—— 此外, awk 的输出格式当中,常常会以 printf 来辅助,所以, 最好你对 printf 也稍微熟悉一下比较好啦!另外, awk 的动作内 {} 也是支援 if (条件) 的喔! 举例来说,上面的指令可以修订成为这样:
  [root@www ——]# cat pay.txt | \
  > awk '{if(NR==1) printf "%10s %10s %10s %10s %10s\n",$1,$2,$3,$4,"Total"}
  NR>=2{total = $2 + $3 + $4
  printf "%10s %10d %10d %10d %10.2f\n", $1, $2, $3, $4, total}'
  你可以仔细的比对一下上面两个输入有啥不同——从中去了解两种语法吧!我个人是比较倾向於使用第一种语法, 因为会比较有统一性啊! ^_^
  除此之外, awk 还可以帮我们进行回圈计算喔!真是相当的好用!不过,那属於比较进阶的单独课程了, 我们这里就不再多加介绍。如果你有兴趣的话,请务必参考延伸阅读中的相关连结喔 (注4)。

文章源自谷搜服务商 好用的资料处理工具(awk)
  评论这张
 
阅读(3)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017