awk中文手冊

　　1. awk簡介

awk 是一種編程語言，用於在linux/unix下對文本和數據進行處理。數據可以來自標準輸入、一個或多個文件，或其它命令的輸出。它支持用戶自定義函數和動態正則表達式等先進功能，是linux/unix下的一個強大編程工具。它在命令行中使用，但更多是作為腳本來使用。awk的處理文本和數據的方式是這樣的，它逐行掃描文件，從第一行到最後一行，尋找匹配的特定模式的行，並在這些行上進行你想要的操作。如果沒有指定處理動作，則把匹配的行顯示到標準輸出 (屏幕)，如果沒有指定模式，則所有被操作所指定的行都被處理。awk分別代表其作者姓氏的第一個字母。因為它的作者是三個人，分別是Alfred Aho、Brian Kernighan、Peter Weinberger。gawk是awk的GNU版本，它提供了Bell實驗室和GNU的一些擴展。下面介紹的awk是以GUN的gawk為例的，在 linux系統中已把awk鏈接到gawk，所以下面全部以awk進行介紹。
2. awk命令格式和選項
2.1. awk的語法有兩種形式

*

awk [options] 'script' var=value file(s)
*

awk [options] -f scriptfile var=value file(s)

2.2. 命令選項

-F fs or --field-separator fs

指定輸入文件折分隔符，fs是一個字元串或者是一個正則表達式，如-F:。
-v var=value or --asign var=value

賦值一個用戶定義變數。
-f scripfile or --file scriptfile

從腳本文件中讀取awk命令。
-mf nnn and -mr nnn

對nnn值設置內在限制，-mf選項限制分配給nnn的最大塊數目；-mr選項限制記錄的最大數目。這兩個功能是Bell實驗室版awk的擴展功能，在標準awk中不適用。
-W compact or --compat, -W traditional or --traditional

在兼容模式下運行awk。所以gawk的行為和標準的awk完全一樣，所有的awk擴展都被忽略。
-W copyleft or --copyleft, -W copyright or --copyright

列印簡短的版權信息。
-W help or --help, -W usage or --usage

列印全部awk選項和每個選項的簡短說明。
-W lint or --lint

列印不能向傳統unix平台移植的結構的警告。
-W lint-old or --lint-old

列印關於不能向傳統unix平台移植的結構的警告。
-W posix

打開兼容模式。但有以下限制，不識別：\x、函數關鍵字、func、換碼序列以及當fs是一個空格時，將新行作為一個域分隔符；操作符**和**=不能代替^和^=；fflush無效。
-W re-interval or --re-inerval

允許間隔正則表達式的使用，參考(grep中的Posix字元類)，如括弧表達式[[:alpha:]]。
-W source program-text or --source program-text

使用program-text作為源代碼，可與-f命令混用。
-W version or --version

列印bug報告信息的版本。

3. 模式和操作

awk腳本是由模式和操作組成的：

pattern {action} 如$ awk '/root/' test，或$ awk '$3 < 100' test。

兩者是可選的，如果沒有模式，則action應用到全部記錄，如果沒有action，則輸出匹配全部記錄。默認情況下，每一個輸入行都是一條記錄，但用戶可通過RS變數指定不同的分隔符進行分隔。
3.1. 模式

模式可以是以下任意一個：

*

/正則表達式/：使用通配符的擴展集。
*

關係表達式：可以用下面運算符表中的關係運算符進行操作，可以是字元串或數字的比較，如$2>%1選擇第二個欄位比第一個欄位長的行。
*

模式匹配表達式：用運算符~(匹配)和~!(不匹配)。
*

模式，模式：指定一個行的範圍。該語法不能包括BEGIN和END模式。
*

BEGIN：讓用戶指定在第一條輸入記錄被處理之前所發生的動作，通常可在這裡設置全局變數。
*

END：讓用戶在最後一條輸入記錄被讀取之後發生的動作。

3.2. 操作

操作由一人或多個命令、函數、表達式組成，之間由換行符或分號隔開，並位於大括弧內。主要有四部份：

*

變數或數組賦值
*

輸出命令
*

內置函數
*

控制流命令

4. awk的環境變數

Table 1. awk的環境變數
變數 描述
$n 當前記錄的第n個欄位，欄位間由FS分隔。
$0 完整的輸入記錄。
ARGC 命令行參數的數目。
ARGIND 命令行中當前文件的位置(從0開始算)。
ARGV 包含命令行參數的數組。
CONVFMT 數字轉換格式(默認值為%.6g)
ENVIRON 環境變數關聯數組。
ERRNO 最後一個系統錯誤的描述。
FIELDWIDTHS 欄位寬度列表(用空格鍵分隔)。
FILENAME 當前文件名。
FNR 同NR，但相對於當前文件。
FS 欄位分隔符(默認是任何空格)。
IGNORECASE 如果為真，則進行忽略大小寫的匹配。
NF 當前記錄中的欄位數。
NR 當前記錄數。
OFMT 數字的輸出格式(默認值是%.6g)。
OFS 輸出欄位分隔符(默認值是一個空格)。
ORS 輸出記錄分隔符(默認值是一個換行符)。
RLENGTH 由match函數所匹配的字元串的長度。
RS 記錄分隔符(默認是一個換行符)。
RSTART 由match函數所匹配的字元串的第一個位置。
SUBSEP 數組下標分隔符(默認值是\034)。
5. awk運算符

Table 2. 運算符
運算符 描述
= += -= *= /= %= ^= **= 賦值
?: C條件表達式
|| 邏輯或
&& 邏輯與
~ ~! 匹配正則表達式和不匹配正則表達式
< <= > >= != == 關係運算符
空格 連接
+ - 加，減
* / & 乘，除與求余
+ - ! 一元加，減和邏輯非
^ *** 求冪
++ -- 增加或減少，作為前綴或後綴
$ 欄位引用
in 數組成員
6. 記錄和域
6.1. 記錄

awk把每一個以換行符結束的行稱為一個記錄。

記錄分隔符：默認的輸入和輸出的分隔符都是回車，保存在內建變數ORS和RS中。

$0變數：它指的是整條記錄。如$ awk '{print $0}' test將輸出test文件中的所有記錄。

變數NR：一個計數器，每處理完一條記錄，NR的值就增加1。如$ awk '{print NR,$0}' test將輸出test文件中所有記錄，並在記錄前顯示記錄號。
6.2. 域

記錄中每個單詞稱做“域”，默認情況下以空格或tab分隔。awk可跟蹤域的個數，並在內建變數NF中保存該值。如$ awk '{print $1,$3}' test將列印test文件中第一和第三個以空格分開的列(域)。
6.3. 域分隔符

內建變數FS保存輸入域分隔符的值，默認是空格或tab。我們可以通過-F命令行選項修改FS的值。如$ awk -F: '{print $1,$5}' test將列印以冒號為分隔符的第一，第五列的內容。

可以同時使用多個域分隔符，這時應該把分隔符寫成放到方括弧中，如$awk -F'[:\t]' '{print $1,$3}' test，表示以空格、冒號和tab作為分隔符。

輸出域的分隔符默認是一個空格，保存在OFS中。如$ awk -F: '{print $1,$5}' test，$1和$5間的逗號就是OFS的值。
7. gawk專用正則表達式元字元

一般通用的元字符集就不講了，可參考我的Sed和Grep學習筆記。以下幾個是gawk專用的，不適合unix版本的awk。

\Y

匹配一個單詞開頭或者末尾的空字元串。
\B

匹配單詞內的空字元串。
\<

匹配一個單詞的開頭的空字元串，錨定開始。
\>

匹配一個單詞的末尾的空字元串，錨定末尾。
\w

匹配一個字母數字組成的單詞。
\W

匹配一個非字母數字組成的單詞。
\‘

匹配字元串開頭的一個空字元串。
\'

匹配字元串末尾的一個空字元串。

8. POSIX字符集

可參考我的Grep學習筆記
9. 匹配操作符(~)

用來在記錄或者域內匹配正則表達式。如$ awk '$1 ~/^root/' test將顯示test文件第一列中以root開頭的行。
10. 比較表達式

conditional expression1 ? expression2: expression3，例如：$ awk '{max = {$1 > $3} ? $1: $3: print max}' test。如果第一個域大於第三個域，$1就賦值給max，否則$3就賦值給max。

$ awk '$1 + $2 < 100' test。如果第一和第二個域相加大於100，則列印這些行。

$ awk '$1 > 5 && $2 < 10' test,如果第一個域大於5，並且第二個域小於10，則列印這些行。
11. 範圍模板

範圍模板匹配從第一個模板的第一次出現到第二個模板的第一次出現之間所有行。如果有一個模板沒出現，則匹配到開頭或末尾。如$ awk '/root/,/mysql/' test將顯示root第一次出現到mysql第一次出現之間的所有行。
12. 一個驗證passwd文件有效性的例子

1$ cat /etc/passwd | awk -F: '\
2NF != 7{\
3printf("line %d,does not have 7 fields:%s\n",NR,$0)}\
4$1 !~ /[A-Za-z0-9]/{printf("line %d,non alpha and numeric user id:%d: %s\n,NR,$0)}\
5$2 == "*" {printf("line %d, no password: %s\n",NR,$0)}'

1

cat把結果輸出給awk，awk把域之間的分隔符設為冒號。
2

如果域的數量(NF)不等於7，就執行下面的程序。
3

printf列印字元串"line ?? does not have 7 fields"，並顯示該條記錄。
4

如果第一個域沒有包含任何字母和數字，printf列印“no alpha and numeric user id" ，並顯示記錄數和記錄。
5

如果第二個域是一個星號，就列印字元串“no passwd”，緊跟著顯示記錄數和記錄本身。
13. 幾個實例

*

$ awk '/^(no|so)/' test-----列印所有以模式no或so開頭的行。
*

$ awk '/^[ns]/{print $1}' test-----如果記錄以n或s開頭，就列印這個記錄。
*

$ awk '$1 ~/[0-9][0-9]$/(print $1}' test-----如果第一個域以兩個數字結束就列印這個記錄。
*

$ awk '$1 == 100 || $2 < 50' test-----如果第一個或等於100或者第二個域小於50，則列印該行。
*

$ awk '$1 != 10' test-----如果第一個域不等於10就列印該行。
*

$ awk '/test/{print $1 + 10}' test-----如果記錄包含正則表達式test，則第一個域加10並列印出來。
*

$ awk '{print ($1 > 5 ? "ok "$1: "error"$1)}' test-----如果第一個域大於5則列印問號後面的表達式值，否則列印冒號後面的表達式值。
*

$ awk '/^root/,/^mysql/' test----列印以正則表達式root開頭的記錄到以正則表達式mysql開頭的記錄範圍內的所有記錄。如果找到一個新的正則表達式root開頭的記錄，則繼續列印直到下一個以正則表達式mysql開頭的記錄為止，或到文件末尾。

14. awk編程
14.1. 變數

*

在awk中，變數不需要定義就可以直接使用，變數類型可以是數字或字元串。
*

賦值格式：Variable = expression，如$ awk '$1 ~/test/{count = $2 + $3; print count}' test,上式的作用是,awk先掃描第一個域，一旦test匹配，就把第二個域的值加上第三個域的值，並把結果賦值給變數count，最後列印出來。
*

awk 可以在命令行中給變數賦值，然後將這個變數傳輸給awk腳本。如$ awk -F: -f awkscript month=4 year=2004 test，上式的month和year都是自定義變數，分別被賦值為4和2004。在awk腳本中，這些變數使用起來就象是在腳本中建立的一樣。注意，如果參數前面出現test，那麼在BEGIN語句中的變數就不能被使用。
*

域變數也可被賦值和修改，如$ awk '{$2 = 100 + $1; print }' test,上式表示，如果第二個域不存在，awk將計算表達式100加$1的值，並將其賦值給$2，如果第二個域存在，則用表達式的值覆蓋$2原來的值。再例如：$ awk '$1 == "root"{$1 ="test";print}' test，如果第一個域的值是“root”，則把它賦值為“test”，注意，字元串一定要用雙引號。
*

內建變數的使用。變數列表在前面已列出，現在舉個例子說明一下。$ awk -F: '{IGNORECASE=1; $1 == "MARY"{print NR,$1,$2,$NF}'test，把IGNORECASE設為1代表忽略大小寫，列印第一個域是mary的記錄數、第一個域、第二個域和最後一個域。

14.2. BEGIN模塊

BEGIN 模塊后緊跟著動作塊，這個動作塊在awk處理任何輸入文件之前執行。所以它可以在沒有任何輸入的情況下進行測試。它通常用來改變內建變數的值，如OFS, RS和FS等，以及列印標題。如：$ awk 'BEGIN{FS=":"; OFS="\t"; ORS="\n\n"}{print $1,$2,$3} test。上式表示，在處理輸入文件以前，域分隔符(FS)被設為冒號，輸出文件分隔符(OFS)被設置為製表符，輸出記錄分隔符(ORS)被設置為兩個換行符。$ awk 'BEGIN{print "TITLE TEST"}只列印標題。
14.3. END模塊

END不匹配任何的輸入文件，但是執行動作塊中的所有動作，它在整個輸入文件處理完成後被執行。如$ awk 'END{print "The number of records is" NR}' test，上式將列印所有被處理的記錄數。
14.4. 重定向和管道

*

awk 可使用shell的重定向符進行重定向輸出，如：$ awk '$1 = 100 {print $1 > "output_file" }' test。上式表示如果第一個域的值等於100，則把它輸出到output_file中。也可以用>>來重定向輸出，但不清空文件，只做追加操作。
*

輸出重定向需用到getline函數。getline從標準輸入、管道或者當前正在處理的文件之外的其他輸入文件獲得輸入。它負責從輸入獲得下一行的內容，並給NF,NR和FNR等內建變數賦值。如果得到一條記錄，getline函數返回1，如果到達文件的末尾就返回0，如果出現錯誤，例如打開文件失敗，就返回-1。如：

$ awk 'BEGIN{ "date" | getline d; print d}' test。執行linux的date命令，並通過管道輸出給getline，然後再把輸出賦值給自定義變數d，並列印它。

$ awk 'BEGIN{"date" | getline d; split(d,mon); print mon[2]}' test。執行shell的date命令，並通過管道輸出給getline，然後getline從管道中讀取並將輸入賦值給d，split函數把變數d轉化成數組mon，然後列印數組mon的第二個元素。

$ awk 'BEGIN{while( "ls" | getline) print}'，命令ls的輸出傳遞給geline作為輸入，循環使getline從ls的輸出中讀取一行，並把它列印到屏幕。這裡沒有輸入文件，因為 BEGIN塊在打開輸入文件前執行，所以可以忽略輸入文件。

$ awk 'BEGIN{printf "What is your name?"; getline name < "/dev/tty" } $1 ~name {print "Found" name on line ", NR "."} END{print "See you," name "."} test。在屏幕上列印”What is your name?",並等待用戶應答。當一行輸入完畢后，getline函數從終端接收該行輸入，並把它儲存在自定義變數name中。如果第一個域匹配變數 name的值，print函數就被執行，END塊列印See you和name的值。

$ awk 'BEGIN{while (getline < "/etc/passwd" > 0) lc++; print lc}'。awk將逐行讀取文件/etc/passwd的內容，在到達文件末尾前，計數器lc一直增加，當到末尾時，列印lc的值。注意，如果文件不存在，getline返回-1，如果到達文件的末尾就返回0，如果讀到一行，就返回1，所以命令 while (getline < "/etc/passwd")在文件不存在的情況下將陷入無限循環，因為返回-1表示邏輯真。
*

可以在awk中打開一個管道，且同一時刻只能有一個管道存在。通過close()可關閉管道。如：$ awk '{print $1, $2 | "sort" }' test END {close("sort")}。awd把print語句的輸出通過管道作為linux命令sort的輸入,END塊執行關閉管道操作。
*

system函數可以在awk中執行linux的命令。如：$ awk 'BEGIN{system("clear")'。
*

fflush函數用以刷新輸出緩衝區，如果沒有參數，就刷新標準輸出的緩衝區，如果以空字元串為參數，如fflush(""),則刷新所有文件和管道的輸出緩衝區。

14.5. 條件語句

awk中的條件語句是從C語言中借鑒過來的，可控制程序的流程。
14.5.1. if語句

格式：
{if (expression){
statement; statement; ...
}
}

$ awk '{if ($1 <$2) print $2 "too high"}' test。如果第一個域小於第二個域則列印。

$ awk '{if ($1 < $2) {count++; print "ok"}}' test.如果第一個域小於第二個域，則count加一，並列印ok。
14.5.2. if/else語句，用於雙重判斷。

格式：
{if (expression){
statement; statement; ...
}
else{
statement; statement; ...
}
}

$ awk '{if ($1 > 100) print $1 "bad" ; else print "ok"}' test。如果$1大於100則列印$1 bad,否則列印ok。

$ awk '{if ($1 > 100){ count++; print $1} else {count--; print $2}' test。如果$1大於100，則count加一，並列印$1，否則count減一，並列印$1。
14.5.3. if/else else if語句，用於多重判斷。

格式：
{if (expression){
statement; statement; ...
}
else if (expression){
statement; statement; ...
}
else if (expression){
statement; statement; ...
}
else {
statement; statement; ...
}
}

14.6. 循環

*

awk有三種循環:while循環；for循環；special for循環。
*

$ awk '{ i = 1; while ( i <= NF ) { print NF,$i; i++}}' test。變數的初始值為1，若i小於可等於NF(記錄中域的個數),則執行列印語句，且i增加1。直到i的值大於NF.
*

$ awk '{for (i = 1; i *

breadkcontinue語句。break用於在滿足條件的情況下跳出循環；continue用於在滿足條件的情況下忽略後面的語句，直接返回循環的頂端。如：

{for ( x=3; x<=NF; x++)
if ($x<0){print "Bottomed out!"; break}}
{for ( x=3; x<=NF; x++)
if ($x==0){print "Get next item"; continue}}


*

next語句從輸入文件中讀取一行，然後從頭開始執行awk腳本。如：

{if ($1 ~/test/){next}
else {print}
}


*

exit語句用於結束awk程序，但不會略過END塊。退出狀態為0代表成功，非零值表示出錯。

14.7. 數組

awk中的數組的下標可以是數字和字母，稱為關聯數組。
14.7.1. 下標與關聯數組

*

用變數作為數組下標。如：$ awk {name[x++]=$2};END{for(i=0;i *

special for循環用於讀取關聯數組中的元素。格式如下：

{for (item in arrayname){
print arrayname[item]
}
}

$ awk '/^tom/{name[NR]=$1}; END{for(i in name){print name[i]}}' test。列印有值的數組元素。列印的順序是隨機的。
*

用字元串作為下標。如：count["test"]
*

用域值作為數組的下標。一種新的for循環方式，for (index_value in array) statement。如:$ awk '{count[$1]++} END{for(name in count) print name,count[name]}' test。該語句將列印$1中字元串出現的次數。它首先以第一個域作數組count的下標，第一個域變化，索引就變化。
*

delete 函數用於刪除數組元素。如：$ awk '{line[x++]=$1} END{for(x in line) delete(line[x])}' test。分配給數組line的是第一個域的值，所有記錄處理完成後，special for循環將刪除每一個元素。

14.8. awk的內建函數
14.8.1. 字元串函數

*

sub函數匹配記錄中最大、最靠左邊的子字元串的正則表達式，並用替換字元串替換這些字元串。如果沒有指定目標字元串就默認使用整個記錄。替換隻發生在第一次匹配的時候。格式如下：

sub (regular expression, substitution string):
sub (regular expression, substitution string, target string)

實例：

$ awk '{ sub(/test/, "mytest"); print }' testfile
$ awk '{ sub(/test/, "mytest"); $1}; print }' testfile

第一個例子在整個記錄中匹配，替換隻發生在第一次匹配發生的時候。如要在整個文件中進行匹配需要用到gsub

第二個例子在整個記錄的第一個域中進行匹配，替換隻發生在第一次匹配發生的時候。
*

gsub函數作用如sub，但它在整個文檔中進行匹配。格式如下：

gsub (regular expression, substitution string)
gsub (regular expression, substitution string, target string)

實例：

$ awk '{ gsub(/test/, "mytest"); print }' testfile
$ awk '{ gsub(/test/, "mytest"), $1 }; print }' testfile

第一個例子在整個文檔中匹配test，匹配的都被替換成mytest。

第二個例子在整個文檔的第一個域中匹配，所有匹配的都被替換成mytest。
*

index函數返回子字元串第一次被匹配的位置，偏移量從位置1開始。格式如下：

index(string, substring)

實例：

$ awk '{ print index("test", "mytest") }' testfile

實例返回test在mytest的位置，結果應該是3。
*

length函數返回記錄的字元數。格式如下：

length( string )
length

實例：

$ awk '{ print length( "test" ) }'
$ awk '{ print length }' testfile

第一個實例返回test字元串的長度。

第二個實例返回testfile文件中第條記錄的字元數。
*

substr函數返回從位置1開始的子字元串，如果指定長度超過實際長度，就返回整個字元串。格式如下：

substr( string, starting position )
substr( string, starting position, length of string )

實例：

$ awk '{ print substr( "hello world", 7,11 ) }'

上例截取了world子字元串。
*

match函數返回在字元串中正則表達式位置的索引，如果找不到指定的正則表達式則返回0。match函數會設置內建變數RSTART為字元串中子字元串的開始位置，RLENGTH為到子字元串末尾的字元個數。substr可利於這些變數來截取字元串。函數格式如下：

match( string, regular expression )

實例：

$ awk '{start=match("this is a test",/[a-z]+$/); print start}'
$ awk '{start=match("this is a test",/[a-z]+$/); print start, RSTART, RLENGTH }'

第一個實例列印以連續小寫字元結尾的開始位置，這裡是11。

第二個實例還列印RSTART和RLENGTH變數，這裡是11(start)，11(RSTART)，4(RLENGTH)。
*

toupper和tolower函數可用於字元串大小間的轉換，該功能只在gawk中有效。格式如下：

toupper( string )
tolower( string )

實例：

$ awk '{ print toupper("test"), tolower("TEST") }'

*

split函數可按給定的分隔符把字元串分割為一個數組。如果分隔符沒提供，則按當前FS值進行分割。格式如下：

split( string, array, field separator )
split( string, array )

實例：

$ awk '{ split( "20:18:00", time, ":" ); print time[2] }'

上例把時間按冒號分割到time數組內，並顯示第二個數組元素18。

14.8.2. 時間函數

*

systime函數返回從1970年1月1日開始到當前時間(不計閏年)的整秒數。格式如下：

systime()

實例：

$ awk '{ now = systime(); print now }'

*

strftime函數使用C庫中的strftime函數格式化時間。格式如下：

systime( [format specification][,timestamp] )

Table 3. 日期和時間格式說明符
格式 描述
%a 星期幾的縮寫(Sun)
%A 星期幾的完整寫法(Sunday)
%b 月名的縮寫(Oct)
%B 月名的完整寫法(October)
%c 本地日期和時間
%d 十進位日期
%D 日期 08/20/99
%e 日期，如果只有一位會補上一個空格
%H 用十進位表示24小時格式的小時
%I 用十進位表示12小時格式的小時
%j 從1月1日起一年中的第幾天
%m 十進位表示的月份
%M 十進位表示的分鐘
%p 12小時表示法(AM/PM)
%S 十進位表示的秒
%U 十進位表示的一年中的第幾個星期(星期天作為一個星期的開始)
%w 十進位表示的星期幾(星期天是0)
%W 十進位表示的一年中的第幾個星期(星期一作為一個星期的開始)
%x 重新設置本地日期(08/20/99)
%X 重新設置本地時間(12：00：00)
%y 兩位數字錶示的年(99)
%Y 當前月份
%Z 時區(PDT)
%% 百分號(%)

實例：

$ awk '{ now=strftime( "%D", systime() ); print now }'
$ awk '{ now=strftime("%m/%d/%y"); print now }'

14.8.3. 內建數學函數

Table 4.
函數名稱 返回值
atan2(x,y) y,x範圍內的餘切
cos(x) 餘弦函數
exp(x) 求冪
int(x) 取整
log(x) 自然對數
rand() 隨機數
sin(x) 正弦
sqrt(x) 平方根
srand(x) x是rand()函數的種子
int(x) 取整，過程沒有舍入
rand() 產生一個大於等於0而小於1的隨機數
14.8.4. 自定義函數

在awk中還可自定義函數，格式如下：

function name ( parameter, parameter, parameter, ... ) {
statements
return expression # the return statement and expression are optional
}

15. How-to

*

如何把一行豎排的數據轉換成橫排？

awk '{printf("%s,",$1)}' filename

Tags: