linux awk命令詳解awk是乙個強大的文字分析工具,相對於grep的查詢,sed的編輯,awk在其對資料分析並生成報告時,顯得尤為強大。簡單來說awk就是把檔案逐行的讀入,以空格為預設分隔符將每行切片,切開的部分再進行各種分析處理。
awk有3個不同版本: awk、nawk和gawk,未作特別說明,一般指gawk,gawk 是 awk 的 gnu 版本。
awk其名稱得自于它的創始人 alfred aho 、peter weinberger 和 brian kernighan 姓氏的首個字母。實際上 awk 的確擁有自己的語言: awk 程式語言 , 三位建立者已將它正式定義為「樣式掃瞄和處理語言」。它允許您建立簡短的程式,這些程式讀取輸入檔案、為資料排序、處理資料、對輸入執行計算以及生成報表,還有無數其他的功能。
常用awk命令**)
awk 用法:awk ' pattern '
變數名 含義
argc 命令列變元個數
argv 命令列變元陣列
filename 當前輸入檔名
fnr 當前檔案中的記錄號
fs 輸入域分隔符,預設為乙個空格
rs 輸入記錄分隔符
nf 當前記錄裡域個數
nr 到目前為止記錄數
ofs 輸出域分隔符
ors 輸出記錄分隔符
1、awk '/101/' file 顯示檔案file中包含101的匹配行。
awk '/101/,/105/' file
awk '$1 == 5' file
awk '$1 == "ct"' file 注意必須帶雙引號
awk '$1 * $2 >100 ' file
awk '$2 >5 && $2<=15' file
2、awk '' file 顯示檔案file的當前記錄號、域數和每一行的第乙個和最後乙個域。
awk '/101/ ' file 顯示檔案file的匹配行的第
一、二個域加10。
awk '/101/ ' file
awk '/101/ ' file 顯示檔案file的匹配行的第
一、二個域,但顯示時域中間沒有分隔符。
3、df | awk '$4>1000000 ' 通過管道符獲得輸入,如:顯示第4個域滿足條件的行。
4、awk -f "|" '' file 按照新的分隔符「|」進行操作。
awk 'begin
' file 通過設定輸入分隔符(fs="[: \t|]")修改輸入分隔符。
sep="|"
awk -f $sep '' file 按照環境變數sep的值做為分隔符。
awk -f '[ :\t|]' '' file 按照正規表示式的值做為分隔符,這裡代表空格、:、tab、|同時做為分隔符。
awk -f '' '' file 按照正規表示式的值做為分隔符,這裡代表[、]
5、awk -f awkfile file 通過檔案awkfile的內容依次進行控制。
cat awkfile
/101/ --遇到匹配行以後列印 ' hello! '.\047代表單引號。
--因為沒有模式控制,列印每一行的前兩個域。
6、awk '$1 ~ /101/ ' file 顯示檔案中第乙個域匹配101的行(記錄)。
7、awk 'begin
' file 通過設定輸出分隔符(ofs="%")修改輸出格式。
8、awk 'begin begin 表示在處理任意行之前進行的操作。
' file 取得檔案第乙個域的最大值。
(表示式1?表示式2:表示式3 相當於:
if (表示式1)
表示式2
else
表示式3
awk '' file
9、awk '$1 * $2 >100 ' file 顯示檔案中第乙個域匹配101的行(記錄)。
10、awk '' file 找到匹配行後先將第3個域替換後再顯示該行(記錄)。
awk '' file 將第7域被3除,並將餘數賦給第7域再列印。
11、awk '/tom/ ' file 找到匹配行後為變數wage賦值並列印該變數。
12、awk '/tom/
end ' file end表示在所有輸入行處理完後進行處理。
13、awk 'gsub(/\$/,"");gsub(/,/,""); cost+=$4;
end ' file gsub函式用空串替換$和,再將結果輸出到filename中。
1 2 3 $1,200.00
1 2 3 $2,300.00
1 2 3 $4,000.00
awk '
end "' file
通過if和else if完成條件語句
awk '
end "' file
通過exit在某條件時退出,但是仍執行end操作。
awk '
end "' file
通過next在某條件時跳過該行,對下一行執行操作。
14、awk '' file1 file2 file3>fileall 把file1、file2、file3的檔案內容全部寫到fileall中,格式為
列印檔案並前置檔名。
15、awk ' $1!=previous
' fileall 把合併後的檔案重新分拆為3個檔案。並與原檔案一致。
16、awk 'begin ' 通過管道把date的執行結果送給getline,並賦給變數d,然後列印。
17、awk 'begin '
通過getline命令互動輸入name,並顯示出來。
awk 'begin }'
列印/etc/passwd檔案中使用者名稱包含050x_的使用者名稱。
18、awk '
} }
}'19、在awk中呼叫系統變數必須用單引號,如果是雙引號,則表示字串
flag=abcd
awk '' 結果為abcd
awk '' 結果為$flag
以上**chinaunix,以下是自己的總結:
求和:$awk 'beginend' a.txt -----對a.txt檔案的第四個域進行求和!
$ awk '/^(no|so)/' test-----列印所有以模式no或so開頭的行。
$ awk '/^[ns]/' test-----如果記錄以n或s開頭,就列印這個記錄。
$ awk '$1 ~/[0-9][0-9]$/(print $1}' test-----如果第乙個域以兩個數字結束就列印這個記錄。
$ awk '$1 == 100 || $2 < 50' test-----如果第乙個或等於100或者第二個域小於50,則列印該行。
$ awk '$1 != 10' test-----如果第乙個域不等於10就列印該行。
$ awk '/test/' test-----如果記錄包含正規表示式test,則第乙個域加10並列印出來。
$ awk '' test-----如果第乙個域大於5則列印問號後面的表示式值,否則列印冒號後面的表示式值。
$ awk '/^root/,/^mysql/' test----列印以正規表示式root開頭的記錄到以正規表示式mysql開頭的記錄範圍內的所有記錄。如果找到乙個新的正規表示式root開頭的記 錄,則繼續列印直到下乙個以正規表示式mysql開頭的記錄為止,或到檔案末尾。
例子:匹配某一時間且輸出平均時間
計算包含某一字串的平均值
grep 'basaleejbservice.getautogathe***ctordisplaysetting time=' *.out | awk -f 'time=' '' | awk ' end '
計算輸出執行方法耗時低於2s資料的平均值
匹配某一時間段的資料
資料匹配某一字串全部輸出
grep 'getswitchsform 查詢開關資訊,time=' *.out | awk -f 'time=' ''
字串擷取
成品,檢出在後台方法在某一時間段執行所耗時間的平均值
grep 'basaleejbservice.getautogathe***ctordisplaysetting time=' *.out | awk '' | awk -f 'time=' '' | awk ' end '
獲取時間區間
awk '' $filename
awk '$1$2 >= "2013/08/2001:15:00.000" && $1$2 <= "2013/08/2001:20:00.000"' $filename
awk -vs="2013/08/20 01:15:00.000" -ve="2013/08/20 01:20:00.000" 's<=t&&t<=e' $filename
awk 'begins<=t&&t<=e' $filename
這三種寫法,執行速度最快,時間都在25s或26s
常用awk命令
awk 用法 awk pattern 變數名 含義 argc 命令列變元個數 argv 命令列變元陣列 filename 當前輸入檔名 fnr 當前檔案中的記錄號 fs 輸入域分隔符,預設為乙個空格 rs 輸入記錄分隔符 nf 當前記錄裡域個數 nr 到目前為止記錄數 ofs 輸出域分隔符 ors ...
常用awk命令
awk 用法 awk pattern 變數名 含義 argc 命令列變元個數 ar 命令列變元陣列 filename 當前輸入檔名 fnr 當前檔案中的記錄號 fs 輸入域分隔符,預設為乙個空格 rs 輸入記錄分隔符 nf 當前記錄裡域個數 nr 到目前為止記錄數 ofs 輸出域分隔符 ors 輸出...
Linux常用命令 awk
awk pattern scanning and processing language 文字以行為單位進行處理,對於日誌處理非常有用,然後配合其他命令可以做一些統計的工作。awk根據空格或者製表符將一行分割成若干字段,1 2 3等依次表示後面的各個字段,0表示整行內容。假如有nginx的日誌檔案 ...