awk是linux系統下乙個處理文字的程式語言工具，能用簡短的程式處理標準輸入或檔案、資料排序、計算以及生成報表等等，應用非常廣泛。
基本的命令語法：awk option 'pattern ' file
下面根據工作經驗總結了10個實用的awk案例，面試筆試題也經常會出，供朋友們參考學習。
1、分析訪問日誌（nginx為例）
日誌格式：
統計訪問ip次數：
# awk 'end' access.log
統計訪問訪問大於100次的ip：
# awk 'end}' access.log
統計訪問ip次數並排序取前10：
# awk 'end' access.log
統計時間段訪問最多的ip：
# awk'$4>="[02/jan/2017:00:02:00" &&$4<="[02/jan/2017:00:03:00"end'access.log
# date=$(date -d '-1 minute'+%d/%d/%y:%h:%m)
# awk -vdate=$date '$4~dateend' access.log
統計訪問最多的10個頁面：
# awk 'end' access.log
統計每個url數量和返回內容總大小：
# awk 'end' access.log
統計每個ip訪問狀態碼數量：
# awk 'end' access.log
統計訪問ip是404狀態次數：
# awk 'end' access.log
2、兩個檔案差異對比
檔案內容：
# seq 1 5 > a
# seq 3 7 > b
找出b檔案在a檔案相同記錄：
方法1：
# awk 'fnr==nr' a b
# awk 'fnr==nr' a b
# awk 'fnr==nrnr>fnr' a b
# awk 'fnr==nr(a[$0]==1)' a b # a[$0]是通過b檔案每行獲取值，如果是1說明有
# awk 'fnr==nr' a b
方法2：
# awk 'filename=="a"filename=="b"' a b
方法3：
# awk 'argind==1argind==2 && a[$0]==1' a b
找出b檔案在a檔案不同記錄：
方法1：
# awk 'fnr==nr!($0 in a)' a b
# awk 'fnr==nr(a[$0]!=1)' a b
# awk'fnr==nr' a b
方法2：
# awk'filename=="a"filename=="b" && a[$0]!=1' a b
方法3：
# awk 'argind==1argind==2 && a[$0]!=1' a b
3、合併兩個檔案
檔案內容：
# cat a
zhangsan 20
lisi 23
wangwu 29
# cat b
zhangsan man
lisi woman
wangwu man
將a檔案合併到b檔案：
方法1：
# awk 'fnr==nr' a b
zhangsan 20 man
lisi 23 woman
wangwu 29 man
方法2：
# awk 'fnr==nrnr>fnr' a b
zhangsan 20 man
lisi 23 woman
wangwu 29 man
將a檔案相同ip的服務名合併：
解讀：陣列a儲存是$1=a[$1] $2，第乙個a[$1]是以第乙個欄位為下標，值是a[$1] $2，也就是$1=a[$1] $2，值的a[$1]是用第乙個欄位為下標獲取對應的值，但第一次陣列a還沒有元素，那麼a[$1]是空值，此時陣列儲存是192.168.1.1=httpd，再遇到192.168.1.1時，a[$1]通過第一字段下標獲得上次陣列的httpd，把當前處理的行第二個字段放到上一次同下標的值後面，作為下標192.168.1.1
的新值。此時陣列儲存是192.168.1.1=httpd tomcat。每次遇到相同的下標（第乙個字段）就會獲取上次這個下標對應的值與當前欄位並作為此下標的新值。
4、將第一列合併到一行
# cat file
1 2 3
4 5 6
7 8 9
# awk 'end' file
1 4 7
2 5 8
3 6 9
解讀：for迴圈是遍歷每行的字段，nf等於3，迴圈3次。
讀取第一行時：
第乙個字段：a[1]=a[1]1" " 值a[1]還未定義陣列，下標也獲取不到對應的值，所以為空，因此a[1]=1 。
第二個字段：a[2]=a[2]2" " 值a[2]陣列a已經定義，但沒有2這個下標，也獲取不到對應的值，為空，因此a[2]=2 。
第三個字段：a[3]=a[3]3" " 值a[2]與上面一樣，為空,a[3]=3 。
讀取第二行時：
第乙個字段：a[1]=a[1]4" " 值a[2]獲取陣列a的2為下標對應的值，上面已經有這個下標了，對應的值是1，因此a[1]=1 4
第二個字段：a[2]=a[2]5" " 同上，a[2]=2 5
第三個字段：a[3]=a[3]6" " 同上，a[2]=3 6
讀取第三行時處理方式同上，陣列最後還是三個下標，分別是1=1 4 7，2=2 5 8，3=36 9。最後for迴圈輸出所有下標值。
5、字串拆分
字串拆分：
方法1：
# echo "hello" |awk -f ''''he
llo方法2：
# echo "hello" |awk ''lo
hel6、統計出現的次數
統計字串中每個字母出現的次數：
# echo "a.b.c,c.d.e" |awk -f'[.,]' 'end'
a 1b 1
c 2d 1
e 17、費用統計
得出每個員工出差總費用及次數：
# cat a
zhangsan 8000 1
zhangsan 5000 1
lisi 1000 1
lisi 2000 1
wangwu 1500 1
zhaoliu 6000 1
zhaoliu 2000 1
zhaoliu 3000 1
# awk 'end' a
zhangsan 5000 1
lisi 3000 2
wangwu 1500 1
zhaoliu 11000 3
8、獲取某列數字最大數
# cat a
a b 1
c d 2
e f 3
g h 3
i j 2
獲取第三字段最大值：
# awk 'beginend' a
列印第三字段最大行：
# awk 'beginend'a
g h 3
e f 3
9、去除文字第一行和最後一行
# seq 5 |awk'nr>2'
解讀：讀取第一行，nr=1，不執行print s，s=1
讀取第二行，nr=2，不執行print s，s=2 （大於為真）
讀取第三行，nr=3，執行print s，此時s是上一次p賦值內容2，s=3
最後一行，執行print s，列印倒數第二行，s=最後一行
10、獲取nginx upstream塊內後端ip和埠
# cat a
upstream example-servers1 /}' a
127.0.0.1:80
# awk '/example-servers1/,/}/' a
# awk '/example-servers1/,/}/}' a
127.0.0.1:80
解讀：讀取第一行，i初始值為0，0>1為假，不執行print s，x=example-servers1，i=1
讀取第二行，i=1，1>1為假，不執行prints，s=127.0.0.1:80,i=2
讀取第三行，i=2，2>1為真，執行prints，此時s是上一次s賦值內容127.0.0.1:80，i=3
最後一行，執行print s，列印倒數第二行，s=最後一行。
這種方式與上面一樣，只是用i++作為計數器。
9個經典的 htaccess使用案例
htaccess 檔案 hypertext access file 是apache web伺服器的乙個非常強大的配置檔案，對於這個檔案，apache有一堆引數可以讓你配置出幾乎隨心所欲的功能。htaccess 配置檔案堅持了unix的乙個文化 使用乙個ascii 的純文字檔案來配置你的 的訪問策略。...
很直觀的awk使用案例
awk是linux文字處理三劍客之一，在grep，sed，awk中，awk功能最為強大，使用最為靈活，因為其本身也屬於一種程式語言，可以通過程式設計實現各種需要的文字處理需求。當然，awk使用也較為複雜，這裡用直觀的例子來介紹awk的日常使用。步驟1 root centos8 ifconfig en...
10個經典寓言故事
很多人去聽一位哲學家講授人生成功的秘訣，結果那位哲學家給每位聽眾一本小冊子，上面有10個寓言故事，人們看了以後，都覺得受益匪淺。1 相信自己是乙隻雄鷹 乙個人在高山之巔的鷹巢裡，抓到了乙隻幼鷹，他把幼鷹帶回家，養在雞籠裡。這只幼鷹和雞一起啄食 嬉鬧和休息。它以為自己是乙隻雞。這隻鷹漸漸長大，羽翼豐滿...