awk 線上處理常用模式
awk 處理複雜日誌
6.19: dhb_014_號百總機服務業務**:廣州 到達數異常!
6.20
: dhb_014_號百總機服務業務**:廣州 到達數異常!到
awk -f '
[_ :]+''
nf>2
'# 當前行nf小於等於2 只針對 有效 即 6.19:行跳過此操作, 仍然執行
# 當前行nf大於2 執行到 next 強制跳過本行,即跳過後面的
廣州 dhb_014
6.19
一些線上分析處理
分析服務日誌,把日誌(每個訪問次數*大小的總和)排行,也就是計算每個url的總訪問大小
說明:本題生產環境應用:這個功能可以用於idc**流量頻寬很高,然後通過分析伺服器日誌哪些元素占用流量過大,進而進行優化或裁剪該,壓縮js等措施。
本題需要輸出三個指標: 【被訪問次數】 【訪問次數*單個被訪問檔案大小】 【檔名(帶url)】
測試資料:
一些網上練習題:
已知:
wang 4cui
3zhao
4liu
3liu
3chang
5li 21
通過第乙個域找出字元長度為4的
2 當第二列值大於3時,建立空白檔案,檔名為當前行第乙個域$1 (touch $1)3
將文件中 liu 字串替換為 hong
4求第二列的和
5求第二列的平均值
6求第二列中的最大值
7 將第一列過濾重複後,列出每一項,每一項的出現次數,每一項的大小總和
處理方式
1、字串長度
awk
'length($1)=="4"'2
、執行系統命令
awk '}
'3、gsub(/r/,"
s",域) 在指定域(預設$0)中用s替代r (sed '
s///g')
awk ''
a.txt
4、列求和
awk
'end'5
、列求平均值
awk
'end
'awk
'end'6
、列求最大值
awk
'beginend'7
、將第一列過濾重複列出每一項,每一項的出現次數,每一項的大小總和
awk
'end}
'
Linux awk 文字處理工具四
awk 常用示例 獲取本機 ip 方式 sbin ifconfig awk v rs bcast awk f addr 直接獲取當前 ip 位址 sbin ifconfig awk inet 2 127.0.0.1 也是 直接獲取當前 ip 位址 sbin ifconfig awk v rs ine...
Linux awk 文字處理工具三
awk 檔案列印匹配 格式示例 awk tom file 列印匹配到得行 awk tom 匹配tom開頭的行 列印第乙個字段 awk 1 ly 顯示所有第乙個字段不是以ly結尾的行 awk 3 40 如果第三個字段值小於40才列印 awk 4 90 取出第四列等於90的第五列 awk no so t...
文字處理工具
參考 man,info,magedu講義 宣告 以下英文純屬個人翻譯,英文b級,歡迎糾正,以下內容純屬個人理解,並沒有對錯,只是參考,盜版不糾,才能有限,希望不誤人子弟為好。these commands read and write entire files,possibly transformin...