使用awk統計字段重複實踐

2022-03-31 08:44:34 字數 1036 閱讀 2776

awk是一種規格化檔案的分析工具, 主要處理物件類似資料庫匯出的條目文字檔案, 其中一行,就對應乙個記錄,每個記錄包含若干個字段。

類似這種文字:

[root@www ~]# last -n 5 <==僅取出前五行

root pts/1 192.168.1.100 tue feb 10 11:21 still logged in

root pts/1 192.168.1.100 tue feb 10 00:46 - 02:28 (01:41)

root pts/1 192.168.1.100 mon feb 9 11:41 - 18:30 (06:48)

dmtsai pts/1 192.168.1.100 mon feb 9 11:41 - 11:41 (00:00)

root tty1 fri sep 5 14:09 - 14:10 (00:01)

本文利用awk工具實現 字段重複的統計功能, 例如某個字段不是主鍵,但是需要檢測其值的重複性。

對於乙個lua表檔案, 為了避免lua表中,新新增的 key = value, 如果key已經在表中存在, 則新新增的條目在其後,則會將前面已經寫過的key覆蓋掉, 導致key的value值被改變。

例如如下表:

-- 這是個lua table。

luatable =

/(.+)=[[:blank:]]*\[\[.*\]\]/

else

}end}}

命令列執行:

awk -f testdup.awk lang.conf

執行效果:

statistic duplicate id ends

count = 1986

total row nr = 2289key(lang ) duplicated times=2

使用awk統計字段重複實踐

awk是一種規格化檔案的分析工具,主要處理物件類似資料庫匯出的條目文字檔案,其中一行,就對應乙個記錄,每個記錄包含若干個字段。類似這種文字 root www last n 5 僅取出前五行 root pts 1 192.168.1.100 tue feb 10 11 21 still logged ...

awk統計重複列

awk是什麼?awk是乙個優良的文字處理工具,linux及unix環境中現有的功能最強大的資料處理引擎之一。這種程式設計及資料操作語言 其名稱得自于它的創始人阿爾佛雷德 艾侯 彼得 溫伯格和布萊恩 柯林漢姓氏的首個字母 的最大功能取決於乙個人所擁有的知識。awk經過改進生成的新的版本nawk,gaw...

awk 輸出字段使用逗號

日誌處理的時候經常會使用awk命令,如對日誌進行分割輸出等,輸出的時候預設使用空格進行分割,如 原日誌這裡是一行日誌 userid 123456,mobile 1234567382 cat test.log awk f userid 會輸出 123456,mobile 1234567382 如果只想...