使用awk sort uniq進行文字分析

2021-09-02 17:00:02 字數 588 閱讀 3917

問題:處理一下檔案內容,將網域名稱取出並根據網域名稱進行計數排序處理

[root@web01 ~]# cat access.log 

此類問題是運維工作中最常見的問題。可以演變成分析日誌,檢視tcp各個狀態連線數,檢視單ip連線數排名等等。

[root@web01 ~]# awk -f '[/]+' '' access.log|sort|uniq -c|sort -rn -k1

3 www.etiantian.org

2 post.etiantian.org

1 ***.etiantian.org

awk命令 -f後面給列分割符'[/]+'表示以任意/為分割符。後面為print語句,print語句還可以加條件看下面的例子:

awk 『}'

uniq 命令必須先sort好,uniq -c在行前加上重複次數。sort命令-r表示(3,2,1)降序,-k1表示按第一列排序。

注意一點就是,管道是發起並行程式的好東西,如果檔案非常大的話,管道是個好的加速器,管道兩邊是同時運作的,即一邊sort一邊uniq運算。

使用with進行回溯

with dept deptid,pdeptid as select udepid,uparentid from oa.dbo.depinfo where udepid in select p.udepid from oa.dbo.postinfo as p inner join oa.dbo.us...

使用進行Google攻擊

使用進行google攻擊 google是乙個功能強大的搜尋引擎,通過預定義命令,可以查詢出令人難以置信的結果。利用google搜尋智慧型搜尋,甚至可以進入部分遠端伺服器獲取機密 搜尋敏感資訊,造成資訊洩露。本文從安全角度,對google這一工具進行深度資訊挖掘。google高階搜尋語法 討論goog...

使用JUnit進行測試

junit 被用來測試 並且它是由能夠測試不同條件的斷言方法 assertion method 組成,如下所示 assertequals a,b 測試a是否等於b a和b是原始型別數值 primitive value 或者必須為實現比較而具有equal方法 assertfalse a 測試a是否為f...