關於「grep」 「awk」的伺服器日誌分析命令

2021-09-02 14:56:45 字數 2056 閱讀 5742

1、檢視有多少ip

awk '' log_file|sort|uniq|wc -l
2、檢視某乙個頁面被訪問的次數:

grep "/index.php" log_file | wc -l
3、檢視每乙個ip訪問了多少個頁面:

awk ' end ' log_file > log.txt
4、將每個ip訪問的頁面數進行從小到大排序:

awk ' end ' log_file | sort -n
5、檢視某乙個ip訪問了哪些頁面:

grep ^111.111.111.111 log_file| awk ''
6、去掉搜尋引擎統計的頁面:

awk '' log_file | grep ^\"mozilla | awk '' |sort | uniq | wc -l
7、檢視2023年8月16日14時這乙個小時內有多少ip訪問:

awk '' log_file | grep 16/aug/2015:14 | awk ''| sort | uniq | wc -l
8、檢視訪問前十個ip位址

awk '' |sort|uniq -c|sort -nr |head -10 access_log
uniq -c 相當於分組統計並把統計數放在最前面

cat access.log|awk ''|sort|uniq -c|sort -nr|head -10

cat access.log|awk '; end

9、訪問次數最多的10個檔案或頁面

cat log_file|awk ''|sort|uniq -c|sort -nr | head -10

cat log_file|awk ''|sort|uniq -c|sort -nr|head -20

awk '' log_file |sort -n -r |uniq -c | sort -n -r | head -20

10、通過子網域名稱訪問次數,依據referer來計算,稍有不准

cat access.log | awk '' | sed -e ' s/http:\/\///' -e ' s/\/.*//' | sort | uniq -c | sort -rn | head -20
11、列出傳輸大小最大的幾個檔案

cat www.access.log |awk '($7~/\.php/)'|sort -nr|head -100
12、列出輸出大於200000byte(約200kb)的頁面以及對應頁面發生次數

cat www.access.log |awk '($10 > 200000 && $7~/\.php/)'|sort -n|uniq -c|sort -nr|head -100
13、如果日誌最後一列記錄的是頁面檔案傳輸時間,則有列出到客戶端最耗時的頁面

cat www.access.log |awk '($7~/\.php/)'|sort -nr|head -100
14、列出最最耗時的頁面(超過60秒的)的以及對應頁面發生次數

cat www.access.log |awk '($nf > 60 && $7~/\.php/)'|sort -n|uniq -c|sort -nr|head -100
15、列出傳輸時間超過 30 秒的檔案

cat www.access.log |awk '($nf > 30)'|sort -n|uniq -c|sort -nr|head -20
16、列出當前伺服器每一程序執行的數量,倒序排列

ps -ef | awk -f ' ' '' |sort | uniq -c |sort -nr |head -20

檢視伺服器日誌

我們很樂意的借助於cnzz,51la等做 的統計,以獲得 執行一手資料的獲得。那伺服器日誌能做什麼呢?舉乙個例子。倘若一些被使用到某大流量 本來就不寬裕的 流量 經得起這樣的折騰啊!從原始日誌這裡就能找到流量大量流失的原因。但凡 出現異常,檢視 日誌總能找到蛛絲馬跡,因為伺服器日誌會自動記錄你的 網...

伺服器日誌排查

more命令,功能 類似 cat cat命令 是整個檔案的內容從上到下顯示在螢幕上。more more命令從前向後讀取檔案,因此在啟動時就載入整個檔案。1 命令格式 more dlfpcsu num pattern linenum file 2 命令功能 more命令和cat的功能一樣都是檢視檔案裡...

日誌伺服器設計

日誌伺服器設計 草稿 我的想方式實現乙個log伺服器,然後把所有日誌推向這個伺服器。同時相容現有的 rsyslog log4j,log4cpp.可以通過tcp udp 和管道,向日誌伺服器拋日誌。日誌伺服器,採用多執行緒處理,然後放入列隊。另乙個程序從列隊取日誌,然後進行過濾,通過特徵庫匹配。例如 ...