shell NGINX 日誌分析

二、統計ip位址

三、統計url訪問的頁面

四、統計ip狀態碼

remote_addr 遠端主機ip位址 $1

remote_user 遠端使用者 （如果沒有獲得則為 - ）

[$time_local] 訪問時間 $4

$request 訪問請求方式 $6 $7(url) $8(版本號)

$status 狀態碼 $9

$boby_bytes_sent 請求網頁檔案大小 $10

$http_referer 請求的是哪個頁面 $11

$http_user_agent 客戶端訪問的方式是什麼，用什麼主機進行訪問的 $12

$http_x_forwarded_for http請求端真實的ip

ss -an | grep 『^tcp』 | awk 『 end}』

1.統計某一天(2023年4月21日)的pv量

grep 『21/apr/2020』 /usr/local/nginx/logs/www.shm.log | wc -l

2.統計某一天某一時段(2023年4月21日9點~11點)之間的pv量

awk 『$4>="[21/apr/2020:09:00:00]" && $4<="[21/apr/2020:10:00:00]" 』 /usr/local/nginx/logs/www.shm.log | wc -l

3.統計一周前的pv量

1.獲取一周前的日期

date -d '-1 week' +%d/%b/%y
14/apr/2020
2.將一周前的日期設定成乙個外部變數
date="14/apr/2020"
3.在awk中使用外部變數，進行匹配
awk -v a=$date '$0 ~ a end ' /usr/local/nginx/logs/www.shm.log

awk 『/21/apr/2020/ end }』 /usr/local/nginx/logs/www.shm.log | sort -k2 -rn | head -n10

2.統計某一天(2023年4月21日)當中，訪問量大於100次的ip位址

awk 『/21/apr/2020/ end } }』 /usr/local/nginx/logs/www.shm.log

1.統計某一天(2023年4月21日)當中，訪問最多的10個頁面($request)

awk 『/21/apr/2020/ end }』 /usr/local/nginx/logs/www.shm.log | sort -k1 -rn | head -n5

2.統計某一天當中，所有url訪問內容的總大小，以及訪問次數

awk 『/21/apr/2020/ end }』 /usr/local/nginx/logs/www.shm.log | sort -k2 -rn | head

1.統計某一天(2023年4月21日)每個ip訪問狀態碼數量（$status）

awk 『/21/apr/2020/ end }』 /usr/local/nginx/logs/www.shm.log | sort -k1 -rn

2.統計某一天(2023年4月21日)，某個ip位址 + 訪問狀態碼404出現次數

awk 『/21/apr/2020/ } end 』 /usr/local/nginx/logs/www.shm.log | sort -k1 -rn

3.統計某一天(2023年4月21日)，各種狀態碼的數量以及百分比佔比

r/local/nginx/logs/www.shm.log | sort -k1 -rn

3.統計某一天(2023年4月21日)，各種狀態碼的數量以及百分比佔比

awk 『/21/apr/2020/ end }』 /usr/local/nginx/logs/www.shm.log

Shell Nginx日誌保留策略

root ser04 crontab l 0 0 bin bash data script nginxlog.sh root ser04 cat data script nginxlog.sh bin bash author sunli set e 指令碼執行，遇到錯就退出，不再往下執行 sleep...

mysql查詢日誌分析 mysql日誌分析

日誌檔案 log 就是乙個跟蹤記錄的列表，它可以協助我們時刻掌握系統及應用服務的動作狀態，在故障排查的時候提供最詳細準確地資訊，幫助我們快速查詢原因，減少我們憑主觀的經驗去猜測，這樣的答案更具有說服力，機器通常是不會撒謊的。任何的系統，無論是作業系統 資料庫 應用伺服器他們都會有自己的log檔案，而...

日誌分析工具 日誌管理系統 syslog分析

日誌分析工具 日誌管理系統 syslog分析 系統日誌 syslog 管理是幾乎所有企業的重要需求。系統管理員將syslog看作是解決網路上系統日誌支援的系統和裝置效能問題的關鍵資源。人們往往低估了對完整的sys log監控解決方案的需求，導致長時間篩選大量系統日誌來解決某乙個問題。高效的事件日誌s...