運維必備技能 web 日誌分析
文章節選自《netkiller monitoring 手札》
20.2. web
20.2.1. apache log
1、檢視當天有多少個ip訪問：
awk '' log_file|sort|uniq|wc -l
2、檢視某乙個頁面被訪問的次數：
grep "/index.php" log_file | wc -l
3、檢視每乙個ip訪問了多少個頁面：
awk ' end ' log_file
4、將每個ip訪問的頁面數進行從小到大排序：
awk ' end ' log_file | sort -n
5、檢視某乙個ip訪問了哪些頁面：
grep ^111.111.111.111 log_file| awk ''
6、去掉搜尋引擎統計當天的頁面：
awk '' log_file | grep ^"mozilla | awk '' |sort | uniq | wc -l
7、檢視2023年6月21日14時這乙個小時內有多少ip訪問:
awk '' log_file | grep 21/jun/2009:14 | awk ''| sort | uniq | wc -l
20.2.1.1. 刪除日誌
刪除乙個月前的日誌
rm -f /www/logs/access.log.$(date -d '-1 month' +'%y-%m')*
20.2.1.2. 統計爬蟲
20.2.1.3. 統計瀏覽器
20.2.1.4. ip 統計
grep '22/may/2012' /tmp/myid.access.log | awk '' | awk -f'.' '' | sort | uniq -c | sort -r -n | head -n 10
2206 219.136.134.13
1497 182.34.15.248
1431 211.140.143.100
1431 119.145.149.106
1427 61.183.15.179
1427 218.6.8.189
1422 124.232.150.171
1421 106.187.47.224
1420 61.160.220.252
1418 114.80.201.18
統計網段
cat /www/logs/www/access.2010-09-20.log | awk '' | awk -f'.' '' | sort | uniq -c | sort -r -n | head -n 200
壓縮檔案處理
zcat www.example.com.access.log-20130627.gz | grep '/xml/data.json' | awk '' | awk -f'.' '' | sort | uniq -c | sort -r -n | head -n 20
20.2.1.5. 統計網域名稱
20.2.1.7. url 統計
cat /www/logs/access.2011-07-27.log |awk ''|sort|uniq -c|sort -rn|more
20.2.1.8. 檔案流量統計
cat /www/logs/access.2011-08-03.log |awk 'end}'|sort -rn|more
grep ' 200 ' /www/logs/access.2011-08-03.log |awk 'end}'|sort -rn|more
20.2.1.9. url訪問量統計
# cat www.access.log | awk '' | egrep '?|&' | sort | uniq -c | sort -rn | more
20.2.1.10. 指令碼執行速度
查出執行速度最慢的指令碼
grep -v 0$ access.2010-11-05.log | awk -f '" ' '' web.log | awk '' | sort -n -k 1 -r | uniq > /tmp/slow_url.txt
20.2.1.11. ip, url 抽取
運維必備技能
熟練運用centos ubuntu 與之相關的命令列，系統配置 網路配置 系統優化 核心優化 推薦書目 鳥哥的linux私房菜 第四版 mysql 版本以5.7 8.0 為主 與之相關的資料庫安裝 配置 優化 儲存引擎 索引 資料備份 主從複製 集群方案 掌握常見的集群方案部署及原理，比如mmm m...
linux運維必備技能
作業系統 資料庫 mysql,mysql proxy,mariadb,postgresql db中介軟體 mycat,atlas,cobar amoeba,mysql proxy 相關 lvs,keepalived,haproxy,nginx,heartbeat squid,nginx,varnis...
詳解Linux運維工程師必備技能
本人是linux運維工程師，對這方面有點心得，現在我說說要掌握哪方面的工具吧。說到工具，在行外可以說是技能，在行內我們一般稱為工具，就是運維必須要掌握的工具。我就大概列出這幾方面，這樣入門就基本沒問題了。linux系統如果是學習可以選用redhat或centos，特別是centos在企業中用得最多，...