業務場景, 每天產生百萬左右的日誌,總量過億, 準即時分析
1.不需要使用複雜的技術棧, php本身即可處理, 時間也可接受
2.可簡單使用多開cli程序的方式,每個cli對應乙個日誌源, 不需要引入多執行緒之類的技術, 適合日誌源較固定的業務場景.
3.提前過濾不需要保留的日誌,如:爬蟲, 業務中無用的日誌, 我的業務場景 中可過濾掉90%的無效 日誌
4.事先確認分析需求, 只根據需求對日誌進行分析. 此處詳解
a.我使用第三方ua解析庫對 ua進行分析,結果詳細,但占用cpu過高,處理時間不理想
b.根據業務需求,只分析是否爬蟲以及作業系統(android,ios,其它), 這樣分析速度提公升乙個數量級
5.多種php技術並用: 本地檔案快取, 精細設計斷點續操作, 批量插入資料庫, 人性化的介面輸出.
6.對異常進行分析, 有些異常使用簡單的延時重試即可處理.
7.最重要的, 是要相信php, 如果有php不能實現的功能 , 那只是因為你的水平不夠, 而不是php的問題.
mongo profiler 進行慢日誌分析
profiler 是mongo 提供的用於記錄慢日誌的命令的攻擊，預設是關閉狀態。如果開啟 啟動引數裡直接進行設定，啟動mongodb時加上 profile 級別。也可以在shell呼叫db.setprofilinglevel 命令來實時配置。獲取level等級 db.getprofilinglev...
goaccess對nginx日誌進行分析
goaccess旨在成為乙個基於終端的快速日誌分析器，其核心思想是實時快速分析和檢視web伺服器統計資訊，goaccess可分析apache nginx等web日誌，同時還支援生成html json csv等資料報告。環境 rhel7.3 root server1 tar zxf goaccess ...
基於ELK進行郵箱訪問日誌的分析
公司希望能夠搭建自己的日誌分析系統。現在基於elk的技術分析日誌的公司越來越多，在此也記錄一下我利用elk搭建的日誌分析系統。系統主要是基於elasticsearch logstash filebeat kibana nginx，其實我這個用的還是比較多的，可以直接用logstash直接去採集日誌。...