GoAccess 視覺化 Web 日誌監控工具使用

2022-07-25 19:09:11 字數 2950 閱讀 4952

軟體簡介

goaccess 是乙個開源的實時網路日誌分析器和互動式檢視器,可以在 *nix 系統或通過瀏覽器的終端中執行。它為需要動態可視伺服器報告的系統管理員提供快速且有價值的 http 統計資訊。

特性使用 c 語言編寫,快速、實時,毫秒/秒級的更新

只使用 ncurses 作為依賴

支援幾乎所有的 web 日誌格式(apache,nginx,amazon s3,elastic load balancing,cloudfront 等)

輕鬆設定日誌格式

美觀的的終端和 dashboard

通過了 valgrind 測試

centos8 安裝

yum install epel-release

yum install geoip* ncurses-devel -y

$ wget

$ tar -xzvf goaccess-1.4.2.tar.gz

$ cd goaccess-1.4.2/

$ ./configure --enable-utf8 --enable-geoip=legacy

$ make

# make install

goaccess -h 

-f – 日誌檔名

-b – 開啟流量統計,如果希望加快分析速度不建議使用該引數

-s – 開啟http響應**統計

-a – 開啟使用者**統計

-e – 開啟指定ip位址統計,預設禁用

用法示例:

最簡單、常用的命令就是直接呼叫goaccess命令啦,不帶任何影響效率的其他引數

goaccess –f access.log

如果需要檢視其他資訊,我們加入如下引數以顯示http響應**、使用者**、流量消耗

goaccess –f access.log –s –a –b

如果你覺得這樣還不能滿足你的需求。別急,goaccess支援linux管道(pipe),我們可以將日誌檔案預處理後,再交給goaccess去分析。

zcat access.log.1.gz | goaccess

讓goaccess去分析已經打包壓縮好的日誌檔案。

或者乾脆分析目前下所有日誌

zcat access.log* | goaccess

如果需要分析某天的日誌,例如10月5號那天的日誌,我們讓linux管道命令來大顯身手^_^。

sed -n 『/05\/dec\/2010/,$ p』 access.log | goaccess -s –b

分析從11月5號到12月5號乙個月內的日誌

sed -n 『/5\/nov\/2010/,/5\/dec\/2010/ p』 access.log | goaccess -s –b

當你不希望在伺服器上安裝goaccess程式,可以通過呼叫本地的goaccess程式來分析伺服器上的日誌(很神奇吧^_^):

ssh user@server 『cat /var/log/apache2/access.log』 | goaccess -s -a -b

生成實時 html 報告的過程和生成靜態報告的過程非常相似。實時報告僅僅需要使用引數 --real-time-html

goaccess access.log -o/usr/local/nginx/html/report.html --real-time-html --time-format='%h:%m:%s'--date-format='%d/%b/%y'--log-format=combined

瀏覽器上檢視

general statistics:此面板提供了幾個指標的摘要,其中一些包括:有效和無效請求的數量,分析資料集所花費的時間,唯一訪問者,請求的檔案,靜態檔案(css,ico,jpg等)http引用,404s,已解析日誌檔案的大小和頻寬消耗。

unique visitors:此面板顯示點選次數,唯一身份訪問者和每個日期的累積頻寬等指標。包含相同ip,相同日期和相同使用者**的http請求被視為唯一訪問者。預設情況下,它包括網路爬蟲/蜘蛛。 可以使用--date-spec = hr將日期特異性設定為小時級別,這將顯示日期。如果您想跟蹤小時級別的每日流量,這非常棒。

requested files:此面板顯示web伺服器上請求最多的檔案。它顯示了匹配,唯一身份訪問者和百分比,以及累積頻寬,協議和使用的請求方法。

requested static files:列出了最常用靜態檔案,如:jpg,css,swf,js,gif,和png檔案型別,使用相同的指標作為最後的面板一起。可以將其他靜態檔案新增到配置檔案中。

404 or not found:顯示與先前請求面板相同的指標,但是,其資料報含在伺服器上找不到的所有頁面,或通常稱為404狀態**。

hosts:此面板包含有關主機本身的詳細資訊。這非常適合發現×××性爬蟲,並確定誰在吃你的頻寬。 擴充套件面板可以顯示更多資訊,例如主機的反向dns查詢結果,原產國和城市。如果-a啟用了引數,則可以通過選擇所需的ip位址,然後按enter來顯示使用者**列表。

參考位址

?mod=man

GoAccess 實現視覺化並實時監控

可以用access日誌來分析定位問題,以及運營資料,但如果想實時分析,access日誌比較困難,goaccess可以以圖形化的方式通過websocket協議,實時的把access的便簽反映到瀏覽器中,方便我們分析問題 goaccess 使用 o引數生成乙個新的html檔案,把當前access日誌內容...

django linux端指令碼 web 視覺化

1 安裝 django 大於2.0,小於2.1.5 dwebsocket paramiko 2 檢視 from dwebsocket.decorators import accept websocket import paramiko accept websocket defshow log req...

資料視覺化 什麼是資料視覺化

資料對應的英文單詞是data,從資訊獲取的角度看,資料是對目標觀察和記錄的結果,是現實世界中的時間 地點 事件 其他物件或概念的描述。不同學者對資料的作用也給出不同的定義,大致分為以下3類 視覺化對應的兩個英文單詞 visualize和visualization。visualize是動詞,描述 生成...