這些天由於幾個不同的流量統計工具在統計資料上出現了很大差異,當時就想到了應該分析一下apache的access log,那裡的資料應該是最權威的。剛開始為了應急寫了乙個簡單分析工具,統計了一下簡單的資料。而開源的awstats應該是當前應用比較廣泛,功能比較完全的工具。
awstats的安裝和配置都是相當地簡單,不過我還是走了一些彎路,其中最慘痛的教訓就是:最好按照預設的方式進行配置。下面記錄我安裝和配置的過程。首先交待一下環境:64位的centos 5.6 + apache httpd 2.2
1. 配置apache的log輸出方式。
customlog logs/access_log common
改為customlog "|/usr/sbin/rotatelogs /var/log/httpd/access_log.%y%m%d 86400" combined
其中rotatelogs是apache提供的乙個日誌工具,可以通過which rotatelogs找出該工具的路徑。另外乙個改動時,將log的內容由common改為了combined,使得log中包含了更多了資訊,而這也是 awstats所需要的。如果日誌配置在virtual hosts中,也同樣修改就可以了。
修改後重啟httpd服務,就會看到在/var/log/httpd下產生了類似access_log.20110612的日誌檔案。
2. 安裝awstats
]# wget
]# tar xzvf awstats-7.0.tar.gz
]# mv awstats-7.0 /var/
下面就可以按照awstats的官方指南進行安裝了:其中有幾點需要注意的:
(1)當詢問apache的配置檔案路徑時,要寫入當前環境中真實的apache配置檔案路徑,比如,我的就是:/etc/httpd/conf/httpd.conf
(2)在詢問awstats配置檔案存放的路徑時,一定要使用預設的路徑,否則後面會有意想不到的麻煩。
(3)當要新建awstats的配置檔案時,會問配置檔案的名稱,其實這個時候是問要分析的log屬於哪個網域名稱,比如你的**是www.mysite.com,就可以輸入:www.mysite.com。
在安裝過程中,我一直是一路yes。安裝結束時,會在/etc下面生成乙個新的目錄 awstats,並且在下面有乙個名稱為awstats.www.mysite.com.conf。
這是再開啟httpd.conf發現在最下面多了一些和awstats相關的配置。
在/var/lib下新建乙個名為awstats的檔案,用來存放分析日誌後生成的資料檔案。
3. 配置awstats
安裝完成後,還需要進行一下簡單的配置,才能夠開始使用awstats。開啟上面生成的配置檔案 awstats.www.mysite.com.conf,找到logfile,將其改為實際的日誌檔案的路徑。需要注意的時,在第一步中,已經把日誌文 件改為每天乙個以當天日期命名的名字,那麼這裡的配置就是:
表示分析的是當前最新的日誌檔案。關於這個配置可以參考其注釋中的詳細解釋。
4. 驗證安裝
配置基本算完成了,下面進行驗證:
]# cd /var/awstats/wwwroot/cgi-bin
]# perl awstats.pl -config=www.mysite.com -update
如果你嚴格執行了上面的步驟,這一步就應該沒有問題,可以看到類似下面的輸出:
這樣在頁面就可以看到每10分鐘重新整理一次的統計結果了。
5. 安裝ip位址轉化的外掛程式
ip資料庫可以通過:
下 載(不知道這個**什麼時候會失效)。解壓後裡面有三個檔案:qqhostinfo.pm、qqwry.pl和qqwry.dat,其中第乙個是外掛程式文 件,第二個真正的執行轉化的perl程式,第三個就是資料庫了,可以用上面最新的資料庫覆蓋這個。將這個三個檔案複製到/var/awstats /wwwroot/cgi-bin/plugins/目錄下,並做如下修改:
]# chmod 755 qqhostinfo.pm
]# vim qqwry.pl
將其中的./qqwry.dat改為/var/awstats/wwwroot/cgi-bin/plugins/qqwry.dat。
編輯awstats的配置檔案awstats.www.mysite.com.conf,找到
#loadplugin="hostinfo"
在其後新增一行
loadplugin="qqhostinfo"
完成以上所有步驟後,應該就可以在網頁上看到了統計結果了。中文可能會顯示成亂碼,只需要把瀏覽器語言設為中文就可以了。
goaccess日誌分析工具 apache
1 編譯安裝 wget tar xzvf goaccess 1.2.tar.gz cd goaccess 1.2 configure enable utf8 enable geoip legacy make make install2 配置檔案 etc goaccess.conf wget o go...
Apache日誌分析
1 獲得訪問前10位的ip位址 cataccess.log awk sort uniq c sort nr head 10 cat access.log awk end 2 訪問次數最多的檔案或頁面,取前20及統計所有訪問ip cat access.log awk sort uniq c sort ...
apache日誌分析
1,檢視apache程序 2,檢視80埠的tcp連線 netstat tan grep established grep 80 wc l 3,通過日誌檢視當天ip連線數,過濾重複 cat access log grep 20 oct 2008 awk sort uniq c sort nr 4,當天...