要處理web日誌的分析，首先乙個，得把robot的訪問排除掉，robot訪問數量少，睜隻眼閉之眼，也就算了。可看看日誌，這傢伙跑得挺勤快的，幹它。
想想seo要求網頁怎麼對robot友好？ 網頁鏈結要符合robot的偏好，什麼淺而寬等，泛泛而談。 要區分出正常使用者和robot，還是演算法靠譜一點，分類器應該管用。
對訪問進行分類，試試決策樹分類，不但可以**，還可以構造出乙個描述來，勾畫訪問的特徵，有特徵，就容易理解，好和經驗相互印證。
有障礙了吧？正常得很，沒關係，花點時間，轉換一下資料。做資料探勘，演算法其實沒啥好弄的，就那麼幾個，別人都寫好了，現成的**拿來用就是。 功夫都用在資料處理上。
一次訪問不行，就試試一次session。可以知道訪問頁面的先後次序，訪問鏈結構成了乙個有向圖，圖的寬度和深度，正好對應上seo優化裡談到的寬窄和深淺。再看看別的，彙總一次session的總頁面數，停留時間長度，訪問頁面的內容型別等等， 差不多夠了。
思路有了，提取些時間段的web日誌，做下資料預處理，分成兩個資料集，用做訓練和檢驗。 套個演算法就有了。
做下來， 訓練集的錯誤率4％，檢驗集錯誤率5％，可以接受。
攻防世界 web 新手練習區 robot
解題思路 1，檢視robots.txt內容。user agent disallow disallow f1ag 1s h3re.php 2，瀏覽器執行 可得flag。robots協議也叫robots.txt 統一小寫 是一種存放於 根目錄下的ascii編碼的文字檔案，robots.txt應放置於 的...
XCTF攻防世界練習區 web題 Robots
題目描述 x老師上課講了robots協議，小寧同學卻上課打了瞌睡，趕緊來教教小寧robots協議是什麼吧。目標 掌握robots協議的知識。robots.txt是搜尋引擎中訪問 的時候要檢視的第乙個檔案。當乙個搜尋爬蟲訪問乙個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，...
web日誌統計
在對系統訪問日誌進行檢視的時候，海量的資料湧現在面前，無從看起，需要一些工具命令來幫助我們 find，首先用此命令查詢到我們要檢視的日誌位置，例如 find name access.查詢名稱中包含了access的日誌。awk檢視我們關心的字段資訊，例如 cat messages awk 4 表示佔位...