對Spider網路蜘蛛的理解

spider，網路蜘蛛，又叫網路機器，它是搜尋引擎的主要模組：網路蜘蛛負責抓取網路上的網頁資料，再通過分詞技術對網頁資料建立索引，然後對網頁根據一些相關性排序。

基本原理：spider通過網頁上的鏈結從乙個網頁（一般是首頁）訪問到另乙個網頁，從而實現對整個網路的資料收集。其實是把網狀轉變成樹形去遍歷，對樹的遍歷我們知道有廣度優先和深度優先，一般採用廣度優先。我們還知道遍歷樹有前序、中序和後序，不同的搜尋引擎遍歷順序各不同。

流程參考：1，建立乙個佇列，把首頁位址放入佇列

2，從佇列中取出乙個位址，訪問改位址，並對返回的資料（一般是html檔案）進行分析，遇到href（鏈結）並分析後放入到佇列中

3，重複2，直到隊列為空

如果是廣度遍歷，為了效率我們可以設定乙個級別，如果該頁面與首頁的關係度超過這個級別，則不放入佇列。對於頁面節點可以採用hashtable資料結構，這樣加入乙個是否已經被網路蜘蛛爬過的標誌變數，防止重複訪問。

對鏈結的分析是個難點，需要較好的演算法對其支援。