網頁抓取步驟：
1.將頁面轉化為流(或字串)
2.將流儲存為.xml檔案(主要目地是為了處理中文亂碼問題，xml檔案為臨時檔案)
3.將xml轉化為流，用jtidy進行html格式化處理，並將處理好後的流轉化為dom樹
4.將dom樹轉化為xpath可以解析的inputsource
5.用xpath進行解析
**暫不演示。
補充：
1.如果要使用檔案儲存，可利用執行緒名來命名檔案，避免出現io異常。另外可將流直接轉化為string，再將string轉化流供jtidy處理。
2.如果伺服器為ibm aix，則要注意啦，在此機器下雖經jtidy處理，但是仍然有些標籤不會封閉，沒有封閉的標籤xpath是會出現解析異常的。
3.aix對某些標籤的處理和windows及linux不同，需要多加注意。有些標籤在windows下解析沒問題，但是在aix下就會出問題。
網頁抓取 PHP實現網頁爬蟲方式小結
抓取某乙個網頁中的內容，需要對dom樹進行解析，找到指定節點後，再抓取我們需要的內容，過程有點繁瑣。lz總結了幾種常用的 易於實現的網頁抓取方式，如果熟悉jquery選擇器，這幾種框架會相當簡單。一 ganon 文件 測試 抓取我的 首頁所有class屬性值是focus的div元素，並且輸出clas...
網頁抓取 PHP實現網頁爬蟲方式小結
抓取某乙個網頁中的內容，需要對dom樹進行解析，找到指定節點後，再抓取我們需要的內容，過程有點繁瑣。lz總結了幾種常用的 易於實現的網頁抓取方式，如果熟悉jquery選擇器，這幾種框架會相當簡單。一 ganon 文件 測試 抓取我的 首頁所有class屬性值是focus的div元素，並且輸出clas...
網頁內容抓取
之前採用xpath和正規表示式對網頁內容進行抓取，發現在有的地方不如人意，就採用了htmlparser對頁面進行解析，抓取需要的東西。htmlparser有點不好的地方在於不能對starttag和endtag進行匹配。採用了兩種方法進行抓取。第一種，抓取成對的tag之間的內容，採用了queue.qu...