抓取Web網頁資料分析

通過程式自動的讀取其它**網頁顯示的資訊，類似於爬蟲程式。比方說我們有乙個系統，要提取baidu**上歌曲搜尋排名。分析系統在根據得到的資料進行資料分析。為業務提供參考資料。

為了完成以上的需求，我們就需要模擬瀏覽器瀏覽網頁，得到頁面的資料在進行分析，最後把分析的結構，即整理好的資料寫入資料庫。那麼我們的思路就是：

1、傳送httprequest請求。

2、接收httpresponse返回的結果。得到特定頁面的html原始檔。

3、取出包含資料的那一部分原始碼。

4、根據html原始碼生成htmldocument，迴圈取出資料。

5、寫入資料庫。

程式如下：

//根據url位址得到網頁的html原始碼

private string getwebcontent(string url)

catch

return strresult;

}為了使用httpwebrequest和httpwebresponse，需填名字空間引用

using system.net;

以下是程式具體實現過程：

private void button1_click(object sender, eventargs e)

//插入資料庫

insertdata(dt);

datagridview1.datasource = dt.defaultview;

}程式執行結果介面圖：

以上程式在vs.net2005(c#)，windows 2003(sp1)平台上測試通過。

抓取Web網頁資料分析

這文章好，我轉了，然後，我寫好，放源 到我站上，給大家共享 先只轉文章 謝謝 秋雨大哥的文章 這類文章，網上不易找啦。特別是vs2005的。原文如下 抓取web網頁資料分析 通過程式自動的讀取其它 網頁顯示的資訊，類似於爬蟲程式。比方說我們有乙個系統，要提取baidu 上歌曲搜尋排名。分析系統在根據...

抓取Web網頁資料分析

通過程式自動的讀取其它 網頁顯示的資訊，類似於爬蟲程式。比方說我們有乙個系統，要提取baidu 上歌曲搜尋排名。分析系統在根據得到的資料進行資料分析。為業務提供參考資料。1 傳送httprequest請求。2 接收httpresponse返回的結果。得到特定頁面的html原始檔。3 取出包含資料的那...

抓取Web網頁資料分析

通過程式自動的讀取其它 網頁顯示的資訊，類似於爬蟲程式。比方說我們有乙個系統，要提取baidu 上歌曲搜尋排名。分析系統在根據得到的資料進行資料分析。為業務提供參考資料。為了完成以上的需求，我們就需要模擬瀏覽器瀏覽網頁，得到頁面的資料在進行分析，最後把分析的結構，即整理好的資料寫入資料庫。那麼我們的...