資料抓取其實從字面意思就知道它是抓取資料的，在網際網路世界中，資料量是乙個非常大的。。有時候靠人為去獲取資料這是乙個非常不明智的。尤其是你需要的資料來自很多不同的地方。
網路爬蟲是是一種按照一定的規則，自動地抓取網際網路
資訊的程式或者指令碼。它主要抓取形式有兩種：1種是抓取網頁鏈結，通過url鏈結得到這個html頁面中指定的鏈結，把這些鏈結儲存起來，再依次以這些鏈結為源，再次爬取鏈結指向html頁面中的鏈結。
基本原理是：由關鍵字指定的url把所有相關的html頁面全抓下來（html即為字串），然後解析html文字（通常是正規表示式或者現成工具包如jsoup）
很多大型搜尋引擎，能夠獲取到那麼多你想要的資訊，大概就是通過這一方法。從不同的源頭，爬取到資料，然後根據演算法分析，將結果呈現給使用者。
下面介紹幾種我知道的工具，不是很熟悉，但是如果有用的到的話，可以來看看。。
爬蟲工具：
ex-crawler、
heritrix、
heydr、webmagic。。。。
http工具：fiddler、charles
例子：例如：有的公司為分析某些理財產品的基本資訊，如利率、期限。就會將幾個公司不同的理財產品進行爬取，然後進行分析。。
例如：你想貸款買車，貸款公司可以通過在**京東，這些大型的購物消費**中，有的使用者購買習慣，消費水平，購買信譽等資訊，都是非常重要的。就會有公司通過分析這些使用者是否有資格進行貸款，或者貸款的利率該是多少。。（當然他們的評估手段還有很多）
網路爬蟲就是有這麼大的能力，讓你在網際網路中的行為，變成資料。。
從網頁抓取資訊是乙個複雜的過程，需要應對的問題也很多，比如過濾無關內容、反爬、提高效率等
拓展：提高**搜尋引擎抓取、索引和排名的方法
33款可用來抓資料的開源爬蟲軟體工具
python 抓取網頁資料
利用python進行簡單的資料分析 1 首先要進行分析網頁的html，我們所要抓取的資料是根據銷量排名的手機資訊，所以主要需要抓取手機的型號 銷量，按照 由小見大 的方法來獲取所需要的html資訊，如下圖所示 由上可以看出手機型號所在的html標籤是 h3 手機 是在div中的class屬性為 pr...
Web網頁資料抓取（C S）
通過程式自動的讀取其它 網頁顯示的資訊，類似於爬蟲程式。比方說我們有乙個系統，要提取baidu 上歌曲搜尋排名。分析系統在根據得到的資料進行資料分析。為業務提供參考資料。為了完成以上的需求，我們就需要模擬瀏覽器瀏覽網頁，得到頁面的資料在進行分析，最後把分析的結構，即整理好的資料寫入資料庫。那麼我們的...
php抓取網頁內容，獲取網頁資料
php通過 html dom實現抓取網頁內容，獲取核心網頁資料，將網頁資料寫入本地 json 檔案 其 實現邏輯 1.引入 html dom.php檔案 require once html dom master html dom.php 2.獲取遠端或者本地html檔案 html file get ...