在這個用資料說話的時代，資料是一件極其重要的事情，怎樣才能抓取到完整以及全面的資料呢？這並不是一件容易的事情。
如果想要做好大資料的分析，單單依靠一己之力或者是周邊的資料是遠遠不夠的，還需要借助「神秘的外部力量」。
這個時候，網際網路上的資源就非常關鍵了，從網路上爬取資料資源，就成為了至關重要的乙個環節。
那到底什麼是網路爬蟲呢？
網路爬蟲也叫網路蜘蛛，即web spider，名字非常形象。
如果把網際網路比喻成乙個蜘蛛網，那麼web spider就是在網上爬來爬去的蜘蛛。網路蜘蛛通過網頁的鏈結位址來尋找網頁，從**某乙個頁面(通常是首頁)開始，讀取網頁的內容，找到在網頁中的其它鏈結位址，然後通過這些鏈結位址尋找下乙個網頁，一直迴圈下去，直到把整個**所有的網頁都抓取完為止。
如果把整個網際網路當成乙個**，那麼網路蜘蛛可以用這個原理把網際網路上所有的網頁都抓取下來。
光是聽起來就很有意思，那利用這等技術能做些什麼好玩的事兒呢？
@冰藍之前在北京買房，誰想房價開始瘋長，鏈家的房價等資料分析只給了一小部分，遠遠不能滿足自己的需求。於是晚上花了幾個小時的時間寫了個爬蟲，爬下了北京所有的小區資訊及北京所有小區的所有歷史成交記錄。
@陳樂群
上次發現android qq和ios qq可以顯示網路狀態(2g/wifi)之後，突然想到，這樣子好像可以監視某人的出行和作息規律。簡單的來說，在家裡或者工作的地方，一般是有wifi的，然後出門了，wifi就斷掉了。如果監測頻率足夠頻繁，那麼結合一定的推理，可以大致推測出乙個人的行動。如果長期監視，那麼可以大致推出乙個人的作息時間。
@柳易寒
我用爬蟲爬了我愛白菜網、超值分享匯、發現值得買、惠惠購物、今日聚超值、留住你、買手黨、沒得比、慢慢買、牛雜網、買個便宜貨、什麼值得買、天上掉餡餅、一分網、折800值得買、值值值等**的折扣資訊。
這些**都是提供的一些及時的、價效比較高的商品，很多時候要乙個乙個**的看(重度使用者)，很容易就會錯過一些很划算的商品。
@蘿莉控夫斯基
我的愛人是某網路公司的銷售，需要收集各種企業資訊然後打**聯絡。於是乎利用採集指令碼抓一坨一坨的資料給她用，而她的同事天天自己搜資料整理到半夜。
不管是做什麼事，一定要把握好尺度，因為技術是無罪的，人們可以用它的方便造福自己，利用不當的話，會毀了自己。
生活和工作中，大家應該要適當的保持謹慎，對於一些遊走在法律邊緣的事情，請保持距離。
R 語言爬蟲 rvest 包實戰鏈家爬蟲
rvest包簡介 rvest包是hadley wickham大神開發的乙個專門用於網路資料抓取的r語言包，目前的發行版本為0.3.2，關於rvest包的描述以及用法可參考rvest幫助文件，花上一點時間閱讀幫助文件，相信你就可以寫出自己的爬蟲了。help package rvest rvest幫助文...
廈門房價鏈家爬蟲
python爬取鏈家官網上廈門二手房資料 防止封ip，cookies設定 def url open url url open headers while1 try req requests.get url url,headers headers,timeout 3 break except prin...
爬蟲養成記 什麼是網路爬蟲
趁著春節，希望能寫乙個小小的網路爬蟲框架。先定乙個小目標，希望能比較優雅地將某個 上的所有爬下來。暫時先將這個爬蟲的名字叫做squirrel，小松鼠吧。爬蟲其實是一種從網際網路上獲取資訊，並且提取我們需要的資訊並且儲存的手段。網際網路就像一張網，這種網是由乙個個url相互連線的。乙個url往往是對應...