網路爬蟲和相關工具
網路爬蟲的概念
爬蟲的應用領域
搜尋引擎
新聞聚合
社交應用
輿情監控
行業資料
合法性和背景調研
爬蟲合法性**
網路爬蟲領域目前還屬於拓荒階段，雖然網際網路世界已經通過自己的遊戲規則建立起一定的道德規範(robots協議，全稱是「網路爬蟲排除標準」)，但法律部分還在建立和完善中，也就是說，現在這個領域暫時還是灰色地帶。
「法不禁止即為許可」，如果爬蟲就像瀏覽器一樣獲取的是前端顯示的資料（網頁上的公開資訊）而不是**後台的私密敏感資訊，就不太擔心法律法規的約束，因為目前大資料產業鏈的發展速度遠遠超過了法律的完善程度。
在爬取**的時候，需要限制自己的爬蟲遵守robots協議，同時控制網路爬蟲程式的抓取資料的速度；在使用資料的時候，必須要尊重**的智財權（從web 2.0時代開始，雖然web上的資料很多都是由使用者提供的，但是**平台是投入了運營成本的，當使用者在註冊和發布內容時，平台通常就已經獲得了對資料的所有權、使用權和分發權）。如果違反了這些規定，在打官司的時候敗訴機率相當高。
robots.txt檔案
大多數**都會定義robots.txt檔案，下面以**的robots.txt檔案為例，看看該**對爬蟲有哪些限制。
Python網路爬蟲
找到url，也就是相當於入口，找到你要爬取的鏈結，獲取整個頁面資料 使用正規表示式，匹配到你想要爬取的內容，這裡使用的主要是正規表示式和一些常用的開源庫 最後一步就是寫入文字以及儲存問題了，如文字檔案 資料庫 coding utf 8 是用來指定檔案編碼為utf 8 from urllib impo...
python網路爬蟲
這篇部落格簡單的實現了乙個網路爬蟲指令碼，所謂網路爬蟲就是從 某乙個頁面 通常是首頁 開始，讀取網頁的內容，找到在網頁中的其它鏈結位址，然後通過這些鏈結位址尋找下乙個網頁，這樣一直迴圈下去，直到把這個 所有的網頁都抓取完為止。下面就是乙個簡單地網路爬蟲程式 note 這個命令的意思是，從爬去尋找關鍵...
python網路爬蟲
前言去掉所有標籤 dr re.compile r re.s dd dr.sub jiner 任意內容 可以匹配多位數字 可以匹配用逗號隔開的數字 可以匹配一位的數字 可以匹配帶小數點的數字 匹配空白符 匹配最後兩位 re.search 0 9 0 9 0 9 s.dd 當然，爬蟲還有乙個很關鍵的就通...