定義：
網路爬蟲（web spider），又被稱為網頁蜘蛛，是一種按照一定的規則，自動地抓取**資訊的程式或者指令碼。爬蟲其實是通過編寫程式，模擬瀏覽器上網，然後讓其去網際網路上抓取資料的過程。
爬蟲的價值：
抓取網際網路上的資料，為我所用，有了大量的資料，就如同有了乙個資料銀行一樣，下一步就是如何將這些資料產品化、商業化。
爬蟲是否合法
網路爬蟲在法律中是不被禁止，但是具有違法風險，通常來說爬蟲分為善意的爬蟲和惡意的爬蟲。
爬蟲帶來的風險可以體現在如下兩個方面：
那麼我們如何在使用編寫爬蟲的過程中避免進入局子的厄運呢？
爬蟲在使用場景中的分類反爬機制：門戶**，可以通過制定相應的策略或者技術手段，防止爬蟲程式進行**資料的爬取。
反反爬策略：爬蟲程式可以通過制定相關的策略或者技術手段，破解門戶**中具備的反爬機制，從而可以獲取門戶**中相關的資料。
下面，我們來了解一下網路爬蟲中乙個重要的協議：robots.txt協議。robots.txt協議是乙個君子協議，協議中規定了**中哪些資料可以被爬取哪些資料不能被爬取，比如：www.taobao.com/robots.txt
http協議：就是伺服器和客戶端進行資料互動的一種形式。
http協議中常用的請求頭資訊：
Python 3 網路爬蟲
python 原來還可以這樣玩 python爬蟲，破解有道翻譯介面引數 破解有道翻譯反爬蟲機制 python3網路爬蟲快速入門實戰解析 article details 78123502 python3網路爬蟲 五 python3安裝scrapy article details 60156205 py...
Python3 網路爬蟲 1
準備開始寫一些python3關於爬蟲相關的東西，主要是一些簡單的網頁爬取，給身邊的同學入門看。首先我們向網路伺服器傳送get請求以獲取具體的網頁，再從網頁中讀取html內容。python view plain copy print?coding utf 8 from urllib.request i...
自學Python 3網路爬蟲（二）
import urllib import urllib.request data data word 廣東珠海 url values urllib.parse.urlencode data url full url url url values print full url data urllib....