網路爬蟲（又被稱為網頁蜘蛛，網路機械人）就是模擬瀏覽器傳送網路請求，接收請求響應，一種按照一定的規則，自動地抓取網際網路資訊的程式。
原則上,只要是瀏覽器(客戶端)能做的事情，爬蟲都能夠做
爬蟲的工作流程：
robots協議：**通過robots協議告訴搜尋引擎哪些頁面可以抓取，哪些頁面不能抓取，但它僅僅是網際網路中的一般約定
例如：**的robots協議
爬蟲的概念：模擬瀏覽器傳送網路請求，接收請求響應
爬蟲分類：通用爬蟲、聚焦爬蟲
爬蟲的流程：
robots協議：無需遵守該協議
爬蟲 爬蟲初識
網路爬蟲 又被稱為網頁蜘蛛，網路機械人 是一種按照一定的規則，自動地抓取全球資訊網資訊的程式或者指令碼，通俗的講就是通過程式去獲取web頁面上自己想要的資料，也就是自動抓取資料。發起請求 通過http庫向目標站點發起請求，也就是傳送乙個request，請求可以包含額外的header等資訊，等待伺服器...
Python爬蟲 初識爬蟲
模擬瀏覽器開啟網頁，獲取網頁中我們想要的那部分資料 瀏覽器開啟網頁的過程 當你在瀏覽器中輸入位址後，經過dns伺服器找到伺服器主機，向伺服器傳送乙個請求，伺服器經過解析後傳送給使用者瀏覽器結果，包括html,js,css等檔案內容，瀏覽器解析出來最後呈現給使用者在瀏覽器上看到的結果 瀏覽器傳送訊息給...
用python寫爬蟲（一）初識爬蟲
爬蟲又被稱之為網路蜘蛛 網路機械人等，簡單來說就是模擬客戶端傳送網路請求，接收請求響應，按照一定的規則自動的抓取網際網路資訊的程式。1.從個人角度來說，爬蟲可以做我們的生活助手。2.從商業角度來說，爬蟲能實現巨大的商業價值。網路爬蟲根據系統結構和開發技術大致可以分為四種型別 通用網路爬蟲 聚焦網路爬...