初識爬蟲 URL

網路爬蟲，一門被認為是偷偷摸摸拿人家東西的技術，實則不然，其實爬蟲是光明正大的拿人家東西的技術。理直氣壯對不對，我喜歡。

網路爬蟲，也叫網路蜘蛛。它可以根據網頁位址（url）爬取你想要的資料。

url 專業一些的叫法是統一資源定位符（uniform resource locator），它的一般格式如下（帶方括號的為可選項）：

protocol : // hostname[:port] / path / [ ;parameters ] [ ?query ]#fragment

url 的格式主要由前個三部分組成：

簡單示例

網路爬蟲的第一步就是根據 url ，獲取網頁的 html 資訊。在 python3 中，可以使用 urllib.request和requests進行網頁爬取。

requests安裝

pip install requests

import requests

target =
""req = requests.get(url = target)
#獲取網頁位址
req.encoding =
'utf-8'
#編碼方式
print
(req.text)
#輸出html內容

爬蟲 爬蟲初識

網路爬蟲 又被稱為網頁蜘蛛，網路機械人 是一種按照一定的規則，自動地抓取全球資訊網資訊的程式或者指令碼，通俗的講就是通過程式去獲取web頁面上自己想要的資料，也就是自動抓取資料。發起請求 通過http庫向目標站點發起請求，也就是傳送乙個request，請求可以包含額外的header等資訊，等待伺服器...

爬蟲（一）初識爬蟲

網路爬蟲 又被稱為網頁蜘蛛，網路機械人 就是模擬瀏覽器傳送網路請求，接收請求響應，一種按照一定的規則，自動地抓取網際網路資訊的程式。原則上,只要是瀏覽器 客戶端 能做的事情，爬蟲都能夠做 爬蟲的工作流程 robots協議 通過robots協議告訴搜尋引擎哪些頁面可以抓取，哪些頁面不能抓取，但它僅僅是...

Python爬蟲 初識爬蟲

模擬瀏覽器開啟網頁，獲取網頁中我們想要的那部分資料 瀏覽器開啟網頁的過程 當你在瀏覽器中輸入位址後，經過dns伺服器找到伺服器主機，向伺服器傳送乙個請求，伺服器經過解析後傳送給使用者瀏覽器結果，包括html,js,css等檔案內容，瀏覽器解析出來最後呈現給使用者在瀏覽器上看到的結果 瀏覽器傳送訊息給...