爬蟲request庫簡單使用

2021-10-09 03:20:18 字數 684 閱讀 1498

為什麼要學習requests,而不是urllib

requests的底層實現就是urllib

requests在python2和python3通用,⽅法完全⼀樣

requests簡單易⽤

requests能夠⾃動幫助我們解壓(gzip壓縮的)網頁內容

requests的作用

作⽤:傳送⽹絡請求,返回相應資料

requests中解決編碼的⽅法:

print( r.content.decode('utf-8')  )

r.encoding = 'utf-8'

r.text

response.text 和 response.content的區別 :

response.text

型別:str(字串) 文字

修改編碼⽅式:response.encoding = 『utf-8』

傳送簡單的請求

response = requests.get(url)

response的常⽤⽅法:

response.text :字串

response.content :位元組

response.status_code : 200

response.request.headers:請求頭

response.headers:響應頭

request庫的簡單使用

7種基本用法 首先安裝requests庫 如果你本地只有乙個python環境直接執行pip install requests 像我本地裝了3個不同的python怎麼使你安裝在你想要安裝的python下呢?我以安裝到python3.6為例 找到python的安裝位置下的scripts目錄複製 進入cm...

爬蟲 獲取頁面 request庫的使用

requests是乙個封裝了python自帶的urllib模組的乙個易用型模組,它使得程式設計師對傳送請求和獲取響應等http操作的 編寫更加簡單。import requests基本步驟如下 設定請求頭資訊,一般是改變user agent 通過get 方法獲取頁面資訊 判斷是否發生異常 如無異常返回...

爬蟲系列之request庫的簡單應用

當前想要從網路上批量獲取大量資源就需要使用爬蟲這一項技術,今天我來分享一下python的request庫的簡單應用。response requests.get print response.text import requests import json response requests.get ...