requests庫是乙個簡潔且簡單的http請求的第三方庫,它的優點是程式編寫過程更接近正常url訪問過程。
網路爬蟲和資訊提交只是requests庫能支援的基本功能。其中,與網頁請求相關的函式如下表:
函式描述
get(url[, timeout = n])
對應於http
的get
方式,獲取網頁最常用的方法,可以增加timeout = n
引數,設定每次請求超過時間為n
秒
post(url, data = {'key':'value')
對應於http
的post
方式,其中字典用於傳送客戶端資料
get()
是獲取網頁最常用的方式,在呼叫requests.get()
函式後,返回的網頁內容會儲存乙個reponse
>>>import requests
>>>r = requests.get("")
注意,必須是http或https方式,否則連線失敗
reponse物件的屬性列表如下:
屬性描述
status_code
http請求返回狀態,整數,200表示連線成功,404表示失敗
text
http響應內容的字串形式,即url對應的頁面內容
encoding
http響應內容的編碼方式
content
http響應內容的二進位制方式
requests的方法:
方法描述
json()
如果http響應內容包括json格式資料,則方法解析json
rais_for_status()
如果不是200,則產生異常
獲取乙個網頁內容的函式主要**為:
import requests
defgethtmltext
(url):
try:
r = requests.get(url, timeout = 30)
r.raise_for_status()
r.encoding = 'utf-8'
return r.text,r.content
except:
return
""url = ""
html = gethtmltext(url)
python Request庫的get 方法
1.request庫的get 方法 最通常的方法是通過r request.get url 構造乙個向伺服器請求資源的url物件。這個物件是request庫內部生成的。這時候的r返回的是乙個包含伺服器資源的response物件。包含從伺服器返回的所有的相關資源。url是什麼?url是通過http協議訪...
Python Request庫的介面測試例項
檢查http響應 requests處理session cookie 介面測試概要安裝requests庫pip3 install requests構建http請求 urlencoded格式 後面的都是url的引數,每個引數之間是用 隔開的 一般寫法 response requests.get 如果ur...
Python request庫初使用及學習記錄
基礎方法 異常問題 爬取 的排行榜 官方文件傳送 引數說明 requests.get 獲取html網頁的主要方法,對應於http的get requests.head 獲取html網頁頭資訊的方法,對應於http的head requests.post 向html網頁提交post請求的方法,對應於htt...