常用的第三方模組 requests url

2022-03-03 02:24:02 字數 2041 閱讀 5772

我們已經講解了python內建的urllib模組，用於訪問網路資源。但是，它用起來比較麻煩，而且，缺少很多實用的高階功能。

更好的方案是使用requests。它是乙個python第三方庫，處理url資源特別方便。

如果安裝了anaconda，requests就已經可用了。否則，需要在命令列下通過pip安裝：

$ pip install requests
如果遇到permission denied安裝失敗，**上sudo重試。

要通過get訪問乙個頁面，只需要幾行**：

>>> import requests


>>> r = requests.get('') # 豆瓣首頁


>>> r.status_code


200>>> r.text


r.text
對於帶引數的url，傳入乙個dict作為params引數：

>>> r = requests.get('search', params=)


>>> r.url # 實際請求的url


'search?q=python&cat=1001'
requests自動檢測編碼，可以使用encoding屬性檢視：

>>> r.encoding


'utf-8'
無論響應是文字還是二進位制內容，我們都可以用content屬性獲得bytes物件：

>>> r.content


b'\n\n\n\n...'
requests的方便之處還在於，對於特定型別的響應，例如json，可以直接獲取：

>>> r = requests.get('')


>>> r.json()


)
params = 


r = requests.post(url, json=params) # 內部自動序列化為json
類似的，上傳檔案需要更複雜的編碼格式，但是requests把它簡化成files引數：

>>> upload_files = 


>>> r = requests.post(url, files=upload_files)
在讀取檔案時，注意務必使用'rb'即二進位制模式讀取，這樣獲取的bytes長度才是檔案的長度。

把post()方法替換為put()，delete()等，就可以以put或delete方式請求資源。

除了能輕鬆獲取響應內容外，requests對獲取http響應的其他資訊也非常簡單。例如，獲取響應頭：

>>> r.headers


>>> r.headers['content-type']


'text/html; charset=utf-8'
requests對cookie做了特殊處理，使得我們不必解析cookie就可以輕鬆獲取指定的cookie：

>>> r.cookies['ts']


'example_cookie_12345'
要在請求中傳入cookie，只需準備乙個dict傳入cookies引數：

>>> cs = 


>>> r = requests.get(url, cookies=cs)
最後，要指定超時，傳入以秒為單位的timeout引數：

>>> r = requests.get(url, timeout=2.5) # 2.5秒後超時

第三方模組

參考 第三方模組 requestsimport requests 對於帶引數的url，傳入乙個dict作為params引數 params 要傳入http header時，我們傳入乙個dict作為headers引數 請求中傳入cookie，只需準備乙個dict傳入cookies引數 my cookie...

Python常用第三方模組

requests kenneth reitz寫的最富盛名的http庫。每個python程式設計師都應該有它。wxpython python的乙個gui 圖形使用者介面 工具。pillow 它是pil python圖形庫 的乙個友好分支。對於使用者比pil更加友好，對於任何在圖形領域工作的人是必備的庫...

常用的第三方模組 chardet url

chardet 字串編碼一直是令人非常頭疼的問題，尤其是我們在處理一些不規範的第三方網頁的時候。雖然python提供了unicode表示的str和bytes兩種資料型別，並且可以通過encode 和decode 方法轉換，但是，在不知道編碼的情況下，對bytes做decode 不好做。對於未知編碼的...