Python 標準庫 urllib2 的使用細節

python 標準庫中有很多實用的工具類，但是在具體使用時，標準庫文件上對使用細節描述的並不清楚，比如 urllib2 這個 http 客戶端庫。這裡總結了一些 urllib2 的使用細節。

urllib2 缺省會使用環境變數 http_proxy 來設定 http proxy。如果想在程式中明確控制 proxy 而不受環境變數的影響，可以使用下面的方式

import
urllib2
enable_proxy
=true
proxy_handler
=urllib2
.proxyhandler
()null_proxy_handler
=urllib2
.proxyhandler
({})
ifenable_proxy
:opener
=urllib2
.build_opener
(proxy_handler
)else
:opener
=urllib2
.build_opener
(null_proxy_handler
)urllib2
.install_opener
(opener
)

這裡要注意的乙個細節，使用 urllib2.install_opener() 會設定 urllib2 的全域性 opener 。這樣後面的使用會很方便，但不能做更細粒度的控制，比如想在程式中使用兩個不同的 proxy 設定等。比較好的做法是不使用 install_opener 去更改全域性的設定，而只是直接呼叫 opener 的 open 方法代替全域性的 urlopen 方法。

在老版 python 中，urllib2 的 api 並沒有暴露 timeout 的設定，要設定 timeout 值，只能更改 socket 的全域性 timeout 值。

import
urllib2
import
socket
socket
.setdefaulttimeout(10
)# 10 秒鐘後超時
urllib2
.socket
.setdefaulttimeout(10
)# 另一種方式

在 python 2.6 以後，超時可以通過 urllib2.urlopen() 的 timeout 引數直接設定。

import
urllib2
response
=urllib2
.urlopen
('',timeout=10
)

要加入 header，需要使用 request 物件：

import
urllib2
request
=urllib2
.request
(uri
)request
.add_header
('user-agent'
,'fake-client'
)response
=urllib2
.urlopen
(request
)

對有些 header 要特別留意，伺服器會針對這些 header 做檢查

在使用伺服器提供的 restful 或 soap 服務時， content-type

設定錯誤會導致伺服器拒絕服務

urllib2 預設情況下會針對 http 3xx 返回碼自動進行 redirect 動作，無需人工配置。要檢測是否發生了 redirect 動作，只要檢查一下 response 的 url 和 request 的 url 是否一致就可以了。

import
urllib2
response
=urllib2
.urlopen
('')redirected
=response
.geturl
()==
''

如果不想自動 redirect，除了使用更低層次的 httplib 庫之外，還可以自定義 httpredirecthandler 類。

urllib2 對 cookie 的處理也是自動的。如果需要得到某個 cookie 項的值，可以這麼做：

urllib2 只支援 http 的 get 和 post 方法，如果要使用 http put 和 delete ，只能使用比較低層的 httplib 庫。雖然如此，我們還是能通過下面的方式，使 urllib2 能夠發出 put 或 delete 的請求：

import
urllib2
request
=urllib2
.request
(uri
,data
=data
)request
.get_method
=lambda
:'put'
# or 'delete'
response
=urllib2
.urlopen
(request
)

這種做法雖然屬於 hack 的方式，但實際使用起來也沒什麼問題。

對於 200 ok 來說，只要使用 urlopen 返回的 response 物件的 getcode() 方法就可以得到 http 的返回碼。但對其它返回碼來說，urlopen 會丟擲異常。這時候，就要檢查異常物件的 code 屬性了：

使用 urllib2 時，可以通過下面的方法把 debug log 開啟，這樣收發包的內容就會在螢幕上列印出來，方便除錯，有時可以省去抓包的工作

Python 標準庫 urllib2 的使用細節

python標準庫之 urllib

使用python標準庫urllib2訪問網頁

Python標準庫 urllib2 的使用

Python 標準庫 urllib2 的使用細節

python標準庫之 urllib

使用python標準庫urllib2訪問網頁

Python標準庫 urllib2 的使用

相關推薦