Python 標準庫 urllib2 的使用細節

python 標準庫中有很多實用的工具類，但是在具體使用時，標準庫文件上對使用細節描述的並不清楚，比如 urllib2 這個 http 客戶端庫。這裡總結了一些 urllib2 庫的使用細節。

urllib2 缺省會使用環境變數 http_proxy 來設定 http proxy。如果想在程式中明確控制 proxy，而不受環境變數的影響，可以使用下面的方式

importurllib2
enable_proxy = true
proxy_handler = urllib2.proxyhandler()
null_proxy_handler = urllib2.proxyhandler()
ifenable_proxy:
opener = urllib2.build_opener
(proxy_handler)
else:
opener = urllib2.build_opener
(null_proxy_handler)
urllib2.install_opener
(opener)

這裡要注意的乙個細節，使用 urllib2.install_opener() 會設定 urllib2 的全域性 opener。這樣後面的使用會很方便，但不能做更細粒度的控制，比如想在程式中使用兩個不同的 proxy 設定等。比較好的做法是不使用 install_opener 去更改全域性的設定，而只是直接呼叫 opener 的 open 方法代替全域性的 urlopen 方法。

在老版本中，urllib2 的 api 並沒有暴露 timeout 的設定，要設定 timeout 值，只能更改 socket 的全域性 timeout 值。

importurllib2
importsocket
socket.setdefaulttimeout(10
)# 10 秒鐘後超時
urllib2.socket.setdefaulttimeout(10
)# 另一種方式

在新的 python 2.6 版本中，超時可以通過 urllib2.urlopen() 的 timeout 引數直接設定。

importurllib2
response = urllib2.urlopen
('', timeout=10
)

要加入 header，需要使用 request 物件：

importurllib2
request = urllib2.request
(uri)
request.add_header
('user-agent', 'fake-client'
)response = urllib2.urlopen
(request)

對有些 header 要特別留意，server 端會針對這些 header 做檢查

在使用 rpc 呼叫 server 提供的 restful 或 soap 服務時， content-type 設定錯誤會導致 server 拒絕服務。

urllib2 預設情況下會針對 3xx http 返回碼自動進行 redirect 動作，無需人工配置。要檢測是否發生了 redirect 動作，只要檢查一下 response 的 url 和 request 的 url 是否一致就可以了。

importurllib2
response = urllib2.urlopen
('')redirected = response.geturl
() == ''

如果不想自動 redirect，除了使用更低層次的 httplib 庫之外，還可以使用自定義的 httpredirecthandler 類。

urllib2 對 cookie 的處理也是自動的。如果需要得到某個 cookie 項的值，可以這麼做：

urllib2 只支援 http 的 get 和 post 方法，如果要使用 http put 和 delete，只能使用比較低層的 httplib 庫。雖然如此，我們還是能通過下面的方式，使 urllib2 能夠發出 http put 或 delete 的包：

importurllib2
request = urllib2.request
(uri, data=data)
request.get_method =lambda: 'put'
# or 'delete'
response = urllib2.urlopen
(request)

這種做法雖然屬於 hack 的方式，但實際使用起來也沒什麼問題。

對於 200 ok 來說，只要使用 urlopen 返回的 response 物件的 getcode() 方法就可以得到 http 的返回碼。但對其它返回碼來說，urlopen 會丟擲異常。這時候，就要檢查異常物件的 code 屬性了：

使用 urllib2 時，可以通過下面的方法把 debug log 開啟，這樣收發包的內容就會在螢幕上列印出來，方便我們除錯，在一定程度上可以省去抓包的工作。

Python 標準庫 urllib2 的使用細節

python標準庫之 urllib

使用python標準庫urllib2訪問網頁

Python標準庫 urllib2 的使用

Python 標準庫 urllib2 的使用細節

python標準庫之 urllib

使用python標準庫urllib2訪問網頁

Python標準庫 urllib2 的使用

相關推薦