1、proxy 的設定urllib2 缺省會使用環境變數 http_proxy 來設定 http proxy。
如果想在程式中明確控制 proxy，而不受環境變數的影響，可以使用下面的方式
import
urllib2
enable_proxy =true
proxy_handler = urllib2.proxyhandler()
null_proxy_handler =urllib2.proxyhandler({})
ifenable_proxy:
opener =urllib2.build_opener(proxy_handler)
else
: opener =urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)
這裡要注意的乙個細節，使用 urllib2.install_opener() 會設定 urllib2 的全域性 opener。這樣後面的使用會很方便，但不能做更細粒度的控制，比如想在程式中使用兩個不同的 proxy 設定等。比較好的做法是不使用 install_opener 去更改全域性的設定，而只是直接呼叫 opener 的 open 方法代替全域性的 urlopen 方法。
2、timeout 設定
在老版本中，urllib2 的 api 並沒有暴露 timeout 的設定，要設定 timeout 值，只能更改 socket 的全域性 timeout 值。
import
urllib2
import
socket
socket.setdefaulttimeout(10) #
10 秒鐘後超時
urllib2.socket.setdefaulttimeout(10) #
另一種方式
在新的 python 2.6版本中，超時可以通過 urllib2.urlopen() 的 timeout 引數直接設定。
import
urllib2
response = urllib2.urlopen('
', timeout=10)
3、在 http request 中加入特定的 header
要加入 header，需要使用 request 物件：
import
urllib2
request =urllib2.request(uri)
request.add_header(
'user-agent
', '
fake-client')
response =urllib2.urlopen(request)
對有些 header 要特別留意，server 端會針對這些 header 做檢查
user-agent 有些 server 或 proxy 會檢查該值，用來判斷是否是瀏覽器發起的 request
content-type 在使用 rest 介面時，server 會檢查該值，用來確定 http body 中的內容該怎樣解析。
常見的取值有：
在使用 rpc 呼叫 server 提供的 restful 或 soap 服務時， content-type 設定錯誤會導致 server 拒絕服務。
4、redirect
urllib2 預設情況下會針對 3xx http 返回碼自動進行 redirect 動作，無需人工配置。要檢測是否發生了 redirect 動作，只要檢查一下 response 的 url 和 request 的 url 是否一致就可以了。
import
urllib2
response = urllib2.urlopen('
')redirected = response.geturl() == '
'如果不想自動 redirect，除了使用更低層次的 httplib 庫之外，還可以使用自定義的 httpredirecthandler 類。
urllib2 對 cookie 的處理也是自動的。如果需要得到某個 cookie 項的值，可以這麼做：
6、使用 http 的 put 和 delete 方法
urllib2 只支援 http 的 get 和 post 方法，如果要使用 http put 和 delete，只能使用比較低層的 httplib 庫。雖然如此，我們還是能通過下面的方式，使 urllib2 能夠發出 http put 或 delete 的包：
import
urllib2
request = urllib2.request(uri, data=data)
request.get_method = lambda: '
put'
#or 'delete'
response =urllib2.urlopen(request)
這種做法雖然屬於 hack 的方式，但實際使用起來也沒什麼問題。
7、得到 http 的返回碼
對於 200ok 來說，只要使用 urlopen 返回的 response 物件的 getcode() 方法就可以得到 http 的返回碼。但對其它返回碼來說，urlopen 會丟擲異常。這時候，就要檢查異常物件的 code 屬性了：
使用 urllib2 時，可以通過下面的方法把 debug log 開啟，這樣收發包的內容就會在螢幕上列印出來，方便我們除錯，在一定程度上可以省去抓包的工作。
python標準庫之 urllib
常用的python標準庫有 2 time datatime 時間與日期相關 3 科學計算相關 math 4 網路請求相關 urlib 在python2中，用的是urllib2。在python3中，將urllib2封裝在了urllib.request中了。常用的方法 urllib.request.ur...
使用python標準庫urllib2訪問網頁
訪問不需要登入的網頁 訪問需要登入的網頁 步驟1.建立乙個帶有cookie的opener 步驟2.提供使用者 密碼,用這個opener訪問登入action url.因為觸發了login action,web 伺服器端就會為這個使用者初始化session 步驟3.還是使用這個opener訪問目標網頁....
Python 標準庫 urllib2 的使用細節
python 標準庫中有很多實用的工具類，但是在具體使用時，標準庫文件上對使用細節描述的並不清楚，比如 urllib2 這個 http 客戶端庫。這裡總結了一些 urllib2 的使用細節。urllib2 缺省會使用環境變數 http proxy 來設定 http proxy。如果想在程式中明確控制...