python3 4爬蟲 urllib等模組的引用

用python寫爬蟲程式的時候經常使用的庫肯定是urllib，除此之外，還有urllib2和cookielib等，但是由於python版本的更新，在一些庫和方法的使用上python3並不能向下相容。所以在寫爬蟲程式時並不能按照python2的引用方法。現將urllib等方法的引用方法歸納如下(以python3.4為例，是否會適用python3.2等版本不可知）：

首先，python3.4中，而是將urllib2、urlparse、robotparser併入了urllib模組，並且修改了urllib模組，其中包含了5個子模組，每個子模組中的常用方法如下：

quote_plus;quote_from_bytes;urlencode;to_bytes;unwrap;splittype;splithost;splituser;splitpasswd;splitport等；

以上方法並沒有列舉完全，具體的每個子塊的所有類和方法可以在python安裝包裡的lib/urllib下查詢（如果不是python3.4.3版本的python版本，可以到這個目錄下面查詢相應的方法。）

另外，python2中的cookielib，在python3.4中重新命名為http.cookiejar. 引用時直接import http.cookiejar 即可。

最後，由於python3嚴格區分bytes和str型別，並且這兩種型別不能以任意隱式方式使用，但是urllib中的有些方法對於str和bytes有嚴格的規定，比如下面這段**：

values={}
values['username']="";
values['password']="";
data=urllib.parse.urlencode(values)
url=""
request=urllib.request.request(url,data)
response=urllib.request.urlopen(request)
print(response.read().decode('utf-8'))

這段**在python3.4上執行時會報錯：「typeerror: post data should be bytes or an iterable of bytes. it cannot be of type str.」這句話的意思就是說：urllib.request.request(url,data)中的data必須是bytes型別，但是urllib.parse.urlencode(values)產生的data的型別是str,所以遇到這種情況就需要進行str和bytes的轉化：

從str到bytes:呼叫方法encode('utf-8'). 所以，上邊**需要改寫成：data=urllib.parse.urlencode(values).encode('utf-8')

從bytes到str:呼叫方法decode('utf-8').

python3 4爬蟲 urllib等模組的引用

Python3 4安裝日記

Python3 4執行緒入門

爬蟲 Python爬蟲學習筆記之Urllib庫

python3 4爬蟲 urllib等模組的引用

Python3 4安裝日記

Python3 4執行緒入門

爬蟲 Python爬蟲學習筆記之Urllib庫

相關推薦