urllib
和
urllib2
1
、
urllib 僅可以接受 url
,⽽
urllib2 可以接受⼀個設定了 headers 的
request 類例項
。這表示我們可以偽裝⾃⼰的 user agent 字串等。
2
、urllib 提供 urlencode ⽅法⽤來 get 查詢字串的產⽣,⽽ urllib2
沒有。這是為何 urllib 常和 urllib2 ⼀起使⽤的原因。
編碼⼯作使⽤urllib 的urlencode()函式,幫我們將 key:value 這
樣的鍵值對轉換成 "key=value" 這樣的字串,解碼⼯作可以使⽤
urllib 的 unquote() 函式。
#encoding:utf-8
import urllib2
website=urllib2.request("") # 傳送請求
pa=urllib2.urlopen(website).read()# 讀取網頁
print pa # 列印
# encoding:utf-8
import urllib2
response=urllib2.urlopen("")#網頁抽象為檔案
while true:
line=response.readline()#讀取一行
if not line:
break
print line
爬蟲學習一系列 urllib2抓取網頁內容
爬蟲學習一系列 urllib2抓取網頁內容 所謂網頁抓取,就是把url位址中指定的網路資源從網路中讀取出來,儲存到本地。我們平時在瀏覽器中通過 瀏覽網頁,只不過我們看到的是解析過的頁面效果,而通過程式獲取的則是程式源 我們通過使用python中urllib2來獲取網頁的url資源,最簡單方法就是呼叫...
python使用urllib2抓取防爬取鏈結
寫了那麼多篇找工作的文章,再寫幾篇就完了,也算是對自己一段時間的乙個總結。近來發現自己部落格上python技術點的文章有點少,為了防止自己總是遺忘,還是寫出來的好。前幾天剛看完 linux unix設計思想 真是一本不錯的書,推薦想提高自己 質量的童鞋看一下,裡面經常提到要以小為美,乙個程式做好一件...
urllib簡單網頁抓取
urllib包 抓取網頁,處理url,包含模組 用urllib實現簡單的網頁抓取 coding utf 8 from urllib import request import chardet if name main response request.urlopen html response.re...