目的:實現乙個完成的請求與響應模型
urllib2提供乙個基礎函式urlopen,通過指定的url發出請求來獲取資料,最簡單的形式就是:
import urllib2
# 請求開啟某頁面
response = urllib2.urlopen("")
# 讀取頁面內容並將之賦值給html
html = response.read()
# 列印html頁面內容
print html
當然也可以將上面對頁面的請求分成兩步,一步是請求,一步是響應,形式如下:
import urllib2
# 請求
# 響應
response = urllib2.urlopen(reqeest)
# 讀取
html = response.read()
# 列印輸出
print html
以上的兩種請求都是get請求
這樣乙個簡單的爬蟲模型就完成了。
Python 3 0最簡單的爬蟲
做個小專案練練手,比較有動力繼續下去,這邊參考最簡單的爬蟲程式自己抄了一下。但是因為3.0的關係,無法直接使用,根據2.0版本的 進行修改後成功了。如下 coding utf 8 import urllib.request import re 該函式用於獲取html內容 使用到urlopen的函式 ...
python爬蟲簡單 python爬蟲 簡單版
學過python的帥哥都知道,爬蟲是python的非常好玩的東西,而且python自帶urllib urllib2 requests等的庫,為爬蟲的開發提供大大的方便。這次我要用urllib2,爬一堆風景。先上重點 1 response urllib2.urlopen url read 2 soup...
Python開發簡單爬蟲之爬蟲介紹(一)
本部落格來自慕課網 python開發簡單爬蟲 爬蟲主要場景 不需要登入的靜態網頁 使用ajax非同步載入的內容 需要使用者登入才可以訪問的網頁 以下主要介紹不需要登入的靜態網頁。3中實現方式 python中已經存在關鍵字class,故當屬性為class時,用class 代替。coding utf 8...