2 爬蟲基礎 urllib2模組

底層操作request物件

請求頭設定之useragent使用者**

請求頭設定

使用者**——useragent

自定義請求頭訊息

請求方式之get/post請求

get請求處理

post請求處理

handler處理器自定義開鎖人opener

自定義http opener

自定義proxy opener

會話跟蹤之cookie操作

cookie基本操作

cookie寫入資料操作

cookie讀取資料操作

異常和錯誤處理

異常處理

錯誤處理

https數字簽名問題

# -*- coding:utf-8 -*-

# 新增指定編碼的注釋，表示當前源**支援中文操作
import urllib2
# 引入需要的模組
response = urllib2.urlopen("")
print(response.read())
# 列印展示獲取到的資料

上述程式總分為兩部分請求和相應

構造請求：request = urllib2.request('')

傳送請求獲得響應：response =urllib2.urlopen(request)

列印響應內容： print(response.read())

相應爬蟲措施：請求頭偽造，模仿瀏覽器傳送請求；

程式如下：

# 新增注釋，源**支援中文

# -*- coding:utf-8 -*-
# 引入需要的模組
from urllib2 import request, urlopen
# 定義訪問的目標url位址
url = ""# 定義請求頭資訊

headers = 
# 構建請求物件

request = request(url, headers=headers)
# 傳送請求獲得響應物件
response = urlopen(response)
# 列印展示資訊
print(response.read())

python爬蟲基礎 urllib2附帶資料解析

python中用於獲取 的模組 def getwebpage x 我們定義乙個獲取頁面的函式，x 是用於呈遞你在頁面中搜尋的內容的引數 你想要搜尋的引數 結合自己頁面情況適當修改 page urllib2.urlopen url pagecontent page.read return pageco...

urllib2 模組基本運用

urllib2 模組的基本運用 1.urlopen 提供了乙個介面，可以用多種協議獲取url import urllib2 html urllib2.urlopen read 返回乙個request類 類檔案 物件 2.request 處理所有的url協議 import urllib2 req ur...

把玩之python爬蟲urllib2

1，什麼是urllib2庫？urllib2是python的乙個獲取urls的元件，通過urlopen函式的形式來提供了乙個非常簡單的介面，根據不同協議獲取urls的能力，urllib2提供了乙個比較復 雜的介面來處理情況，例如 基礎驗證，cookies，和其他。我們分析 response urlli...