網路中urllib庫的使用

2021-09-25 14:48:02 字數 741 閱讀 1601

urllib 庫的基本使用:

·所謂網路請求,就是把 url 位址中指定的網路資源從網路流中讀取出來,儲存 到本地。

在 python中有很多庫可以用來獲取網路資源,我們先學習 urllib。urllib2 在 python3.x 中被改為 urllib.request

# 從urllib模組引入request類

from urllib import request

base_url = ''

# 用request這個類中urlopen這個方法開啟base_url這個**

# 得到乙個響應,用變數respond來接收

respond = request.urlopen(url=base_url)

# 再用響應來讀取

# 基於網路的資料操作全都是靠位元組來實現的,所以我們需要轉碼

# 這裡的變數html 就是乙個字串(通過給的**開啟的字串)

# 在網頁上檢視的原始碼,實際上就是響應

html = respond.read().decode('utf-8')

# 列印出來的東西 就是那個原始碼

print(html)

# 由於 沒網的情況下 你是不能通過原網頁檢視原始碼的

# 所以我們將得到的原始碼寫入本地文件中

urllib庫的使用

import urllib.request data urllib.request.urlopen print urlopen原始碼 不支援新增headers 請求頭部 def urlopen url,data none timeout socket.global default timeout,c...

四 爬蟲中的urllib庫使用

這篇介紹如何使用爬蟲中的urllib庫 怎樣扒網頁呢?其實就是根據url來獲取它的網頁資訊,雖然我們在瀏覽器中看到的是一幅幅優美的畫面,但是其實是由瀏覽器解釋才呈現出來的,實質它是一段html 加 js css,如果把網頁比作乙個人,那麼html便是他的骨架,js便是他的肌肉,css便是它的衣服。所...

使用urllib的網路爬蟲

重要的三個內容 請求頭 請求方式 open方式 from urllib import request1 定義請求 構造請求頭 header 構造formdata formdata 對formdata進行url編碼處理 data request.parse.urlencode formdata enc...