urllib庫的一些基本函式的使用

2021-09-22 22:50:07 字數 1669 閱讀 6786

是python自帶的標準庫,無需另外安裝

可以模擬瀏覽器向指定的伺服器傳送請求並儲存返回的資料

在 urllib 庫中,所有與網路請求相關的函式都在 request 模組下

第一行:使用函式 urlopen() 時需先導入 request 模組

第二行:建立乙個遠端url的類檔案物件,它的返回值是http.client.httpresponse 物件。因為該物件是類檔案物件,所以跟本地操作檔案是類似的。具有的方法包含幾個:read(size) \ readline() \ readlines() \ getcode()

from urllib import request

res = request.urlopen('')

print(res.read())

第一行:使用函式 urlretrieve() 時需先導入 request 模組

from urllib import request

res = request.urlretrieve('','baidu.html')

作用:把字典形式的資料轉換為 url 編碼格式

第一行:使用函式 urlencode() 時需先導入 parse 模組

第二行:賦值給變數 data 乙個字典形式的資料

第三行:將變數 data 的資料轉換為 url 編碼格式

from urllib import parse

data =

res = parse.urlencode(data)

print(res)

作用跟 urlencode() 函式是一樣的,只不過 urlencode() 函式針對的物件是字典,而 quote() 函式針對的物件是字串

from urllib import parse

word = 'hello world'

res = parse.quote(word)

print(res)

有編碼就會有解碼,就是將url編碼的資料轉換為字典形式的資料

req = parse.parse_qs(res)

print(req)

urlparse() 函式和 urlsplit() 函式的作用都是一樣的,都是分割 url 的各個組成部分。唯一的區別就是經 urlparse() 函式分割後的內容中包含 params 屬性,而 urlsplit() 函式沒有包含

from urllib import parse

url = ' '

res_parse = parse.urlparse(url)

print(res_parse)

res_split = parse.urlspilt(url)

print(res_split)

當請求時需要新增一些請求頭的時候,就必須用到這個 request 類

from urllib import request

url = ''

res = request.request(url,headers = headers) # 新增請求頭

req = request.urlopen(res)

print(req.read())

基本庫的使用 urllib

最基礎的http 庫有urllib httplib2 requests treq 等。使用urllib urllib 庫,它是python 內建的http 請求庫,也就是說不需要額外安裝即可使用。它包含如下4 個模組。request 它是最基本的http 請求模組,可以用來模擬傳送請求。就像在瀏覽器...

Urllib庫的基本使用

爬取網頁 爬取網頁其實就是根據url來獲取它的網頁資訊,雖然我們在瀏覽器中看到的是一幅幅優美的畫面,但是其實是由瀏覽器解釋才呈現出來的,實質它是一段html 加 js css,如果把網頁比作乙個人,那麼html便是他的骨架,js便是他的肌肉,css便是它的衣服。所以最重要的部分是存在於html中的,...

一些基本的as

flash可以通過幀 按扭 影片剪輯來呼叫外部檔案。呼叫的外部檔案包括 外部文字檔案 外部程式檔案 外部 swf檔案 外部檔案 外部 檔案 外部指令碼檔案。一.呼叫外部文字檔案 文字檔案開頭要以flash中的動態文字框的變數名開頭,如 msg 這樣的形式,要和編輯的flash檔案放在同一目錄下 1....