爬蟲 發起請求獲得響應的方式有兩種

2021-09-02 17:39:07 字數 3096 閱讀 6706

from urllib import request


url = ""


headers = 


#建立乙個request物件


request1 = request.request(url=url, headers=headers)


#傳送請求，返回乙個response物件


response = request.urlopen(request1)


print(response)


#用read()讀出這個response是乙個二進位制檔案


print(response.read())


print(type(response.read()))
如果是post請求 ，就在request物件裡面再加引數（字典）。

如果就是乙個url，沒有headers可以不寫請求物件。

1.urlparse

urlparse()把url拆分為6個部分：，並且以元組形式返回。
2.quote和unquote
# 編碼（加密成url可以訪問格式）


print(parse.quote(word))


# 解碼


print(parse.unquote(parse.quote(word)))
編碼、解碼

3.urlencode

from urllib import parse


url = "/s?"


params = 


# 普通的方法將其轉化成可以訪問的url


for key, value in params.items():


print(key)


print(parse.quote(value))


params_str1 = key + "=" + parse.quote(value)


print(params_str1)


url1 = url + params_str1


print(url1)


# 用parse中的urlencode方法將其轉化成可以訪問的url


params_str2 = parse.urlencode(params)


print(params_str2)


url2 = url + params_str2


print(url2)
給乙個字典，將字典拼接為query_string,並且實現了編碼的功能

1.urlopen

from urllib import request


url = "/s?wd=%e4%b8%ad%e5%9b%bd"


# 傳送請求


response = request.urlopen(url)


# http物件


print(response)
傳送請求

2.urlretrieve

from urllib import request


url = ""


# 用read複寫乙個檔案


response = request.urlopen(url)


with open("gu.jpeg", mode="wb") as file:


file.write(response.read())


request.urlretrieve(url=url, filename="dian.jpeg")
url = "/s?wd=%e4%b8%ad%e5%9b%bd"


# 傳送請求


response = request.urlopen(url)


# http物件


print(response)


#獲取真實的路徑


print(response.geturl())


#獲取請求頭，返回列表裡面有元祖


print(response.getheaders())


#獲取狀態碼


print(response.getcode())


#按行讀取，返回列表，都是位元組型別


print(response.readlines())
import requests


url = ""


# 傳送請求,返回乙個response物件


response1 = requests.get(url=url，headers=headers，data=data)


print(response1)


print(type(response1))


# 讀出響應裡面的內容,返回str型別


a = response1.text


print(a)


print(type(a))


# 讀出響應裡面的內容,返回二進位制型別


b = response1.content


print(b)


print(type(b))


# 讀出響應的狀態碼,返回int型別


c = response1.status_code


print(c)


print(type(c))


# 讀出請求頭的資訊


d = response1.request.headers


print(d)


print(type(d))


# 讀出響應頭的資訊


e = response1.headers


print(e)


print(type(e))


# 讀出請求時的cookie


f = response1.request.cookies


print(f)


print(type(f))


# 讀出響應是的cookie


g = response1.cookies


print(g)


print(type(g))
requests 提供了乙個叫做session類，來實現客戶端和服務端的會話保持

會話保持有兩個內涵：

使用方法

session = requests.session()


response = session.get(url,headers)

uniapp發起請求兩種方式

uni.request 請求成功後返回 success res 2.this.axios this.axios then function res catch function error this.api thi s.api，this.api，th is.axios要在main.js當中註冊為全域...

http 協議的請求方式及響應碼

客戶方錯誤 100 繼續 101 交換協議 成功 200 ok 201 已建立 202 接收 203 非認證資訊 204 無內容 205 重置內容 206 部分內容 重定向 300 多路選擇 301 永久轉移 302 暫時轉移 303 參見其它 304 未修改 not modified 305 使用...

修煉js 8 發起http請求的方式

近兩天在公司寫登入的時候發現我居然快忘記fetch請求和原生實現請求的方式了，估計是太久沒看了荒廢了，在此記錄一下發起http請求的方式，方便後續自己檢視。雖然我們在真實的專案開發中很少用到原生ajax但是我們還是需要知道如何編寫原生ajax。jquery ajax 終究還是老了，它隨著jquery...