Python 爬蟲基礎十一(POST請求百度翻譯)

2022-10-11 09:30:12 字數 1359 閱讀 3586

一、post請求資料流程

按 f12 開啟控制台,依次點選 network > xhr(此為非同步載入的網路資料報),再點選左側 url 鏈結,在右側的 payload和preview 欄能夠看到對響應內容的預覽資訊,其中包含使用者輸入的內容,故此 url 是我們需要的。

確定了url資訊,點選 headers 欄,檢視整個請求資訊

整體邏輯是:使用者在頁面輸入文字資訊後,程式會生成對應的表單資料(payload 欄中的 form data),用其資料和 headers 資訊(headers 欄中 request headers)向 url(headers 欄中 general 裡的 request url) 發起 post 請求,服務端響應並返回資料(preview 欄中資訊)。

例項一:

#post請求   https://

'#請求頭複製過來

headers =

#宣告需要查什麼單詞語句

q = input('

請輸入要查詢的單詞:')

data =

# post請求的引數 必須要進行編碼

data = urllib.parse.urlencode(data).encode('

utf-8')

# post的請求的引數 是不會拼接在url的後面的 而是需要放在請求物件定製的引數中

# post請求的引數 必須要進行編碼

request = urllib.request.request(url=url,data=data,headers=headers)

# 模擬瀏覽器向伺服器傳送請求

response =urllib.request.urlopen(request)

# 獲取響應的資料

content = response.read().decode('

utf-8')

# 字串--》json物件

Python 十一 原生爬蟲

一 分析抓取目的確定抓取頁面 爬取主播人氣排行 二 整理爬蟲常規思路 爬蟲前奏 明確目的 找到資料對應的網頁 分析網頁的結構找到資料所在的標籤位置 模擬 http 請求,向伺服器傳送這個請求,獲取到伺服器返回給我們的html 用正規表示式提取我們要的資料 名字,人數 三 vscode中除錯 f5 啟...

Python 十一 原生爬蟲

一 分析抓取目的確定抓取頁面 爬取主播人氣排行 二 整理爬蟲常規思路 爬蟲前奏 明確目的 找到資料對應的網頁 分析網頁的結構找到資料所在的標籤位置 模擬 http 請求,向伺服器傳送這個請求,獲取到伺服器返回給我們的html 用正規表示式提取我們要的資料 名字,人數 三 vscode中除錯 f5 啟...

python爬蟲基礎

一 什麼是爬蟲 通常爬蟲是從某個 的某個頁面開始,爬取這個頁面的內容,找到網頁中的其他鏈結位址,然後從這個位址爬到下乙個頁面,這樣一直不停的爬下去,進去批量的抓取資訊。那麼,我們可以看出網路爬蟲就是乙個不停爬取網頁抓取資訊的程式。二 爬蟲的基本流程 1,發起請求 向目標站點傳送乙個requests請...