一、post請求資料流程
按 f12 開啟控制台,依次點選 network > xhr(此為非同步載入的網路資料報),再點選左側 url 鏈結,在右側的 payload和preview 欄能夠看到對響應內容的預覽資訊,其中包含使用者輸入的內容,故此 url 是我們需要的。
確定了url資訊,點選 headers 欄,檢視整個請求資訊
整體邏輯是:使用者在頁面輸入文字資訊後,程式會生成對應的表單資料(payload 欄中的 form data),用其資料和 headers 資訊(headers 欄中 request headers)向 url(headers 欄中 general 裡的 request url) 發起 post 請求,服務端響應並返回資料(preview 欄中資訊)。
例項一:
#post請求 https://'#請求頭複製過來
headers =
#宣告需要查什麼單詞語句
q = input('
請輸入要查詢的單詞:')
data =
# post請求的引數 必須要進行編碼
data = urllib.parse.urlencode(data).encode('
utf-8')
# post的請求的引數 是不會拼接在url的後面的 而是需要放在請求物件定製的引數中
# post請求的引數 必須要進行編碼
request = urllib.request.request(url=url,data=data,headers=headers)
# 模擬瀏覽器向伺服器傳送請求
response =urllib.request.urlopen(request)
# 獲取響應的資料
content = response.read().decode('
utf-8')
# 字串--》json物件
Python 十一 原生爬蟲
一 分析抓取目的確定抓取頁面 爬取主播人氣排行 二 整理爬蟲常規思路 爬蟲前奏 明確目的 找到資料對應的網頁 分析網頁的結構找到資料所在的標籤位置 模擬 http 請求,向伺服器傳送這個請求,獲取到伺服器返回給我們的html 用正規表示式提取我們要的資料 名字,人數 三 vscode中除錯 f5 啟...
Python 十一 原生爬蟲
一 分析抓取目的確定抓取頁面 爬取主播人氣排行 二 整理爬蟲常規思路 爬蟲前奏 明確目的 找到資料對應的網頁 分析網頁的結構找到資料所在的標籤位置 模擬 http 請求,向伺服器傳送這個請求,獲取到伺服器返回給我們的html 用正規表示式提取我們要的資料 名字,人數 三 vscode中除錯 f5 啟...
python爬蟲基礎
一 什麼是爬蟲 通常爬蟲是從某個 的某個頁面開始,爬取這個頁面的內容,找到網頁中的其他鏈結位址,然後從這個位址爬到下乙個頁面,這樣一直不停的爬下去,進去批量的抓取資訊。那麼,我們可以看出網路爬蟲就是乙個不停爬取網頁抓取資訊的程式。二 爬蟲的基本流程 1,發起請求 向目標站點傳送乙個requests請...