get請求型別:
**總覽
import requests
url =
"www.***.com"
params =
headers =
verif =
true
proxies =
auth =
("username"
,"password"
)timeout =
10r = requests.get(url,params=params,headers=headers,verify=verify,proxies=proxies,auth=auth,timeout=timeout)
r.encoding =
'utf-8'
thedata = r.text
步驟說明1.首先導包
import requests
2.設定目標鏈結
url =
"www.***.com"
3.設定引數,以智聯招聘為例如下:
4.設定請求頭,以知乎為例
headers =
verif =
false
將證書驗證忽略後,輸出的時候會出現證書驗證的警告,可使用logging包將警告忽略:
import logging
logging.capturewarnings(
true
)
6.設定**ip
proxies =
7.身份驗證,使用auth設定使用者名稱和密碼來自動完成認證
auth =
("username"
,"password"
)
8.設定延時函式
timeout =
10
9.發起請求
r = requests.get(url,params=params,headers=headers,verify=verify,proxies=proxies,auth=auth,timeout=timeout)
10.將獲得的資料轉碼,並轉為字串
r.encoding =
'utf-8'
thedata = r.text
post請求型別
import requests
r = requests.post(
"www.***.com"
)print
(r.text)
Python爬蟲 requests庫的基本使用
一 基本認識 1 傳送乙個get請求 import requests if name main 獲取乙個get請求 response requests.get 2 關於獲取請求到資料常見的返回值 import requests if name main 獲取乙個get請求 response requ...
python網路爬蟲之requests庫
import requests1 requests庫有兩個物件,request物件和response物件,下表是response物件的屬性 屬性說明 r.status code http請求的返回狀態,200表示連線成功,404表示失敗 r.text http響應內容的字串形式,即,url對應的頁面...
網路爬蟲之Requests庫入門
requests庫是python中用於網路爬蟲的較為簡單的庫。其中語法格式如下 r requests.get url,params none kwargs 1 構造乙個向伺服器請求資源的request物件,包含爬蟲返回的去不得內容 2 返回乙個包含伺服器資源的response物件 url 你獲取頁面...