網路爬蟲（requests基本使用）

2021-09-28 14:23:16 字數 1645 閱讀 5486

get請求型別：

**總覽

import requests


url =


"www.***.com"


params =


headers =


verif =


true


proxies =


auth =


("username"


,"password"


)timeout =


10r = requests.get(url,params=params,headers=headers,verify=verify,proxies=proxies,auth=auth,timeout=timeout)


r.encoding =


'utf-8'


thedata = r.text
步驟說明1.首先導包

import requests
2.設定目標鏈結

url =


"www.***.com"
3.設定引數，以智聯招聘為例如下：

4.設定請求頭，以知乎為例

headers =


verif =


false
將證書驗證忽略後，輸出的時候會出現證書驗證的警告，可使用logging包將警告忽略：

import logging


logging.capturewarnings(


true


)
6.設定**ip

proxies =
7.身份驗證，使用auth設定使用者名稱和密碼來自動完成認證

auth =


("username"


,"password"


)
8.設定延時函式

timeout =


10
9.發起請求

r = requests.get(url,params=params,headers=headers,verify=verify,proxies=proxies,auth=auth,timeout=timeout)
10.將獲得的資料轉碼,並轉為字串

r.encoding =


'utf-8'


thedata = r.text
post請求型別

import requests


r = requests.post(


"www.***.com"


)print


(r.text)

Python爬蟲 requests庫的基本使用

一 基本認識 1 傳送乙個get請求 import requests if name main 獲取乙個get請求 response requests.get 2 關於獲取請求到資料常見的返回值 import requests if name main 獲取乙個get請求 response requ...

python網路爬蟲之requests庫

import requests1 requests庫有兩個物件，request物件和response物件，下表是response物件的屬性 屬性說明 r.status code http請求的返回狀態，200表示連線成功，404表示失敗 r.text http響應內容的字串形式，即，url對應的頁面...

網路爬蟲之Requests庫入門

requests庫是python中用於網路爬蟲的較為簡單的庫。其中語法格式如下 r requests.get url,params none kwargs 1 構造乙個向伺服器請求資源的request物件，包含爬蟲返回的去不得內容 2 返回乙個包含伺服器資源的response物件 url 你獲取頁面...