爬蟲入門 Requests庫

首先用管理員許可權開啟cmd命令列，然後直接輸入

pip install requests，即可安裝成功(需要聯網)

作用requests.request()

構造乙個請求，它是支撐以下方法的基礎方法

requests.get()

獲取html網頁的主要方法，請求獲取url位置的資源

requests.head()

獲取html網頁頭資訊的方法，請求獲取url位置資源的響應資訊報告，即獲得該資源的頭部資訊

requests.post()

向html網頁提交post請求的方法，請求向url位置的資源後附加新的資料

requests.put()

向html網頁提交put請求的方法，請求向url位置儲存乙個資源，覆蓋原url位置的資源

request.patch()

向html網頁提交區域性修改請求，請求區域性更新url位置的資源，即改變該處資源的部分內容

request.delete()

向html網頁提交刪除請求，請求刪除url位置儲存的資源

3.1 最常用方法-get()

上表中的幾個方法是requests庫中最主要的幾個方法，而最長用的莫過於get()方法了，它用來構造乙個向伺服器請求資源的物件requests,然後返回乙個包含伺服器資源的response物件，這個response物件包含伺服器返回的所有資訊，get()方法是我們用來獲取想要得到的網頁資訊的基礎，它的函式形式如下：

requests.get(url,params=none,**kwargs)

3.2 response物件的常用屬性

屬性說明

status_code

http請求的返回狀態，200代表成功

text

http響應的字串形式，即url對應的頁面內容

encoding

當前使用的解碼方式，預設從http header中猜測的響應內容編碼方式

從內容中分析出的響應內容編碼方式

content

http響應內容的二進位制形式

raise_for_status()

判斷伺服器響應狀態，如果不是200，則產生異常

3.3 requests庫主要方法解析

標準形式 :requests.request(method,url,**kwargs)

作用method

get()、post()等幾種請求方式

url將要訪問的網路頁面鏈結

params

字典或位元組序列，作為引數增加到url中

data

字典、位元組序列或檔案物件，作為request的內容

json

json格式的資料，作為request的內容

headers

字典，http定製頭

cookies

字典或cookiejar，request中的cookie

auth

元組，支援http認證功能

files

字典型別，傳輸檔案

timeout

設定超時時間，以秒為單位

proxies

字典型別，設定訪問**伺服器，可以增加登入認證

allow_redirects

true/false，預設為true，重定向開關

stream

verify

ture/false，預設為true，認證ssl證書開關

cert

本地ssl證書路徑

3.4.1 引數使用示例

>

>
>
import
requests

#params引數

=ning

#data引數

>
>
>kv=
>
>
>
response
=requests
.request
('post'
,'',data=kv
)>
>
>
name
='changkangning'
>
>
>
response
=requests
.request
('post'
,'',data
=name
)

#json引數

>
>
>kv=
>
>
>
response
=requests
.request
('post'
,'',json=kv
)

#headers引數

>
>
>
headers
=>
>
>
response
=requests
.request
('post'
,'',headers
=headers
)

#files引數

>
>
>
files
=>
>
>
response
=requests
.request
('post'
,'',files
=files
)

#proxies引數

>
>
>
proxies
=>
>
>
response
=requests
.request
('get'
,'',proxies
=proxies
)

Python 爬蟲 Requests庫入門

headers 字典，http定製頭 hd r requests.request post headers hd timeout 設定超時時間，秒為單位 r requests.request get timeout 10 proxies 字典型別，設定訪問 伺服器，可以增加登入認證 pxs r re...

爬蟲基礎之Requests庫入門

import requests r requests.get r.status code r.encoding utf 8 r.text方法 說明requests.request 構造乙個請求，支援以下各方法的基礎方法 requests.get 獲取html網頁的主要方法，對應http的get re...

爬蟲 Requests 庫的入門學習

此為北理嵩天老師mooc課程 網路爬蟲與資訊提取 的課程學習筆記，附帶一些其他書籍部落格的資料。使用命令列輸入 pip install requests或者 python m pip install requests方法名稱 說明requests.request 最基礎的，構造請求，支撐其他方法的使...