windows平台下,以管理員模式執行cmd
方法
說明requests.requests()
構造乙個請求,支撐以下各方法的基礎方法
requests.get()
獲取html網頁的主要方法,對應於http的get
requests.head()
獲取網頁頭資訊的的方法,對應於http的head
requests.post()
向html網頁提交post請求的方法,對應於http的post
requests.put()
向html網頁提交put請求的方法,對應於http的put
requests.patch()
向html網頁提交區域性修改請求,對應於http的的patch
requests.delete()
向html頁碼提交刪除請求,對應於http的的delete
response物件包含伺服器返回的所有資訊,也包含請求的request資訊
屬性說明
r.status_code
http請求的返回狀態,200表示連線成功,404或其他表示失敗
r.text
http響應內容的字串形式,即url對應的頁面內容
r.encoding
從 http header中猜測的響應內容編碼方式
從內容中分析的響應內容編碼的方式(備選編碼方式)
r.content
http響應內容的二進位制形式
理解response的編碼異常
說明requests.connectionerror
網路連線錯誤異常,如dns查詢失敗,拒絕連線等
http錯誤異常
requests.urlrequired
url缺失異常
requests.toomanyredirects
超過最大重定向次數,產生重定向異常
requests.connecttimeout
連線遠端伺服器超時異常
requests.timeout
請求url超時,產生超時異常
r.raise_for_status() :如果不是 200,產生異常reuqests.httperror
r.raise_for_status()在方法內部判斷r.status_code是否等於200,不需要增加額外的if語句,該語句便於利用try-except進行異常處理
import requests
def gethtmltext(url);
try:
r = requests.get(url, timeout=30)
r.raise_for_status() #如果狀態不是200,引發httperror異常
except:
return
"產生異常"
if __name__ == "__main__":
url = ""
print(gethtmltext(url))
http:超文字傳輸協議
http是乙個基於「請求與響應」模式的,無狀態的應用層協議
http協議採用url作為定位網路資源的標識,url格式如下;
http://host[:port][path]方法
說明get
請求獲取url位置的資源
head
請求獲取url位置的響應訊息報告,即獲得該資源的頭部資訊
post
請求向url位置的資源附加新的資料
put請求向url位置儲存乙個資源,覆蓋原url位置的資源
patch
請求區域性更新url位置的資源,即改變該處資源的部分內容
delete
請求刪除url位置儲存的資源
http協議
requests庫方法
功能一致性
getreuqests.get()
一致head
requests.head()
一致post
requests.post()
一致put
requests.put()
一致patch
requests.patch()
一致delete
requests.delete()
一致params : 字典或位元組序列,作為引數增加到url中
import requests
kv =
r=requests.request('get','',params
=kv)
print(r.url)
data :字典,位元組序列或檔案物件,作為request的物件
import requests
kv =
r=requests.request('post','',data
=kv)
json :json格式的資料,作為request的內容
kv=
r=requests.request('post', '',json=kv)
headers :字典,http定製頭
hd=
r=reuqests.request('post', '',headers=hd)
cookies :字典或cookiejar, request中的cookie
auth : 元組,支援http認證功能
files :字典型別,傳輸檔案
fs =
r = requests.request('post','',file=fs)
timeout :設定超時時間,秒為單位
r = requests.request('get','',timeout=10)
proxies :字典型別,設定訪問**伺服器,可以增加登入認證
爬蟲入門 Requests庫
首先用管理員許可權開啟cmd命令列,然後直接輸入 pip install requests,即可安裝成功 需要聯網 方法 作用requests.request 構造乙個請求,它是支撐以下方法的基礎方法 requests.get 獲取html網頁的主要方法,請求獲取url位置的資源 requests....
爬蟲 Requests 庫的入門學習
此為北理嵩天老師mooc課程 網路爬蟲與資訊提取 的課程學習筆記,附帶一些其他書籍部落格的資料。使用命令列輸入 pip install requests或者 python m pip install requests方法名稱 說明requests.request 最基礎的,構造請求,支撐其他方法的使...
簡單的爬蟲入門,requests庫
網路爬蟲,可以認為是 模擬瀏覽器自動瀏覽網頁 99 都是 一段程式,乙個指令碼 自動批量採集我們需要的各種資源 文字 主要方法 requests.request 構造乙個請求,支撐一下各方法的基礎方法 requests.get 獲取html網頁的主要方法,對應於http中的get requests....