requests庫是能夠處理獲取url(**鏈結)中的資訊的乙個第三方庫
一、requests安裝:
windows進入cmd命令列:pip install requests
我們可以開啟idle來檢視是否成功的安裝。
沒有提示錯誤資訊表示我們已經成功地安裝好了requests庫
二、requests下的主要方法:
requests.requests() 構造乙個請求,支撐以下的各種方法的基礎方法
requests.get() 獲取html網頁的主要方法,對應於http的get
requests.head() 獲取html網頁頭資訊的主要方法,對應於http的head
requests.post() 向html網頁提交post請求的方法,對應於http的post
requests.put() 向html網頁提交put請求的方法,對應於http的put
requests.patch() 向html網頁提交區域性修改請求,對應於http的patch (節省頻寬)
requests.delete() 向html網頁提交刪除請求,對應於http的delete
四、requests異常處理
requests.connectionerror 網路連線異常,如dns查詢失敗、拒絕連線等
requests.httperror http錯誤異常
requests.urlrequired url缺失異常
requests.toomanyredirects 超過最大重定向次數、產生的重定向異常
requests.connecttimeout 連線伺服器超時異常
requests.timeout 請求url超時異常
為什麼要有這麼多的異常處理,那是因為有些**是不能夠被訪問
一般的原因有下面兩種:
對於第一種方法我們不太好解決,因為技術有限,但是如果只是因為robots協議的話我們是可以修改一定的引數來繞過robots協議的。
對requests庫的介紹到此為止,希望能對大家有幫助。
python 爬蟲之requests筆記
準備工作 安裝好pycharm,requests庫 requests 爬蟲程式 模板 import requests defgethtmttext url try r requests.get url,timeout 30 r.raise for status 如果狀態不是200,引發httperr...
天蛛爬蟲學習筆記 Requests爬蟲例項
定義乙個爬蟲的通用框架 import requests defgethtmltext url 爬蟲通用框架,try 捕捉到錯誤後會執行except的語句 r requests.get url r.raise for status 返回值若為200,則表示正常訪問 繼續執行,否則會返回httperro...
python爬蟲筆記(一)requests基本使用
requests是乙個功能強大 簡單易用的 http 請求庫,建議爬蟲使用requests。requests.get url url,params none,headers none,proxies none,cookies none,auth none,verify none,timeout no...