輸入命令列:
pip install requests
使用方法
用途介紹
requests.request()
構造乙個請求
requests.get()
獲取html網頁
requests.head()
獲取html網頁頭資訊
requests.post()
向html提交post請求
requests.put()
向html提交put請求
requests.patcht()
向html提交區域性修改
requests.delete()
向html提交刪除請求
主要方法:
# 獲取html頁面
r = requests.get(url)
常用方法:
# 察看狀態碼,若值為200,則訪問成功
r.status_code
# url對應的頁面內容
r.text
# 從http header中猜測出響應內容的編碼方式
r.encoding
# 從內容中分析出響應內容的編碼方式
# http響應內容的二進位制形式
r.content
注意:如果 http header 中不存在 charset ,則 r.encoding 返回值為:iso-8859-1
通常來說,編碼方式為: 』 utf-8 '
異常內容
requests.connectionerror
網路連線錯誤
http錯誤
requests.urlrequired
url缺失
requests.toomany redirects
超出最大重定向次數
requests.connecttimeout
連線遠端伺服器超時
requests.timeout
請求url超時
引數作用
method
請求方法,對於get、put、post七種
url網頁鏈結
params
字典或者位元組序列,作為引數加到url中
data
字典或者位元組序列,作為request的內容
json
json格式資料,作為request內容
headers
字典,http定製頭
cookies
字典或cookiejar,request中的cookie
auth
元組,支援http認證功能
files
字典型別,傳輸檔案
timeout
設定超時時間,s為單位
proxies
字典型別,設定訪問**伺服器,增加登陸認證
allow_redirects
stream
verify
返回ture&false,預設true,認證ssl證書開關
cert
本地ssl證書
import requests
defget_html
(url)
:try
: header =
r = requests.get(url, timeout =
20, headers = header)
r.raise_for_status(
)# 如果狀態不是200,則引發httperror異常
return r.text
except
:print
("訪問異常"
)return
none
Python爬蟲 模擬瀏覽器訪問 Requests
有時候爬蟲需要加入請求頭來偽裝成瀏覽器,以便更好的抓取資料.開啟瀏覽器chrome找到user agent進行複製 headers headers get方法新增請求頭 print res.text 執行結果 requests庫不僅有get 方法,還有post 等方法.post 方法用於提交表單來爬...
python教學筆記 python學習筆記(一)
1.eval 函式 eval是單詞evaluate的縮寫,就是 求.的值的意思。eval 函式的作用是把str轉換成list,dict,tuple.li 1 1,2,3 print eval li 1 di 1 print eval di 1 tu 1 2,4,6 print eval tu 1 執...
python學習筆記
coding utf 8 coding utf 8 應該像八股文一樣在每個指令碼的頭部宣告,這是個忠告 為了解決中文相容問題,同時你應該選擇支援 unicode 編碼的編輯器環境,保證在執行指令碼中的每個漢字都是使用 utf 8 編碼過的。cdays 5 exercise 3.py 求0 100之間...