requests模組的簡單使用

簡單來說，requests就是乙個可以模擬傳送請求的庫。

安裝方法：

pip install requests

直接呼叫requests模組的get方法就可以傳送get請求。返回值為乙個response物件

import requests

url =
''response = requests.get(url)
print
(response)
#

content：響應內容，為位元組型別可使用decode('utf-8')來轉化為指定編碼的字串

text：由python自動猜測的編碼，型別為字串

json()：用於返回值為json的情況，型別為字典型別。使用此函式就不用再使用第三方的json解析器

headers：響應頭

request：該響應的請求物件

傳送請求函式get引數解釋：

headers：自定義請求頭

cookies：設定請求的cookie，也可以在請求頭中新增cookie欄位

自動儲存cookie：當我們有時候發請求的時候需要用到上乙個請求返回的cookie的時候，我們可以在傳送請求的時候以引數的形式帶上cookie，也可以使用session物件：

res = requests.get(url1)

res2 = requests.get(url2, cookies=res.cookies)

res = requests.get(url1)

session = requests.session(
)session.get(url2)

requests.exceptions.sslerror:

("bad handshake: error([('ssl routines', 'tls_process_server_certificate', 'certificate verify failed')],)"
,)

requests.post(url, data=form_data, verify=

false
)

requests模組提供自動轉義功能，我們在url或者引數中書寫的中文都會自動轉義，例如爬蟲

在get請求中，引數可以直接在url後面，也可以只用params引數來傳遞

post請求可以使用data（字典型別）引數，也可以使用json（字串型別）引數

示例**：

import requests

# 自定義請求頭
headers =
# 設定** ，獲取**ip：
proxies =
# get請求引數，中文自動轉義
params =
# post請求引數，使用data傳遞的時候，引數型別為字典型別；使用json的時候，引數為字串型別
form_data =
form_json =
""url =
''response = requests.get(url=url, headers=headers, params=params, proxies=proxies)
# 使用session儲存cookies
session = requests.session(
)session.post(url, data=form_data, json=form_json, verify=
false
)# python猜測編碼之後的字串
print
(response.text)
# 請求返回的內容，為位元組型別，可呼叫decode('utf-8')方法來轉換為字串
print
(response.content)
# 請求頭
print
(response.request.headers)
# 響應頭
print
(response.headers)
# 狀態碼
print
(response.status_code)
# 請求的cookie
print
(response.request._cookies)
# 響應的cookie
print
(response.cookies)
# 請求的url
print
(response.url)

使用requests模組進行簡單爬蟲

我最近在學習python爬蟲相關的內容，打算學一點寫一點，一邊總結一邊學習。使用requests模組可以對一些缺乏反爬蟲限制的 進行爬取。本次爬取的是貓眼的電影排行，利用url中offset的設定即可爬取前十頁每一頁的html 再通過re模組使用正規表示式提取網頁中我們需要的成分，然後將這些成分以字...

使用requests模組簡單獲取資料

1 1 2 url 3 2.4 response requests.get url url 5 3.6 page text response.text7 4.8 with open sogou.html w encoding utf 8 as fp 9 fp.write page text 1 im...

requests模組的使用

寫在前面的話 在學習爬蟲入門時，會常用到requests模組，熟悉這個模組的使用需要熟悉http，https 及瀏覽器的請求原理。初次接觸爬蟲時了解下，掌握瀏覽器的請求過程和爬蟲的本質，學起來就輕鬆多啦。get response requests.get url,headers headers ge...