python爬蟲 requests請求傳送

文件：readthedocs

使用pip安裝即可，如果要在虛擬環境使用，記得先啟用虛擬環境

$ pip install requests

def

get():
response = requests.get(
"")print
(response)

返回的response，有各種屬性，支援的屬性可通過dir檢視

def

get_2()
:    key_word =
headers =
# params ：接收乙個字典或者字串的查詢引數
response = requests.get(
"/s?"
, params=key_word, headers=headers)
print
(response.text)
print
(response.content)
print
(response.url)
print
(response.encoding)
print
(response.status_code)
# 支援的屬性可通過dir檢視
print
(dir
(response)
)# 過濾掉魔法方法：
print
(list
(filter
(lambda x:
not x.startswith(
"__"),
dir(response)))
)

在請求體中的資料傳送，需要通過post方法：

from pprint import pprint

defpost()
:    url =
""headers =
keyword =
# 返回是json檔案，.json()之後變成了python物件，可以對它進行操作：
result = requests.post(url, headers=headers, data=keyword)
.json(
)# pretty print，美化輸出：
pprint(result)

def

proxy()
:# 指定協議型別與**位址
proxies =
response = requests.get(
"", proxies=proxies)
print
(response.text)

def

cookie()
:    response = requests.get(
"")    cookie_jar = response.cookies
cookie_dict = cookie_jar.get_dict(
)# d = requests.utils.dict_from_cookiejar(cookie_jar)
print
(cookie_jar)
print
(cookie_dict)
print
(list
(cookie_jar)
)

def

session()
:"""模擬登入"""
sess = requests.session()	
headers =
# 使用者名稱和密碼
data =
# 向登入介面傳送post請求，帶上使用者名稱和密碼
sess.post(
"", data = data)
# 帶cookie請求需要登入才能訪問的頁面
)

def

ssl_verify()
:"""驗證"""
response1 = requests.get(
"", verify=
true
)"""跳過"""
response2 = requests.get(
"", verify=
false
)print
(response2.text)

Python爬蟲 Request模組

文章說明了request模組的意義，且強調了request模組使用更加方便。接下來介紹幾種常用的request操作，並且會在後續補充說明一些特定用法。匯入檔案 import requests一 請求 右邊為請求語句，返回值為response回應 r requests.get r requests.p...

python爬蟲利器 request庫

request庫比urllib2庫更為高階，因為其功能更強大，更易於使用。使用該庫可以十分方便我們的抓取。基本請求 r requests.get r requests.post r requests.put r requests.delete r requests.head r requests.o...

爬蟲 python（二）初識request

from urllib.request import urlopen 傳送請求，獲取伺服器給的響應 url response urlopen url 讀取結果,無法正常顯示中文 html response.read 進行解碼操作，轉為utf 8 html decode html.decode 列印結...