requests模組的使用

寫在前面的話：

在學習爬蟲入門時，會常用到requests模組，熟悉這個模組的使用需要熟悉http，https ,及瀏覽器的請求原理。初次接觸爬蟲時了解下，掌握瀏覽器的請求過程和爬蟲的本質，學起來就輕鬆多啦。

# get 

response = requests.get(url, headers=headers)
# get 帶引數
requests.get(url, params=kw , headers=headers)
# post
response = requests.post(url, data=data, headers=headers)

# post  請求頭 請求行  請求體

response = requests.get(url)

response的常用屬性：

response.content

使用requests模組傳送帶headers的請求  ***

headers形式的字典

為什麼請求時要帶上header?

模擬使用者操作，迷惑瀏覽器

用法requests.get(url,headers=headers)

使用requests模組

傳送帶引數的請求   ****

引數的形式：字典

kw =

用法requests.get(url,params=kw)

**：

如果使用https**    引數記得加上verify=false,因為https是一種加密傳輸、身份認證的網路協議

verify=false  表示對證書的有效性不作驗證

使用方法:

# 建立 session例項

# get請求
session = requests.session()
response = session.get(url,headers)
# post請求
session = requests.session()
response = session.post(post_url, data=post_data , headers=headers)

注意：cookie有過期時間

在這個位置放置的cookie以鍵值對的形式，以 ；加乙個空格 隔開

3.1  第一種

cookies =

requests.get(url,headers=headers,cookies=cookie_dict}

字典推導式

>>> 

>>> 

# 準備cookie形式的字典

# cookie_dict = 
cookie_dict = 
response = requests.get(url, headers=headers, cookies=cookie_dict)

3.2    第二種      requests.utils.dict_from_cookiejar:把cookiejar物件轉化為字典

# coding="utf-8"

import requests
url = ""
response = requests.get(url)
print(type(response.cookies))   
---輸出結果如下：   
---# 把cookiejar物件轉化為字典
cookies = requests.utils.dict_from_cookiejar(response.cookies)
print(cookies)
---輸出結果如下：
---

第1種方式：timeout

response = requests.get(url,timeout=3)

第二種方式：retrying 模組的使用 ----比timeout更好用，在**中可以實現重新整理

from retrying import retry

@retry(stop_max_attempt_number=3)   # 最大嘗試連線次數
def _parse_url(url):
"""加上乙個下劃線表示該方法僅能在當前模組內使用"""
# print("-----------")
response = requests.get(url, headers=headers, timeout=3)
assert response.status_code == 200
return response

Requests模組的使用

requests 是用python語言編寫，基於 urllib，採用 apache2 licensed 開源協議的 http 庫。它比 urllib 更加方便，可以節約我們大量的工作，完全滿足 http 測試需求。requests 的哲學是以 pep 20 的習語為中心開發的，所以它比 urllib...

requests模組的簡單使用

簡單來說，requests就是乙個可以模擬傳送請求的庫。安裝方法 pip install requests幫助文件 直接呼叫requests模組的get方法就可以傳送get請求。返回值為乙個response物件 import requests url response requests.get ur...

requests模組的入門使用

requests模組的入門使用 目標掌握requests傳送請求的方法 掌握response物件的基礎屬性 掌握requests傳送帶headers的請求 掌握requests模組傳送帶引數請求 為什麼要重點學習requests模組，而不是urllib requests的底層實現就是urllib r...