requests模組的基本使用

requests模組的作用是什麼?

requests模組的環境安裝:

requests模組的編碼流程:

import requests

# 1.指定url
url = ''
# 2.請求傳送get:get返回值是乙個相應物件
response = requests.get(url=url)
# 3.獲取響應資料(在響應物件裡)
page_text = response.text#返回的是字串形式的響應資料
# 4.持久化儲存
with open('sogou.html','w',encoding='utf-8') as fp:
fp.write(page_text)

import requests

# 讓url攜帶的引數動態化
url='web'
# 實現引數動態化
wd = input('enter a key:')
params = 
# 在請求中需要將請求引數對應的字典作用到get方法中的parmas引數中
response = requests.get(url=url,params=params)
page_text = response.text
filename = wd+'.html'
with open(filename,'w',encoding='utf-8') as fp:
fp.write(page_text)

解決亂碼

response.encoding = 'utf-8' #修改響應資料的編碼格式

headers = 

# 修改請求引數中headers 
response = requests.get(url=url,params=params,headers=headers)

分析

import requests

headers = 
url = ''      # 抓包xhr獲取到ajax請求的url
start = input('您想從第幾部電影開始獲取:')
limit = input('你想獲取多少電影的資料:')
params_dic = 
response = requests.get(url=url,headers=headers,params=params_dic)
page_text = response.json() #json方法返回的是反序列化好的例項物件
for dic in page_text:
print(dic['title'] + ':' + dic['score'])

import requests

headers = 
url = ''
keyword = input('請輸入餐廳關鍵字:')
for page in range(1,5):
data = 
response = requests.post(url=url, headers=headers, data=data)
print(response.json())

- 基於抓包工具實現

- 先捕獲**請求後的所有資料報
- 在資料報中定位到位址列所對應請求的資料報,在response選項卡中進行區域性搜尋
- 可以搜尋到則為非動態,反之為動態載入的
- 如何定位動態載入的資料在哪個資料報? 
- 進行全域性搜尋

requests模組的基本使用

requests的基本使用 1 request模組的基本使用 import requests 傳送http請求 get,post等請求其實本質就是呼叫request函式 ret requests.get print ret.status code 響應狀態碼 print ret.text 響應體，轉...

requests模組的使用

寫在前面的話 在學習爬蟲入門時，會常用到requests模組，熟悉這個模組的使用需要熟悉http，https 及瀏覽器的請求原理。初次接觸爬蟲時了解下，掌握瀏覽器的請求過程和爬蟲的本質，學起來就輕鬆多啦。get response requests.get url,headers headers ge...

Requests模組的使用

requests 是用python語言編寫，基於 urllib，採用 apache2 licensed 開源協議的 http 庫。它比 urllib 更加方便，可以節約我們大量的工作，完全滿足 http 測試需求。requests 的哲學是以 pep 20 的習語為中心開發的，所以它比 urllib...