requests模組的使用和資料分類

（一）requests模組簡介

1、response物件

（1）響應正文的亂碼問題解決：

第一種：用response.content.decode(編碼格式）

第二種：先用response.encoding = 編碼格式

在用response.text 就可以解決亂碼

（2）獲取狀態碼：response.status_code

(3)獲取響應頭：response.headers

（4）拼接url方法

import requests

from urllib import parse
'''對於get請求，我們直接也可以將引數完全拼接到url裡面，直接請求url
url**現中文，必須將中文用url編碼進行轉碼才可以.
'''def
main
(kw)
:# 1、確定基礎url
base_url =
''# 2、傳送請求，獲取響應
# 準備引數
# 2.1 headers字典
headers =
# 2.2 params字典
params =
# response = requests.get(base_url, headers=headers, params=params)
# 通過拼接url的形式來進行請求
url_extend = parse.urlencode(params)
# print(url_extend)
full_url = base_url+url_extend
response = requests.get(full_url,headers=headers)
with
open
('sina_news4.html'
,'w'
,encoding=
'gbk'
)as fp:
fp.write(response.text)
if __name__ ==
'__main__'
:    kw =
'春晚'
main(kw)

requests模組的使用

寫在前面的話 在學習爬蟲入門時，會常用到requests模組，熟悉這個模組的使用需要熟悉http，https 及瀏覽器的請求原理。初次接觸爬蟲時了解下，掌握瀏覽器的請求過程和爬蟲的本質，學起來就輕鬆多啦。get response requests.get url,headers headers ge...

Requests模組的使用

requests 是用python語言編寫，基於 urllib，採用 apache2 licensed 開源協議的 http 庫。它比 urllib 更加方便，可以節約我們大量的工作，完全滿足 http 測試需求。requests 的哲學是以 pep 20 的習語為中心開發的，所以它比 urllib...

requests模組的簡單使用

簡單來說，requests就是乙個可以模擬傳送請求的庫。安裝方法 pip install requests幫助文件 直接呼叫requests模組的get方法就可以傳送get請求。返回值為乙個response物件 import requests url response requests.get ur...