爬蟲之requests庫的使用

響應物件的屬性:

# 獲取響應物件中的內容是str格式

text
# 獲取響應物件中的內容是二進位制格式的
content
# 獲取響應狀態碼
status_code
# 獲取響應頭資訊
headers
# 獲取請求的url
url

import

requests
url = "
"#獲得乙個響應物件
response = requests.get(url=url)
#呼叫響應物件中的text屬性獲取請求結果為字串形式
print(response.text)

import

requests
url = "
周杰倫"#
requests模組可以自動將url中的漢字進行轉碼
response =requests.get(url).text
with open(
"./zhou.html
","w
",encoding="
utf-8
") as fp:
fp.write(response)

將引數以字典的形式傳給params引數

import

requests
choice = input("
請輸入搜尋條件》:
").strip()
params =
#周杰倫
url = "
"#帶引數的get請求
response =requests.get(url,params)
#獲取響應狀態碼
response.status_code

import

requests
choice = input("
請輸入搜尋條件》:
").strip()
params =
#周杰倫
url = "
"#封裝請求頭資訊
headers =
#帶引數的get請求
response = requests.get(url,params,headers=headers)
#獲取響應狀態碼
response.status_code

開發者抓包工具抓取post請求的登入資訊

## 抓取豆瓣影評###

import

json

import

requests

#url = ""

#獲取ajax的請求**(基於ajax的get請求)

url = '

'#自定義請求頭

headers =

#構建請求引數

params =

#請求目標url

response = requests.get(url=url,params=params,headers=headers)

#拿到響應資料,json格式的字串

json_str =response.text

#對響應資料反序列化得到字典

code =json.loads(json_str)

#在字典中取出想要的資料

for dic in code["

subjects"]:

rate = dic["

rate"]

title = dic["

title"]

print(title,rate)

#

## 抓取肯德基餐廳位置資訊###
import
json
import
requests
url = '
'data =
headers =
response = requests.post(url=url,data=data,headers=headers)
response.text

# www.goubanjia.com

# 快**

# 西祠**

url = "ip"

prox =

# 引數proxies

response = requests.get(url=url,proxies=prox).text

with open("./daili.html","w",encoding="utf-8") as fp:

fp.write(response)

爬蟲之Requests庫

處理cookie 雖然python的標準庫中urllib模組已經包含我們平常使用的大多數功能，但是它的api使用起來讓人感覺不太好，而requests使用起來更加方便 利用pip 可以非常方便安裝 pip install requests最簡單的傳送get請求的方式就是通過requests.get呼...

Python爬蟲之Requests庫

所謂爬蟲就是模擬客戶端傳送網路請求，獲取網路響應，並按照一定的規則解析獲取的資料並儲存的程式。要說 python 的爬蟲必然繞不過 requests 庫。對於 requests 庫，官方文件是這麼說的 requests 唯一的乙個非轉基因的 python http 庫，人類可以安全享用。警告 非專業...

python爬蟲之requests庫

在python爬蟲中,要想獲取url的原網頁,就要用到眾所周知的強大好用的requests庫,在2018年python文件年度總結中,requests庫使用率排行第一,接下來就開始簡單的使用requests庫吧.在window環境下,推薦是用pip進行安裝,因為便捷而且不用考慮檔案的解壓路徑 pip...