爬蟲之Requests(一)

2021-10-24 01:19:41 字數 1448 閱讀 6966

2、傳送post請求

這裡就直接呼叫requests的get方法就可以,然後得到響應的頁面,

import requests

page_text = requests.get(url)

.text #獲取字串文字

page_text = requests.get(url)

.content #獲取二進位制文字

import requests

headers =

params =

page_text = requests.get(url=url, headers= headers, params= params)

2、如果需要攜帶cookies的話,可以直接在headers中新增cookie屬性,或者使用以下**。

c = requests.cookies.requestscookiejar()c.

set(

'cookie-name'

,'cookie-value'

, path=

'/', domain=

'.abc.com'

)s.cookies.update(c)

3、當然也可以使用requests.session()函式,直接使用session來傳送get請求,可以自動攜帶當前**的cookie

import requests

headers =

session = requests.session(

)page_text = session.get(url, headers )

url =

''param =

headers =

response = requests.get(url=url,params=param,headers=headers)

list_data = response.json(

)#list_data儲存資料

print

(list_data)

import requests

import json

post_url =

''headers =

word =

input

('enter a word:'

) data =

response = requests.post(url=post_url,data=data,headers=headers)

dic_obj = response.json(

)print

(dic_obj )

本專案github

爬蟲之Requests庫

處理cookie 雖然python的標準庫中urllib模組已經包含我們平常使用的大多數功能,但是它的api使用起來讓人感覺不太好,而requests使用起來更加方便 利用pip 可以非常方便安裝 pip install requests最簡單的傳送get請求的方式就是通過requests.get呼...

爬蟲之requests模組

requests 唯一的乙個非轉基因的 python http 庫,人類可以安全享用。警告 非專業使用其他 http 庫會導致危險的 包括 安全缺陷症 冗餘 症 重新發明輪子症 啃文件症 抑鬱 頭疼 甚至死亡。今日概要 知識點回顧 為什麼要使用requests模組 使用requests模組 如何使用...

爬蟲之requests模組

pip install requests import requests ret requests.get url 原函式 get url,params none,kwargs ret.encoding utf 8 指定解析資料是使用的編碼格式 print ret.content 響應的資料,byt...