Python爬蟲 requests庫的基本使用

2021-09-03 08:30:30 字數 2128 閱讀 5054

一、基本認識

1、傳送乙個get請求

import requests

if __name__ == "__main__":

# 獲取乙個get請求

response = requests.get('')

2、關於獲取請求到資料常見的返回值

import requests

if __name__ == "__main__":

# 獲取乙個get請求

response = requests.get('')

# 對抓取的**設定編碼

response.encoding = 'utf-8'

# 列印返回的資料

print(response.text)

print(response.json())

print(response.headers)

print(response.status_code)

print(response.url)

print(response.cookies)

print(response.json())

print(response.content)

3、關於其他的請求方式

response = requests.post('')

response = requests.put('')

response = requests.delete('')

response = requests.head('')

response = requests.options('')

二、關於get請求傳遞引數的

1、直接在url位址後面拼接引數

import requests

if __name__ == "__main__":

# 定義乙個請求頭(模擬瀏覽器)

# 設定引數

data =

# 獲取乙個get請求

response = requests.get('?name=june&password=123456', headers=headers)

# 對抓取的**設定編碼

response.encoding = 'utf-8'

print(response.text)

2、使用params傳遞引數

import requests

if __name__ == "__main__":

# 定義乙個請求頭(模擬瀏覽器)

# 設定引數

data =

# 獲取乙個get請求

response = requests.get('', headers=headers, params=data)

# 對抓取的**設定編碼

response.encoding = 'utf-8'

print(response.text)

2、書寫邏輯**

import re

import requests

if __name__ == "__main__":

headers =

# 獲取乙個get請求

response = requests.post('', headers=headers, data=data)

# 對抓取的**設定編碼

response.encoding = 'utf-8'

print(response.text)

六、使用post請求獲取拉勾網職業資訊

import requests

if __name__ == "__main__":

url = ''

headers = {

'referer': ''

data = {

'first': 'true',

'pn': '1',

'kd': 'python',

response = requests.

post(url=url, headers=headers, data=data)

print(response.json())

如有侵權,敬請告知!!!!!

Python爬蟲 Request模組

文章說明了request模組的意義,且強調了request模組使用更加方便。接下來介紹幾種常用的request操作,並且會在後續補充說明一些特定用法。匯入檔案 import requests一 請求 右邊為請求語句,返回值為response回應 r requests.get r requests.p...

python爬蟲利器 request庫

request庫比urllib2庫更為高階,因為其功能更強大,更易於使用。使用該庫可以十分方便我們的抓取。基本請求 r requests.get r requests.post r requests.put r requests.delete r requests.head r requests.o...

爬蟲 python(二)初識request

from urllib.request import urlopen 傳送請求,獲取伺服器給的響應 url response urlopen url 讀取結果,無法正常顯示中文 html response.read 進行解碼操作,轉為utf 8 html decode html.decode 列印結...