python爬蟲筆記（一）requests基本使用

2021-09-27 02:48:40 字數 2790 閱讀 3811

requests是乙個功能強大、簡單易用的 http 請求庫,建議爬蟲使用requests。

requests.get(url=url,params=none,headers=none,proxies=none,cookies=none,auth=none,verify=none,timeout=none)

該方法用於向目標**傳送請求，接收響應。該方法返回乙個response 物件，其常用的屬性和方法列舉如下

esponse.status_code：返回響應的狀態碼

response.encoding：返回響應的編碼方式

response.cookies：返回響應的 cookie 資訊

response.headers：返回響應頭

response.content：返回 bytes 型別的響應體

response.text：返回 str 型別的響應體，相當於response.content.decode(『utf-8』)response.json()：返回 dict 型別的響應體，相當於json.loads(response.text)

>>> import requests


>>> response = requests.get('')


>>> type(response)


# >>> print(response.url) # 返回請求**的 url


# >>> print(response.status_code) # 返回響應的狀態碼


# 200


>>> print(response.encoding) # 返回響應的編碼方式


# none


>>> print(response.cookies) # 返回響應的 cookie 資訊


# >>> print(response.headers) # 返回響應頭


>>> type(response.content) # 返回 bytes 型別的響應體


# >>> type(response.text) # 返回 str 型別的響應體


# >>> type(response.json()) # 返回 dict 型別的響應體


#
該方法的引數說明如下：

>>> import requests


>>> url = ''


>>> params = 


>>> response = requests.get(url=url,params=params)


>>> print(response.text)


# , 


#   "headers": , 


#   "origin": "110.64.88.141", 


#   "url": "?key1=value1&key2=value2"


# }
>>> import requests


>>> url = ''


>>> headers = 


>>> response = requests.get(url=url,headers=headers)


>>> print(response.text)


# # }
>>> import requests


>>> url = ''


>>> proxies = 


>>> response = requests.get(url=url,proxies=proxies)


>>> print(response.text)


#
>>> import requests


>>> url = ''


>>> cookies = 


>>> response = requests.get(url=url,cookies=cookies)


>>> print(response.text)


# # }
>>> import requests


>>> url = ''


>>> auth = ('user','password')


>>> response = requests.get(url=url,auth=auth)


>>> print(response.text)


#
>>> import requests


>>> response = requests.get(url='',verify=false)
但是在這種情況下，一般會出現 warning 提示，因為 python 希望我們能夠使用證書驗證。如果不希望看到 warning 資訊，可以使用以下命令消除。

>>> requests.packages.urllib3.disable_warnings()
exceptions 是 requests 中負責異常處理的模組，包含下面常見的異常類：

>>> import requests


>>> try:


response = requests.get('', timeout=0.1)


except requests.exceptions.requestexception as e:


if isinstance(e,requests.exceptions.timeout):


print("time out"）


#  time out

python學習筆記 flask之request

from flask import request coding utf 8 from flask import flask,request def index 訪問上面定義的路徑就是訪問此方法 請求行 print request.method request.method 獲取請求方法 print...

筆記整理 python開發介面測試requests

python開發介面測試 作用python語言實現web api介面測試，常用下面的庫 內建庫 httplib,urllib2 第三方庫 requests python requests庫 特點 簡便易用，功能強大，姐姐我喜歡用這個。請求引數 requests.get url,params xx,h...

Python爬蟲筆記 一 爬蟲基本入門

最近在做乙個專案，這個專案需要使用網路爬蟲從特定 上爬取資料，於是乎，我打算寫乙個爬蟲系列的文章，與大家分享如何編寫乙個爬蟲。這是這個專案的第一篇文章，這次就簡單介紹一下python爬蟲，後面根據專案進展會持續更新。一 何謂網路爬蟲 網路爬蟲的概念其實不難理解，大家可以將網際網路理解為一張巨大無比的...