如果遇到會對請求頭進行審查的**,他的status_code會為非200,這時候想要正常爬取,需要新建鍵值對kv = ,並在requests.get()裡面加上headers = kv
下面是實際**
import requests
url = ""
kv =
try:
r = requests.get(url, headers = kv)
r.raise_for_status()
print(r.text[:1000])
print("爬取成功")
except:
print("爬取失敗")
爬蟲 關於 HTTP 的 OPTIONS 請求
用於獲取目的資源所支援的通訊選項。客戶端可以對特定的 url 使用 options 方法,也可以對整站 通過將 url 設定為 使用該方法 簡單來說,就是可以用 options 請求去嗅探某個請求在對應的伺服器中都支援哪種請求方法 前端一般不會主動發起這個請求,但是通過f12 debug頁面,一般可...
爬蟲學習 http請求詳解
上篇部落格裡面寫了,爬蟲就是發http請求 瀏覽器裡面開啟傳送的都是http請求 然後獲取到response,咱們再從response裡面找到想要的資料,儲存到本地。咱們本章就來說一下什麼是http請求,它裡面都有哪些東西,我們在寫爬蟲的時候,怎麼http請求裡面哪些對我們的爬蟲有影響。咱們開啟乙個...
爬蟲之修改請求頭
由於我是自學爬蟲的第一篇部落格,也許是最後一篇,全看我心情。import requests 匯入requests模組,用來獲取網頁的 url 某 你要爬取的網頁的 try 這個不講了,不懂看前面的python基礎模組。r requests.get url 通過get方法獲取乙個url的respons...