修改爬蟲的HTTP請求

2021-08-10 17:48:44 字數 358 閱讀 9417

如果遇到會對請求頭進行審查的**,他的status_code會為非200,這時候想要正常爬取,需要新建鍵值對kv = ,並在requests.get()裡面加上headers = kv

下面是實際**

import requests

url = ""

kv =

try:

r = requests.get(url, headers = kv)

r.raise_for_status()

print(r.text[:1000])

print("爬取成功")

except:

print("爬取失敗")

爬蟲 關於 HTTP 的 OPTIONS 請求

用於獲取目的資源所支援的通訊選項。客戶端可以對特定的 url 使用 options 方法,也可以對整站 通過將 url 設定為 使用該方法 簡單來說,就是可以用 options 請求去嗅探某個請求在對應的伺服器中都支援哪種請求方法 前端一般不會主動發起這個請求,但是通過f12 debug頁面,一般可...

爬蟲學習 http請求詳解

上篇部落格裡面寫了,爬蟲就是發http請求 瀏覽器裡面開啟傳送的都是http請求 然後獲取到response,咱們再從response裡面找到想要的資料,儲存到本地。咱們本章就來說一下什麼是http請求,它裡面都有哪些東西,我們在寫爬蟲的時候,怎麼http請求裡面哪些對我們的爬蟲有影響。咱們開啟乙個...

爬蟲之修改請求頭

由於我是自學爬蟲的第一篇部落格,也許是最後一篇,全看我心情。import requests 匯入requests模組,用來獲取網頁的 url 某 你要爬取的網頁的 try 這個不講了,不懂看前面的python基礎模組。r requests.get url 通過get方法獲取乙個url的respons...