python爬蟲 requests庫返回403

2022-04-11 17:55:44 字數 439 閱讀 1655

今天計畫完成多年前的心願,python爬取妹子圖,結果第一步就給我返回了403,經過排查是乙個特別弱智的錯誤,特此記錄,提醒自己怎麼能這麼憨批(手動狗頭)。

import requests

from bs4 import beautifulsoup

kv =

demo = requests.get(

'', headers = kv)

soup = beautifulsoup(demo.content,

'html.parser'

)for url in soup.find_all(

'a', target =

true):

print

(url)

問題原因,沒有設定headers請求頭,被伺服器攔截,一般情況下設定user-agent即可。

Python爬蟲 Request模組

文章說明了request模組的意義,且強調了request模組使用更加方便。接下來介紹幾種常用的request操作,並且會在後續補充說明一些特定用法。匯入檔案 import requests一 請求 右邊為請求語句,返回值為response回應 r requests.get r requests.p...

python爬蟲利器 request庫

request庫比urllib2庫更為高階,因為其功能更強大,更易於使用。使用該庫可以十分方便我們的抓取。基本請求 r requests.get r requests.post r requests.put r requests.delete r requests.head r requests.o...

爬蟲 python(二)初識request

from urllib.request import urlopen 傳送請求,獲取伺服器給的響應 url response urlopen url 讀取結果,無法正常顯示中文 html response.read 進行解碼操作,轉為utf 8 html decode html.decode 列印結...