今天計畫完成多年前的心願,python爬取妹子圖,結果第一步就給我返回了403,經過排查是乙個特別弱智的錯誤,特此記錄,提醒自己怎麼能這麼憨批(手動狗頭)。
import requests
from bs4 import beautifulsoup
kv =
demo = requests.get(
'', headers = kv)
soup = beautifulsoup(demo.content,
'html.parser'
)for url in soup.find_all(
'a', target =
true):
print
(url)
問題原因,沒有設定headers請求頭,被伺服器攔截,一般情況下設定user-agent即可。 Python爬蟲 Request模組
文章說明了request模組的意義,且強調了request模組使用更加方便。接下來介紹幾種常用的request操作,並且會在後續補充說明一些特定用法。匯入檔案 import requests一 請求 右邊為請求語句,返回值為response回應 r requests.get r requests.p...
python爬蟲利器 request庫
request庫比urllib2庫更為高階,因為其功能更強大,更易於使用。使用該庫可以十分方便我們的抓取。基本請求 r requests.get r requests.post r requests.put r requests.delete r requests.head r requests.o...
爬蟲 python(二)初識request
from urllib.request import urlopen 傳送請求,獲取伺服器給的響應 url response urlopen url 讀取結果,無法正常顯示中文 html response.read 進行解碼操作,轉為utf 8 html decode html.decode 列印結...