python爬蟲之偽裝User Agent

2021-08-22 08:41:17 字數 975 閱讀 7940

因為爬蟲的需要，所以需要多個user-agent，之前一直也是這樣用的，後來接觸到了fake_useragent這個包後，一切都變得那麼簡單簡單了，fake_useragent是乙個整合了市面上大部分的user-agent，可以指定瀏覽器，也可隨機生成任意乙個

這裡簡單做個生成指定瀏覽器的請求頭

from fake_useragent import useragent


ua = useragent()


print(ua.ie)


print(ua.opera)


print(ua.chrome)


print(ua.google)


print(ua.firefox)


print(ua.safari)


print(ua.random)
mozilla/5.0 (compatible; msie 9.0; windows nt 6.1; trident/5.0; chromeframe/13.0.782.215)


mozilla/5.0 (windows nt 5.1; u; en; rv:1.8.1) gecko/20061208 firefox/5.0 opera 11.11


mozilla/5.0 (windows nt 6.2; wow64; rv:21.0) gecko/20130514 firefox/21.0
而在工作中常用的則是ua.random

我是這樣來使用的

from fake_useragent import useragent


import requests


ua = useragent()


headers = 


url = ''


response = requests.get(url, headers=headers)


print(response.status_code)


》 200

python網路爬蟲之如何偽裝逃過反爬蟲程式的方法

有的時候，我們本來寫得好好的爬蟲 之前還執行得ok,一下子突然報錯了。報錯資訊如下 這是因為你的物件 設定了反爬蟲程式，如果用現有的爬蟲 會被拒絕。之前正常的爬蟲 如下 from urllib.request import urlopen html urlopen scrapeurl bsobj b...

Scrapy 爬蟲偽裝

scrapy 設定 ip 設定隨機user agent 防止對方發現我們 設定 ip middleware.py class my proxy object def process request self,request,spider 伺服器的ip 與埠號 註冊乙個 阿布雲 設定通行使用者的使用者...

爬蟲偽裝頭部

偽裝頭部是最基本的反反爬蟲方法，下面假設我們有乙個 from flask import flask getinfo defhello world return 這裡假裝有很多資料 def index return 個人主頁 if name main 現在就可以通過 訪問了。我們想看看請求的 head...