mozilla/4.0 (compatible; msie 4.0; windows me; trident/4.0; sv1; .net clr 1.0.3705; .net clr 3.0.04320; msn optimizedie8;zhcn)
mozilla/4.0 (compatible; msie 4.0; windows nt 5.1; trident/4.0; maxthon; .net clr 3.0.04320; msn optimizedie8;zhcn)
mozilla/4.0 (compatible; msie 6.0; windows ce; ppc; 240x320) opera 8.65 [zh-cn]
mozilla/4.0 (compatible; msie 6.0; windows nt 5.1; mozilla/4.0 (compatible; msie 6.0; windows nt 5.1; sv1; qihu 360ee)
; infopath.2; .net clr 2.0.50727)
mozilla/4.0 (compatible; msie 6.0; windows nt 5.1; sv1; foxy/2; .net clr 2.0.50727; se 2.x)
mozilla/4.0 (compatible; msie 6.0; windows nt 5.1; sv1; .net clr 3.0.4506.2152; .net clr 3.5.30729; .net clr 2.0.50727; 360se)
需要其他版本的ua庫，可以找億牛雲。
爬蟲如何新增ua：
class proxymiddleware(object):
def process_request(self, request, spider):
# **伺服器(產品官網 www.16yun.cn)
proxyhost =
"t.16yun.cn"
proxyport =
"31111"
# **驗證資訊
# 新增驗證頭
encoded_user_pass = base64ify(proxyuser + ":" + proxypass)
request.headers[
'proxy-authorization']=
'basic ' + encoded_user_pass
# 設定ip切換頭(根據需求)
tunnel = random.randint(1,10000)
request.headers[
'proxy-tunnel'
]= str(tunnel)
headers =
response = requests.get(url=url, headers=headers)
scrapy 設定隨機UA
爬蟲過程中的反爬措施非常重要，其中設定隨機 user agent 是一項重要的反爬措施，scrapy 中設定隨機 ua 的方式有很多種，有的複雜有的簡單。首先，說一下常規情況不使用 scrapy 時的用法，比較方便的方法是利用fake useragent包，這個包內建大量的 ua 可以隨機替換，這比...
python 爬蟲 偽造UA字串
寫好爬蟲的原則只有一條 就是讓你的抓取行為和使用者訪問 的真實行為盡量一致。1 偽造ua字串，每次請求都使用隨機生成的ua。為了減少複雜度，隨機生成ua的功能通過第三方庫fake useragent實現 pip install fake useragent2 生成乙個ua字串只需要如下 核心 fro...
python爬蟲隨機獲取User Agent
剛剛學習python爬蟲的小夥伴們應該面臨反爬問題，那麼初步解決辦法除了 ip還有就是隨機生成ua 今天給大家推薦兩種隨機生成ua的方法，廢話不多說了，直接上 第一種 1.匯入random模組 importrandom list 3.使用random.choice list 隨機獲取列表中的乙個ua...