在這裡給大家推薦乙個包含全球所有的user-agent的**：
**位址
效果圖如下：
這裡我隨機選了幾個關於谷歌和火狐瀏覽器中的ua，然後再scrapy框架中的middlewares.py中新增加乙個類
，在裡面構建了乙個user-agent的列表，效果如下：
```python
class
useragentdownloadmiddleware
(object):
ua =[,
,,,]
首先匯入random模組
user_agent = random.choice(self.ua)
["user-agent"
]request.headers[
"user-agent"
]= user_agent
**********_middlewares =
來測試我的user-agent，首先在parse方法中利用json模組將response.text內容轉換成字典，然後取出其中的「user-agent」
然後將它列印出來，為了能夠看到更好的效果，所以這裡就使用生成器將開始的url位址進行請求，因為scarpy框架有url去重功能，為了多次請求同乙個url，所以將裡面的dont_filter設為true, **如下:
)然後就可以執行程式了，執行之後的結果如下：
可以看到，隨機的user-agent就完成啦.
Scrapy繞過反爬蟲策略
方法1 修改setting.py中的user agent user agent 方法2 修改setting中的default request headers default request headers 也就是不啟用cookies middleware，不向server傳送cookies，有些 通...
scrapy 設定隨機UA
爬蟲過程中的反爬措施非常重要，其中設定隨機 user agent 是一項重要的反爬措施，scrapy 中設定隨機 ua 的方式有很多種，有的複雜有的簡單。首先，說一下常規情況不使用 scrapy 時的用法，比較方便的方法是利用fake useragent包，這個包內建大量的 ua 可以隨機替換，這比...
爬蟲11 scrapy突破反爬蟲策略
1 user agent 1 fake useragent的安裝 pip install fake useragent 用法 from fake useragent import useragent ua useragent print ua.ie 執行結果 mozilla 4.0 compatib...