1、headers請求頭協議
可以在每個網頁的這裡找到：
這裡的request headers就可以找到我們需要加上的請求頭資訊，使用requests模組一般情況下加上』user-agent』就行了。下面對請求頭資訊裡的幾個部分做乙個簡單介紹
user-agent
**儲存在使用者終端上的資料
referer
一般情況下涉及頁面跳轉都會有referer值
對於請求頭的反爬技術，我們通常使用request模組手動加上就行了，像這樣：
2、ip限制
有的**會對同一使用者訪問的頻率進行統計，頻率太快就有可能被鑑別為爬蟲，我們只需將程式訪問速率變慢就行啦
3、驗證碼
暫不做介紹
4、動態頁面
暫不做介紹
反爬與反反爬（一）
1.伺服器反爬原因 2.伺服器常反什麼樣的爬蟲 3.反爬蟲領域常見的一些概念 誤傷 在反爬蟲的過程中，錯誤的將普通使用者識別為爬蟲。誤傷率高的反爬蟲策略，效果再好也不能用。攔截 成功的阻止爬蟲訪問。這裡會有攔截率的概念。通常來說，攔截率越高的反爬蟲策略，誤傷的可能性就越高。因為需要做個權衡。資源 機...
Python爬蟲反反爬總結
最基本的反爬手段，一般被關注的變數是useragent和refer，可以考慮使用瀏覽器裡的。其中的contentlength欄位requests包會填寫，可以不用。content type欄位是post表單的格式，必須和 的一樣。待續資料量大用ip池 偽裝成多個訪問者 爬取速度要求低用sleep 偽...
python爬蟲反爬 爬蟲怎麼測試反爬？
有沒有反爬，如果你沒有用爬蟲抓取過，你是不可能知道的。就算要測試，你還要嘗試不同的delay。如果設定的 delay 在 的反爬頻率外，那就測不出來。如果在頻率內，那就被封。或者封ip，或者封賬號。如果一定要測出來，就簡單粗暴的方法，你不要設定delay，就不間斷的抓，最後出現兩種情況，1 有反爬，...