反爬反爬，顧名思義，就是反對爬蟲。但並不是我們平常說的那個舉個旗子，在大街上喊著口號「反對爬蟲」「我們不需要爬蟲」。
反爬是技術人員用一定的手段來阻止爬蟲在伺服器上獲取資源。盡可能的去模擬瀏覽器，瀏覽器在如何操作，**中就如何去實現。
user-agent
爬蟲在傳送請求中，請求頭中預設沒有user-agent
referer
瀏覽器向web伺服器傳送請求的時候，會帶上refer，告訴伺服器是從哪個頁面鏈結過來的。
cookie
無論是否需要登陸，web伺服器都可以在使用者的瀏覽器中設定cookie；cookie是header的一部分，當瀏覽器向web伺服器傳送請求的時候，如果存在cookie就一定會攜帶。
js加密引數，和資料
js加密引數後，在傳送請求。
5,驗證碼
各種驗證碼判斷來是不是爬蟲。
ipip異常，對該ip採取措施。
7/自定義字型
瀏覽器能夠載入渲染並正確顯示自定義字型
python爬蟲反爬 爬蟲怎麼測試反爬？
有沒有反爬，如果你沒有用爬蟲抓取過，你是不可能知道的。就算要測試，你還要嘗試不同的delay。如果設定的 delay 在 的反爬頻率外，那就測不出來。如果在頻率內，那就被封。或者封ip，或者封賬號。如果一定要測出來，就簡單粗暴的方法，你不要設定delay，就不間斷的抓，最後出現兩種情況，1 有反爬，...
爬蟲反爬與反爬破解總結
這裡將自己收集的，遇到的反爬機制進行簡單的記錄和簡單的分析，如果有大佬路過，看到理解不正確的地方，希望可以指出來，學習進步，在此感激不盡。最基礎的記錄一下標題 抓包copy乙份，header字典賦值，requests傳入，簡單破解。防之前爬乙個免費ip 的 的時候，很好玩，感覺是把乙個瀏覽器的所有h...
爬蟲反爬機制及反爬策略
參考 爬蟲是一種模擬瀏覽器對 發起請求，獲取資料的方法。簡單的爬蟲在抓取 資料的時候，因為對 訪問過於頻繁，給伺服器造成過大的壓力，容易使 崩潰，因此 維護者會通過一些手段避免爬蟲的訪問，以下是幾種常見的反爬蟲和反反爬蟲策略 爬蟲與反爬蟲，這相愛相殺的一對，簡直可以寫出一部壯觀的鬥爭史。而在大資料時...