ip反爬不用說了，入門級的
git上開源的proxy_pool很多，找那個most star的，缺點用的人多，響應速度慢，可用率低。
公司有預算的話，購買付費**，常用的幾家：芝麻**，阿布雲，多貝雲，大象，曾打**給**公司，貌似都是在全國各地拉網線，建機房，adsl撥號,質量差不太多，詳細參考崔慶才部落格，有自測12家付費**文章。
ip封的不是太厲害的，在家庭網狀態下，可以寫個指令碼把網斷開，sleep10多秒，重連,可切換ip。
tor**，速度慢
adsl撥號伺服器(雲立方，青果雲)，可寫自動切換指令碼，可搭建ip**池。
Python爬蟲反反爬總結
最基本的反爬手段，一般被關注的變數是useragent和refer，可以考慮使用瀏覽器裡的。其中的contentlength欄位requests包會填寫，可以不用。content type欄位是post表單的格式，必須和 的一樣。待續資料量大用ip池 偽裝成多個訪問者 爬取速度要求低用sleep 偽...
python爬蟲之反爬與反反爬技術
1 headers請求頭協議 可以在每個網頁的這裡找到 這裡的request headers就可以找到我們需要加上的請求頭資訊，使用requests模組一般情況下加上 user agent 就行了。下面對請求頭資訊裡的幾個部分做乙個簡單介紹 user agent 儲存在使用者終端上的資料 refer...
網路爬蟲反反爬小技巧（二）Pyppeteer
上一節說到了selenium，它的功能的確非常強大，但很多時候我們會發現 selenium 還是有一些不太方便的地方，比如速度太慢 對版本配置要求嚴苛，最麻煩是經常要更新對應的驅動，還有些網頁是可以檢測到是否使用了selenium 所以在這裡我們就要請出爬蟲神器 pyppeteer 了，雖然支援的瀏...