前言：
①訪問終端限制：這種可通過偽造動態的ua實現；
②訪問次數限制：**一般通過cookie/ip定位，可通過禁用cookie，或使用cookie池/ip池來反制；
③訪問時間限制：延遲請求應對；
④盜鏈問題：通俗講就是，某個網頁的請求是有跡可循的，比如知乎的問題回答詳情頁，正常使用者行為必然是先進入問題頁，在進入回答詳情頁，有嚴格的請求順序，如果之間跳過前面請求頁面就有可能被判定為到了，通過偽造請求頭可以解決這個問題；
內容：
cookie池的實現及使用
ip池的實現及使用
python3 網路爬蟲（一）反爬蟲之我見
環境 python3.4 win7 框架 scrapy 首先，在此只講解基於scrapy的種種案例或者方法，為啥。因為我只會用這個框架，所以請大家莫見笑 python3爬蟲的基礎知識就不多介紹了，有興趣的朋友可以去看看這位仁兄的部落格，內容非常的詳細 關於反爬蟲，相信大家已經看過了網上很多文章了，但...
「它」是應對反爬蟲訣竅？
為了更好地爬行，我們需要使用可變的ip位址。構建網路爬蟲的第一原則是所有資訊都可以偽造。但是有一點是不能造假的，那就是你的ip位址。防止 被收集的注意力主要集中在識別人類和機械人的行為差異上。為了應對這個問題，許多 會直接遮蔽危險的ip位址範圍，這將導致許多 無法正常訪問。因此，禁用ip將是一種非常...
python反爬蟲策略 python反爬蟲手冊
user agent識別 修改請求頭資訊裡的user agent 請求頭資訊識別 比如說referer,content type,請求方法 post,get 構造相應的請求頭資訊。比如說referer，我們在提取url的時候，要把url所在頁面的url也儲存起來，並放到request.headers...