在scrapy 專案中，主要可以通過以下方法來避免被禁止：
1）禁止cookies
3）使用ip池
4）使用使用者**；
5）其他方法，比如進行分布式爬取等（這個就不介紹了）
1.禁止cookies
如果我們要禁止使用cookies，可以在對應scrapy爬蟲專案中的settings.py檔案進行相應的設定。開啟settings.py檔案找到一下 兩行**：
只需要把cookies_enabled=false的注釋去掉即可。這樣就可以禁用本地的cookie，
有的**會通過我們隊網頁的訪問頻率進行分析，如果爬取頻率過快，則判斷為爬蟲自動爬取行為。
我們只需要控制一下爬行時間間隔即可。
開啟settings.py檔案，會發現如下幾行**：
3.使用ip池
在這裡我使用建立專案自動生成的中介軟體。middlewares.py
此時，ippool就是對應的**伺服器的ip池，外層通過列表形式儲存，裡面通過字典形式儲存。
2）設定好ip池，現在編寫中介軟體。
所以我們在中介軟體middleware.py中編寫程式實現**
上述**中，第一行根據官方文件配置，必填，
現在使用scapy crawl 專案名稱 --nolog顯示一下內容，說明使用**成功：
4.使用使用者**池
1）方法跟上幾乎一樣，先在setting.py檔案設定使用者**池
建立好之後，現在編輯中介軟體檔案中的**來實現對應功能。
class scrapy.contrib.**********middleware.usergent.useragentmiddleware
from scrapy.contrib.**********middleware.usergent import useragentmiddleware
在中介軟體檔案中寫如下**：
設定好之後，我們可以執行scrapy專案下的爬蟲檔案，執行結果如下：
爬蟲如何避免被禁止
一 禁止cookie 有的 會通過cookie來識別使用者，我們可以禁用cookie使對方 無法識別出我們的對話資訊，達到避免被禁止。在scrapy的專案中的settings.py 檔案中找到 並修改如下 disable cookies enabled by default cookies enab...
Scrapy爬蟲專案中避免被禁止爬蟲的幾種方法
現在 的安全性越來越高，並會通過分析使用者的行為以及相關資訊來判斷該使用者是否是自動爬蟲並會將爬蟲行為禁止。不同的 判斷依據也不同，有的根據ip 有的根據使用者資訊 有的根據訪問頻率等。因此，本文將具有針對性地介紹幾種方法應對不同的情況。有的 會通過使用者的cookie資訊堆使用者進行識別和分析，如...
mysql被禁用 mysql遠端訪問被禁止
遠端連線mysql伺服器的資料庫，錯誤 是1130，error 1130 host is not allowed to connect to this mysql server 猜想是無法給遠端連線的使用者許可權問題。這樣子操作mysql庫，即可解決。在本機登入mysql後，更改 mysql 資料庫...