Scrapy 框架的settings的設定

2021-10-23 09:12:22 字數 1331 閱讀 8346

下面給出scrapy提供的常用內建設定列表,你可以在settings.py檔案裡面修改這些設定，以應用或者禁用這些設定項

scrapy預設base設定

scrapy對某些內部元件進行了預設設定，這些元件通常情況下是不能被修改的，但是我們在自定義了某些元件以後，比如我們設定了自定義的middleware中介軟體，需要按照一定的順序把他新增到元件之中，這個時候需要參考scrapy的預設設定，因為這個順序會影響scrapy的執行，下面列出了scrapy的預設基礎設定

注意：如果你想要修改以下的某些設定，應該避免直接修改下列內容，而是修改其對應的自定義內容，例如，你想修改下面的**********_middlewares_base的內容，你應該去修改**********_middlewares這個內容，只是去掉了_base而已，其他的也是類似這樣

預設:

預設:

儲存專案中預設啟用的spider中介軟體的字典。 永遠不要在專案中修改該設定，而是修改 spider_middlewares 。

extensions_base

預設:

可用的外掛程式列表。需要注意，有些外掛程式需要通過設定來啟用。預設情況下， 該設定包含所有穩定(stable)的內建外掛程式。

預設:

說明

即使我們新增了一些我們自定義的元件，scrapy預設的base設定依然會被應用，這樣說可能會一頭霧水，簡單地例子：

假如我們在middlewares.py檔案中定義了乙個中介軟體，名稱為mymiddleware，我們把它新增到settings.py檔案裡面的**********_middlewares，且他的執行順序我們設定為450，最終的設定內容就是：

**********_middlewares =
我們再來看一下預設的**********_middlewares_base的內容：

**********_middlewares_base =
如果我們不想應用某乙個預設的中介軟體，假如'scrapy.**********middlewares.retry.retrymiddleware': 500,那麼，就應該在**********_middlewares裡面把它的值設定為none，像下面這樣：

**********_middlewares =

scrapy爬蟲框架（一） scrapy框架簡介

開啟命令列輸入如下命令 pip install scrapy安裝完成後，python會自動將 scrapy命令新增到環境變數中去，這時我們就可以使用 scrapy命令來建立我們的第乙個 scrapy專案了。開啟命令列，輸入如下命令 scrapy startproject yourproject這裡的...

Scrapy框架的流程

那麼 scrapy是如何幫助我們抓取資料的呢？scrapy框架的工作流程 1.首先spiders 爬蟲 將需要傳送請求的url requests 經scrapyengine 引擎 交給scheduler 排程器 2.scheduler 排序，入隊 處理後，經scrapyengine，middlewa...

scrapy框架的安裝

首先考慮使用最簡單的方法安裝 pip install scrapy 命令安裝，提示 failed building wheel for twisted microsoft visual c 14.0 is required 1 直接使用pip install scrapy安裝不成功可以安裝whl格式...