Scrapy學習過程之七 命令列工具

2021-09-25 13:58:03 字數 1393 閱讀 1811

參考：

關於scrapy命令列工具的配置檔案，其格式為ini。配置檔案存在於以下幾個地方：

/etc/scrapy.cfg or c:\scrapy\scrapy.cfg　這個是系統級配置檔案

~/.config/scrapy.cfg($xdg_config_home) and~/.scrapy.cfg這個是使用者級

專案內的scrapy.cnf，專案級。

原來專案內自動生成的scrapy.cnf是用來配置scrapy命令列工具的。

上邊三個優先順序由低到高，最終的配置是三個檔案合併的結果。

scrapy命令列可也可通過環境變數配置，這個後邊再說。

預設的scrapy專案的目錄結構：

scrapy.cfg


myproject/


__init__.py


items.py


middlewares.py


pipelines.py


settings.py


spiders/


__init__.py


spider1.py


spider2.py


...
裡邊有一項，指向專案中的setting.py檔案，後者是python**檔案，裡邊也全是關於配置的：

[settings]


default = myproject.settings
scrapy建立出來的那個根目錄，可以被多個scrapy專案共享，每個scrapy專案都有自己的setting，當然根目錄下的什麼item pipeline之類的定義也可以在多個scrapy專案這間共享，這樣就可以復用了。

[settings]


default = myproject1.settings


project1 = myproject1.settings


project2 = myproject2.settings
其中有乙個default專案，default指的是scrapy專案名稱與根目錄名稱一樣的那個專案。

預設情況下scrapy命令列工具使用default那個專案的配置，可以通過設定scrapy_project環境變數指向其它的專案，如：

$ scrapy settings --get bot_name


project 1 bot


$ export scrapy_project=project2


$ scrapy settings --get bot_name


project 2 bot
一堆命令，看原文吧。反正scrapy這個命令要看在什麼目錄下執行，目錄不同那麼它的配置就不同，還與環境變數有關。

Scrapy 命令列工具

startproject 全域性命令 在當前路徑下建立乙個名為myproject的 scrapy專案 語法 scrapy startproject myproject genspider 需要專案 在當前專案中建立spider僅僅是建立spider的一種快捷方法，可以使用提前定義好的模板來生成spi...

scrapy 命令列操作

1.建立專案 scrapy startproject myproject cd myproject 2.建立爬蟲 scrapy genspider t crawl myspider www.baidu.com 建立有rules配置 3.執行爬蟲 scrapy crawl myspider 4.錯誤檢...

scrapy爬蟲》scrapy命令列操作

1.mysql資料庫 2.mongodb資料庫 3.redis資料庫 1.建立專案 scrapy startproject myproject cd myproject 2.建立爬蟲 scrapy genspider t crawl myspider www.baidu.com 建立有rules配置...