commands_module
允許開發者自定義命令,假設工程名字為properties,在工程的根目錄有乙個hi.py
檔案內容如下:
from scrapy.commands import scrapycommand
class
command
(scrapycommand):
default_settings =
defrun(self, args, opts):
print("hello")
在settings.py
檔案裡設定commands_module = 'properties.hi'
,就可以在scrapy的幫助中看到這個命令,執行時用scrapy hi
。自定義命令的預設設定default_settings
會和工程的設定合併到 一起,但是相比在settings.py
檔案裡和命令列定義的設定優先順序要低。
如果需要自定義多個命令,則可以在工程的根目錄下建立乙個資料夾,又如commands,裡面放一些類似上面hi.py
檔案的命令,然後設定commands_module = 'properties.commands
即可。
自定義Scrapy的ItemExporter
scrapy提供了定製輸出格式的功能,包括json csv等,其實對於文字,分隔符不帶key的格式仍然是最好處理的。雖然可以修改csv delimiter讓csvitemexporter輸出符合需求的格式,但是對html總是存在編碼轉換的問題讓我頭疼不已。索性繼承baseitemexporter實現...
自定義Scrapy的ItemExporter
scrapy提供了定製輸出格式的功能,包括json csv等,其實對於文字,分隔符不帶key的格式仍然是最好處理的。雖然可以修改csv delimiter讓csvitemexporter輸出符合需求的格式,但是對html總是存在編碼轉換的問題讓我頭疼不已。索性繼承baseitemexporter實現...
scrapy 基礎元件專題(六) 自定義命令
寫好自己的爬蟲專案之後,可以自己定製爬蟲執行的命令。一 單爬蟲 在專案的根目錄下新建乙個py檔案,如命名為start.py,寫入如下 from scrapy.cmdline import execute if name main execute scrapy crawl chouti nolog 執...