1. 在你的scrapy工程下面新建乙個與spiders平級的目錄commands：
cd path/to/your_project
mkdir commands
2. 在commands下面新增乙個檔案crawlall.py，**如下：
from scrapy.command import scrapycommand
from scrapy.utils.project import get_project_settings
from scrapy.crawler import crawler
class
command(scrapycommand):
requires_project = true
defsyntax(self):
return
'[options]'
defshort_desc(self):
return
'runs all of the spiders'
defrun(self, args, opts):
settings = get_project_settings()
for spider_name in
self.crawler.spiders.list():
crawler = crawler(settings)
crawler.configure()
spider = crawler.spiders.create(spider_name)
crawler.crawl(spider)
crawler.start()
self.crawler.start()
3. 在settings.py中新增配置：
commands_module = 'yourprojectname.commands'
4. 在cronjob中新增：scrapy crawlall命令即可
？？可是在windows裡沒有cronjob怎麼辦?
shell多個指令碼同時執行
1 編寫多程序實驗指令碼 demo.sh bin bash sub1.log sub2.log sub3.log function sub1 doecho date t sub1.log 注意date 和 號之間有空格。如 date m d date取 月 日 的命令列。sleep 1 done f...
pycharm中同時執行多個 py檔案
pycharm是乙個非常好用的python整合開發環境 簡稱ide 在pycharm上呼叫pytorch做深度學習，有時候需要同時執行多個指令碼程式，或者是在執行乙個深度學習訓練任務時，在乙個訓練的指令碼.py檔案執行之後，修改訓練指令碼檔案裡的某些引數再執行這個指令碼，而之前的執行的程式又不會被覆...
Linux下LNMP環境中同時執行多個PHP版本
www.php.net distributions php 7.2.24.tar.gz no check certificate2 解壓檔案 解壓後會生成乙個php 7.2.24資料夾 tar zxvf php 7.2.24.tar.gz3 進入到解壓資料夾 cd php 7.2.244 prefi...