scrapyd在window上的部署

2022-07-24 02:00:11 字數 1614 閱讀 9951

上午胡亂的弄,沒有做記錄,導致下午刪掉了東西過後scrapy發布不上去了,現在解除安裝了scrapyd,scrapyd-client重新安裝

安裝scrapyd

scrapyd模組是專門用於部署scrapy專案的,可以部署和管理scrapy專案

在scrapyspider虛擬環境下面安裝scrapyd

在e盤建乙個資料夾,scrapydtest

進入到該資料夾下面執行scrapyd

生成乙個dbs資料夾,用來存放爬蟲爬取的資料的

安裝scrapyd-client

scrapyd-client模組是專門打包scrapy爬蟲專案到scrapyd服務中的

安裝完成後,在虛擬環境的scripts中會出現scrapyd-deploy無字尾檔案,這個scrapyd-deploy無字尾檔案是啟動檔案

該檔案在windows下是不能執行的,

進入到你的爬蟲專案中,進入帶有scrapy.cfg檔案的目錄,執行scrapyd-deploy,測試scrapyd-deploy是否可以執行

如果出現下面的情況,是正常的

編輯scrapy.cfg檔案

再次執行scrapyd-deploy -l 啟動服務,可以看到設定的名稱

開始打包前,執行乙個命令:scrapy list   ,這個命令執行成功說明可以打包了,如果沒執行成功說明還有工作沒完成

執行 scrapy list  命令返回了爬蟲名稱說明一切ok了,

執行打包命令: scrapyd-deploy 部署名稱 -p 專案名稱

執行成功

檢視127.0.0.1:6800

停止爬蟲

刪除scrapy專案

注意:一般刪除scrapy專案,需要先執行命令停止專案下在遠行的爬蟲

獲取專案下已發布的爬蟲版本列表

Redis在window上的安裝

1 redis安裝 redis 沒有官方的windows版本,但是微軟開源技術團隊 microsoft open tech group 開發和維護著這個 win64 的版本。開乙個cmd視窗 使用cd命令切換目錄到c redis執行redis server.exe redis.windows.con...

如何部署Scrapy 到Scrapyd上?

安裝上傳工具 1 上傳工具 scrapyd client 2 安裝方法 pip install scrapyd client 3 上傳方法 python d python27 scripts scrapyd deploy target p project 注 target 主機位址,如 localh...

如何部署Scrapy 到Scrapyd上?

安裝上傳工具 1 上傳工具 scrapyd client 2 安裝方法 pip install scrapyd client 3 上傳方法 python d python27 scripts scrapyd deploy target p project 注 target 主機位址,如 localh...