上午胡亂的弄,沒有做記錄,導致下午刪掉了東西過後scrapy發布不上去了,現在解除安裝了scrapyd,scrapyd-client重新安裝
安裝scrapyd
scrapyd模組是專門用於部署scrapy專案的,可以部署和管理scrapy專案
在scrapyspider虛擬環境下面安裝scrapyd
在e盤建乙個資料夾,scrapydtest
進入到該資料夾下面執行scrapyd
生成乙個dbs資料夾,用來存放爬蟲爬取的資料的
安裝scrapyd-client
scrapyd-client模組是專門打包scrapy爬蟲專案到scrapyd服務中的
安裝完成後,在虛擬環境的scripts中會出現scrapyd-deploy無字尾檔案,這個scrapyd-deploy無字尾檔案是啟動檔案
該檔案在windows下是不能執行的,
進入到你的爬蟲專案中,進入帶有scrapy.cfg檔案的目錄,執行scrapyd-deploy,測試scrapyd-deploy是否可以執行
如果出現下面的情況,是正常的
編輯scrapy.cfg檔案
再次執行scrapyd-deploy -l 啟動服務,可以看到設定的名稱
開始打包前,執行乙個命令:scrapy list ,這個命令執行成功說明可以打包了,如果沒執行成功說明還有工作沒完成
執行 scrapy list 命令返回了爬蟲名稱說明一切ok了,
執行打包命令: scrapyd-deploy 部署名稱 -p 專案名稱
執行成功
檢視127.0.0.1:6800
停止爬蟲
刪除scrapy專案
注意:一般刪除scrapy專案,需要先執行命令停止專案下在遠行的爬蟲
獲取專案下已發布的爬蟲版本列表
Redis在window上的安裝
1 redis安裝 redis 沒有官方的windows版本,但是微軟開源技術團隊 microsoft open tech group 開發和維護著這個 win64 的版本。開乙個cmd視窗 使用cd命令切換目錄到c redis執行redis server.exe redis.windows.con...
如何部署Scrapy 到Scrapyd上?
安裝上傳工具 1 上傳工具 scrapyd client 2 安裝方法 pip install scrapyd client 3 上傳方法 python d python27 scripts scrapyd deploy target p project 注 target 主機位址,如 localh...
如何部署Scrapy 到Scrapyd上?
安裝上傳工具 1 上傳工具 scrapyd client 2 安裝方法 pip install scrapyd client 3 上傳方法 python d python27 scripts scrapyd deploy target p project 注 target 主機位址,如 localh...