原文:
scrapyd安裝
開啟命令列工具輸入
命令:pip install scrapyd
##啟動scrapyd服務
在瀏覽器中輸入127.0.0.1:6800
如圖啟動成功
(4).找到你的爬蟲專案進入到擁有scrapy.cfg檔案的目錄下
如圖:進入命令列輸入命令:pip install scrapyd-client
如圖就成功了:
(9).到這裡就已經成功了可以去127.0.0.1:6800 檢視執行狀態
(10).常規操作:
停止爬蟲
curl http://localhost:6800/cancel.json -d project=scrapy專案名稱 -d job=執行id
刪除scrapy專案
注意:一般刪除scrapy專案,需要先執行命令停止專案下在遠行的爬蟲
curl http://localhost:6800/delproject.json -d project=scrapy專案名稱
檢視有多少個scrapy專案在api中
檢視指定的scrapy專案中有多少個爬蟲
curl http://localhost:6800/listspiders.json?project=scrapy專案名稱
總結幾個請求url
1、獲取狀態
2、獲取專案列表
3、獲取專案下已發布的爬蟲列表
4、獲取專案下已發布的爬蟲版本列表
5、獲取爬蟲執行狀態
6、啟動伺服器上某一爬蟲(必須是已發布到伺服器的爬蟲)
(post方式,data=)
7、刪除某一版本爬蟲
(post方式,data=)
8、刪除某一工程,包括該工程下的各版本爬蟲
方式,data=)
部署參考文章:
原文:python相關
部署參考資料
重新安裝了一下python,pip就已經包含在內了
執行爬蟲時twisted
在python3.7下有bug,解除安裝了python3.7,安裝了乙個低版本的3.6.6,再安裝twisted
一帆風順。
no module named 'win32api'
,安裝pip install pypiwin32
最終結果出來:scrapy crawl itcast -o teachers.json -s feed_export_encoding=utf-8
成果--取cnblogs近期使用者,
scrapyd 部署爬蟲專案
在瀏覽器輸入127.0.0.1 6800 即可檢視 2.如果連線成功先關閉服務,自己在非c盤下新建乙個資料夾,名稱自定義如 scrapydtest然後進入該資料夾,cmd開啟命令列工具,輸入scrapyd執行,執行完成後會新建乙個dbs空資料夾,用來存放爬蟲專案的資料檔案 3.安裝scrapyd c...
Scrapyd部署爬蟲專案
1 安裝scrapyd模組 命令列工具開啟輸入 pip install scrapyd安裝完成後,在虛擬環境的scripts中會出現scrapyd deploy無字尾檔案,這個scrapyd deploy無字尾檔案是啟動檔案,在linux系統下可以遠行,在windows下是不能執行的,所以我們需要編...
Docker部署Python爬蟲專案
title docker部署python爬蟲專案 1 首先安裝docker 用 yum 安裝並啟動 yum install docker y systemctl start docker 這裡以centos7為例 docker pull centos centos73 基礎映象已經準備好了,接下來準...