scrapdy部署爬蟲專案

2022-09-03 17:24:12 字數 1350 閱讀 8494

原文:

scrapyd安裝

開啟命令列工具輸入

命令:pip install scrapyd

##啟動scrapyd服務

在瀏覽器中輸入127.0.0.1:6800

如圖啟動成功

(4).找到你的爬蟲專案進入到擁有scrapy.cfg檔案的目錄下

如圖:進入命令列輸入命令:pip install scrapyd-client

如圖就成功了:

(9).到這裡就已經成功了可以去127.0.0.1:6800 檢視執行狀態

(10).常規操作:

停止爬蟲

curl http://localhost:6800/cancel.json -d project=scrapy專案名稱 -d job=執行id

刪除scrapy專案

注意:一般刪除scrapy專案,需要先執行命令停止專案下在遠行的爬蟲

curl http://localhost:6800/delproject.json -d project=scrapy專案名稱

檢視有多少個scrapy專案在api中

檢視指定的scrapy專案中有多少個爬蟲

curl http://localhost:6800/listspiders.json?project=scrapy專案名稱

總結幾個請求url

1、獲取狀態

2、獲取專案列表

3、獲取專案下已發布的爬蟲列表

4、獲取專案下已發布的爬蟲版本列表

5、獲取爬蟲執行狀態

6、啟動伺服器上某一爬蟲(必須是已發布到伺服器的爬蟲)

(post方式,data=)

7、刪除某一版本爬蟲

(post方式,data=)

8、刪除某一工程,包括該工程下的各版本爬蟲

方式,data=)

部署參考文章:

原文:python相關

部署參考資料

重新安裝了一下python,pip就已經包含在內了

執行爬蟲時twisted在python3.7下有bug,解除安裝了python3.7,安裝了乙個低版本的3.6.6,再安裝twisted一帆風順。

no module named 'win32api',安裝pip install pypiwin32

最終結果出來:scrapy crawl itcast -o teachers.json -s feed_export_encoding=utf-8

成果--取cnblogs近期使用者,

scrapyd 部署爬蟲專案

在瀏覽器輸入127.0.0.1 6800 即可檢視 2.如果連線成功先關閉服務,自己在非c盤下新建乙個資料夾,名稱自定義如 scrapydtest然後進入該資料夾,cmd開啟命令列工具,輸入scrapyd執行,執行完成後會新建乙個dbs空資料夾,用來存放爬蟲專案的資料檔案 3.安裝scrapyd c...

Scrapyd部署爬蟲專案

1 安裝scrapyd模組 命令列工具開啟輸入 pip install scrapyd安裝完成後,在虛擬環境的scripts中會出現scrapyd deploy無字尾檔案,這個scrapyd deploy無字尾檔案是啟動檔案,在linux系統下可以遠行,在windows下是不能執行的,所以我們需要編...

Docker部署Python爬蟲專案

title docker部署python爬蟲專案 1 首先安裝docker 用 yum 安裝並啟動 yum install docker y systemctl start docker 這裡以centos7為例 docker pull centos centos73 基礎映象已經準備好了,接下來準...