scrapyd和scrapydweb使用詳細教程

2022-09-16 00:39:10 字數 1778 閱讀 2764

ⅰ、安裝scrapyd和scrapyd-client和配置

1、安裝

pip install scrapyd


pip install scrapy-client
安裝完成後，在cmd中啟動命令

scrapyd
在瀏覽器中輸入：http://localhost:6800/，如果出現下面介面則表示啟動成功（不要關閉cmd，後面步驟還需要）

2、配置

①配置scrapy專案

開啟scrapy專案，有個scrapy.cfg檔案，按如下進行配置

②上傳scrapy專案

將你的scrapy-deploy檔案複製到與scrapy.cfg檔案同一目錄，scrapy-deploy檔案位於你python環境下的scripts資料夾中（虛擬環境則在虛擬環境中的scripts）

然後在cmd中進入你的scrapy專案目錄,輸入：

python scrapyd-deploy -l
說明已經掃瞄到專案，接下來就是編譯專案

③、在server（http://localhost:6800/）進行檢查，在jobs出現列表則表示上傳成功

1、安裝

pip install scrapydweb
執行（前提是scrapyd伺服器必須處於執行狀態）

scrapyweb
如果出現下面視覺化介面，表示安裝成功

2、配置

（基本上使用預設的就行，根據需要配置）

配置檔案在你當前啟動scrapydweb路徑下，scrapydweb_settings_v10.py，只有兩處需要配置。

①第一處就是username和password，如果是遠端的伺服器的話，建議開啟認證

②第二處是專案路徑（這裡是scrapydweb比較方便的地方，不用事先將專案先上傳到scrapyd伺服器，scrapydweb能夠幫我們上傳）

然後就可以重啟並開始管理了

Scrapyd部署爬蟲

修改scrapy專案目錄下的scrapy.cfg檔案，修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字，可以使用預設的，當然也可以改變 在任意目錄下的開啟終端，輸入scr...

Scrapyd部署爬蟲

修改scrapy專案目錄下的scrapy.cfg檔案，修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字，可以使用預設的，當然也可以改變 在任意目錄下的開啟終端，輸入scr...

Scrapyd部署爬蟲

修改scrapy專案目錄下的scrapy.cfg檔案，修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字，可以使用預設的，當然也可以改變 在任意目錄下的開啟終端，輸入scr...