scrapy部署與發布到scrapyd

scrapyd 安裝

發布到 scrapyd

pip install scrapyd

安裝完畢後，檢視scrapyd的配置檔案，scrapyd會在如下位置依次查詢配置檔案，並以最後乙個找到的配置檔案為準進行配置

/etc/scrapyd/scrapyd.conf (unix)

c:\scrapyd\scrapyd.conf (windows)

/etc/scrapyd/conf.d/* (in alphabetical order, unix)

scrapyd.conf

~/.scrapyd.conf (users home directory)

檢視scrapyd的安裝目錄 */site-packages/scrapyd，發現有乙個default_scrapyd.conf預設配置檔案，開啟該檔案，顯示如下內容

這裡有乙個名為bind_address的選項，預設值為127.0.0.1，我們將其改為0.0.0.0（在伺服器中，0.0.0.0指的是本機上的所有ipv4位址，如果乙個主機有多個ip位址，並且該主機上的乙個服務監聽的位址是0.0.0.0,那麼通過多個ip位址都能夠訪問該服務。）

bind_address = 0.0.0.0，原本是 127.0.0.1，不能公開訪問，在這裡修改為 0.0.0.0 即可解除此限制

執行命令啟動scrapyd

當我執行完命令後報錯，說是找不到命令：

那是因為我系統上python2與3並存，所以找不到，這時應該做軟連線：

我的python3路徑： /usr/local/python3

製作軟連線： ln -s /usr/local/python3/bin/scrapyd /usr/bin/scrapyd

--製作軟連線： ln -s /usr/local/python3/bin/scrapy /usr/bin/scrapy

scrapyd &啟動後台服務

部署到 scrapyd

scrapyd-deploy

pip install scrapyd-client

執行完畢後，找到scrapy-client的安裝目錄，發現乙個名為scrapyd-deploy的檔案，我們把它複製到scrapy專案中與scrapy.cfg同級的目錄中（不複製也可以，但這樣操作會方便一點）

開啟scrapy.cfg檔案，有如下內容，需要做的就是把[deploy]改為[deploy:mingzi]的形式，mingzi名稱自擬，然後再把url前的注釋去掉，並且將位址改為scrapyd的伺服器位址。

python scrapyd-deploy -l來檢視爬蟲的配置情況

python scrapyd-deploy -l mingzi 檢視名為mingzi 的target下可用的爬蟲專案

python scrapy-deploy mingzi -p toolspider 將mingzi 中的toolspider專案部署到scrapyd服務端

1、獲取狀態

2、獲取專案列表

3、獲取專案下已發布的爬蟲列表

4、獲取專案下已發布的爬蟲版本列表

5、獲取爬蟲執行狀態

6、啟動伺服器上某一爬蟲（必須是已發布到伺服器的爬蟲）

http://localhost:6800/schedule.json （post方式，data=）

7、刪除某一版本爬蟲

（post方式，data=）

8、刪除某一工程，包括該工程下的各版本爬蟲

方式，data=）

這裡可以看到，有刪除爬蟲的api，有啟動爬蟲的api，獨獨沒有發布爬蟲的api，為什麼呢？

因為發布爬蟲需要使用另乙個專用工具scrapyd-client。

------------恢復內容結束------------

scrapy部署與發布到scrapyd

如何部署Scrapy 到Scrapyd上？

如何部署Scrapy 到Scrapyd上？

odoo發布與部署

scrapy部署 與 發布到scrapyd

如何部署Scrapy 到Scrapyd上？

如何部署Scrapy 到Scrapyd上？

odoo發布與部署

相關推薦

scrapy部署與發布到scrapyd