修改scrapy
專案目錄下的scrapy.cfg
檔案,修改如下
[deploy:jd_spider] #加上target :name
url = http://localhost:6800/ #將前面的#刪除
project = jd #project的名字,可以使用預設的,當然也可以改變
在任意目錄下的開啟終端,輸入scrapyd
,觀察是否執行成功,執行成功的話,就可以開啟http://localhost:6800
看是否正常顯示,如果正常顯示則看到下面的這張圖,這裡的jd
是部署之後才能看到的,現在是看不到的,所以沒出現也不要擔心:在專案的根目錄下執行如下的命令:
python e:\python2.7\scripts\scrapyd-deploy target -p project
,這裡的e:\python2.7\scripts\是你的python安裝目錄,scripts是安裝目錄下的乙個資料夾,注意前面一定要加上python,target是在前面scrapy.cfg中設定的deploy:jd_spider,jd_spider就是target,project 是jd,因此這個完整的命令是python e:\python2.7\scripts\scrapyd-deploy jd_spider -p jd
,現在專案就部署到上面了,這下網頁上就有jd
了,詳情請見上圖驗證是否成功,你可以在網頁上看有沒有顯示你的工程名字,另外在根目錄下輸入
python e:\python2.7\scripts\scrapyd-deploy -l
就能列出你所有部署過的專案了啟動爬蟲:
curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider_name
,這裡的project
填入的是專案名,spider_name
填入的是你的爬蟲中定義的name
,執行我的例項完整的**為:curl http://localhost:6800/schedule.json -d project=jd -d spider=spider
,這裡將會顯示如下資訊:
#這裡的jobid比較重要,下面會用到這個取消爬蟲
取消爬蟲:curl http://localhost:6800/cancel.json -d project=myproject -d job=jobid
,jobid
就是上面的提到過的,如果取消我的這個例項**如:curl http://localhost:6800/cancel.json -d project=jd -d job=3013f9d1283611e79a63acb57dec5d04
,那麼它的狀態就會變成如下:
列出專案:curl http://localhost:6800/listprojects.json
,下面將會出現你已經部署的專案刪除專案:curl http://localhost:6800/delproject.json -d project=myproject
列出版本:
curl http://localhost:6800/listversions.json?project=myproject
,這裡的project
是專案的名字,是在scrapy.cfg設定的列出爬蟲:
curl http://localhost:6800/listspiders.json?project=myproject
這裡的project
是專案的名字,是在scrapy.cfg設定的列出
job
:curl http://localhost:6800/listjobs.json?project=myproject
這裡的project
是專案的名字,是在scrapy.cfg
設定的刪除版本:
curl http://localhost:6800/delversion.json -d project=myproject -d version=r99
,這裡的version
是自己的專案版本號,在刪除之前需要檢視版本號總結幾個請求url
1、獲取狀態
2、獲取專案列表
3、獲取專案下已發布的爬蟲列表
4、獲取專案下已發布的爬蟲版本列表
5、獲取爬蟲執行狀態
6、啟動伺服器上某一爬蟲(必須是已發布到伺服器的爬蟲)
(post方式,data=)
7、刪除某一版本爬蟲
(post方式,data=)
8、刪除某一工程,包括該工程下的各版本爬蟲
方式,data=)
Scrapyd部署爬蟲
修改scrapy專案目錄下的scrapy.cfg檔案,修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字,可以使用預設的,當然也可以改變 在任意目錄下的開啟終端,輸入scr...
Scrapyd部署爬蟲
修改scrapy專案目錄下的scrapy.cfg檔案,修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字,可以使用預設的,當然也可以改變 在任意目錄下的開啟終端,輸入scr...
Scrapyd部署爬蟲
修改scrapy專案目錄下的scrapy.cfg檔案,修改如下 deploy jd spider 加上target name url http localhost 6800 將前面的 刪除 project jd project的名字,可以使用預設的,當然也可以改變 在任意目錄下的開啟終端,輸入scr...