pip install scrapyd
安裝完成後,在你當前的python環境根目錄c:\program files\python35\scripts
下,有乙個scrapyd.exe,
開啟命令列,輸入scrapyd,如下圖:
這樣scrapyd就執行起來了,訪問127.0.0.1:6800即可看到視覺化介面。
注:如果在命令列執行scrapyd報錯如下圖:
scrapyd其實就是乙個伺服器端,真正在部署爬蟲的時候,我們需要兩個東西:
scrapyd (安裝在伺服器端)
scrapy-client (客戶端)
scrapy-client,它允許我們將本地的scrapy專案打包傳送到scrapyd 這個服務端
安裝 scrapy-client:pip install scrapy-client
在scrapy專案目錄下,有乙個scrapy.cfg的配置檔案:
把原先注釋掉的url那一行取消注釋,這個就是我們要部署到目標伺服器的位址,
然後,把[deploy]這裡改為[deploy:demo],這裡是命名為demo,命名可以任意怎麼都可以,只要能標識出來專案就可以。
下邊的project 就是我們的工程名,到此配置檔案更改完成。
接著,執行scrapyd-deploy,這個命令在windows下是執行不了的,(在mac和linux下都是可以的)因為在我們安裝的根目錄c:\program files\python35\scripts
中可以檢視這個檔案是沒有字尾名的:
解決方法:在同目錄下,新建檔案scrapyd-deploy.bat
@echo off
"c:\program files\python35\python.exe" "c:\program files\python35\scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9
上邊**是呼叫的我的環境中的python.exe路徑,大家可以根據自己環境來改變路徑做配置。
這樣就可以執行scrapyd-deploy這個命令了。
然後,進入到我們爬蟲的根目錄,執行scrapyd-deploy:
顯示這個就證明我們成功執行了scrapyd-deploy,注意:一定要進入爬蟲根目錄,就是帶有scrapy.cfg的那一層及目錄。
接著:執行:scrapyd-deploy demo -p china
因為上邊我們已經配置過scrapy.cfg檔案了,這裡直接使用配置完的引數即可:
這裡顯示我們部署成功,可以檢視執行啟動scrapyd服務端的當先目錄下有兩個資料夾:
image.png
到這一步,只是把爬蟲專案上傳到服務端,並沒有啟動,
接下來看看如何啟動:
先執行命令檢視服務端狀態:curl http://localhost:6800/daemonstatus.json
image.png
返回的資訊告訴我們:都為0
再執行啟動命令:
然後檢視網頁127.0.0.1:6800
再點jobs,
這邊就是我們爬蟲執行的狀態以及日誌。
我們在生產環境中,一般scrapyd是部署在伺服器,而我們一般會從本地直接傳送到伺服器端,這時需要調整
vim /usr/lib/python3/site-packages/scrapyd/default_scrapyd.conf
scrapyd的預設配置檔案:
預設scrapyd啟動bind繫結的ip位址是127.0.0.1埠是:6800,
將ip位址設定為0.0.0.0
開啟配置檔案不需要翻頁就能夠找到bind_address
還有更多更好用的命令,請查閱官方文件,這裡只介紹基本用法。
使用scrapyd部署scrapy redis爬蟲
pip install scrapy pip install scrapyd client找到專案下的scrapy.cfg project webfont在settings中加入 import sys import os sys.path.insert 0,os.path.join base dir...
scrapyd和scrapydweb使用詳細教程
安裝scrapyd和scrapyd client和配置 1 安裝 pip install scrapyd pip install scrapy client 安裝完成後,在cmd中啟動命令 scrapyd在瀏覽器中輸入 http localhost 6800 如果出現下面介面則表示啟動成功 不要關閉...
Scrapyd的安裝及使用(windows)
scrapyd的安裝及使用 windows 一 安裝scrapyd 注 首先確保以下的依賴包已經安裝完畢 這裡不說明下麵包如何安裝 python 2.6 or above twisted 8.0 or above scrapy 0.17 or above linux的用apt get安裝,其他用 p...