Scrapyd使用教程

2021-09-20 01:20:57 字數 3005 閱讀 4334

pip install scrapyd

安裝完成後,在你當前的python環境根目錄c:\program files\python35\scripts下,有乙個scrapyd.exe,

開啟命令列,輸入scrapyd,如下圖:

這樣scrapyd就執行起來了,訪問127.0.0.1:6800即可看到視覺化介面。

注:如果在命令列執行scrapyd報錯如下圖:

scrapyd其實就是乙個伺服器端,真正在部署爬蟲的時候,我們需要兩個東西:

scrapyd (安裝在伺服器端)

scrapy-client (客戶端)

scrapy-client,它允許我們將本地的scrapy專案打包傳送到scrapyd 這個服務端

安裝 scrapy-client:pip install scrapy-client

在scrapy專案目錄下,有乙個scrapy.cfg的配置檔案:

把原先注釋掉的url那一行取消注釋,這個就是我們要部署到目標伺服器的位址,

然後,把[deploy]這裡改為[deploy:demo],這裡是命名為demo,命名可以任意怎麼都可以,只要能標識出來專案就可以。

下邊的project 就是我們的工程名,到此配置檔案更改完成。

接著,執行scrapyd-deploy,這個命令在windows下是執行不了的,(在mac和linux下都是可以的)因為在我們安裝的根目錄c:\program files\python35\scripts中可以檢視這個檔案是沒有字尾名的:

解決方法:在同目錄下,新建檔案scrapyd-deploy.bat

@echo off

"c:\program files\python35\python.exe" "c:\program files\python35\scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9

上邊**是呼叫的我的環境中的python.exe路徑,大家可以根據自己環境來改變路徑做配置。

這樣就可以執行scrapyd-deploy這個命令了。

然後,進入到我們爬蟲的根目錄,執行scrapyd-deploy:

顯示這個就證明我們成功執行了scrapyd-deploy,注意:一定要進入爬蟲根目錄,就是帶有scrapy.cfg的那一層及目錄。

接著:執行:scrapyd-deploy demo -p china

因為上邊我們已經配置過scrapy.cfg檔案了,這裡直接使用配置完的引數即可:

這裡顯示我們部署成功,可以檢視執行啟動scrapyd服務端的當先目錄下有兩個資料夾:

image.png

到這一步,只是把爬蟲專案上傳到服務端,並沒有啟動,

接下來看看如何啟動:

先執行命令檢視服務端狀態:curl http://localhost:6800/daemonstatus.json

image.png

返回的資訊告訴我們:都為0

再執行啟動命令:

然後檢視網頁127.0.0.1:6800

再點jobs,

這邊就是我們爬蟲執行的狀態以及日誌。

我們在生產環境中,一般scrapyd是部署在伺服器,而我們一般會從本地直接傳送到伺服器端,這時需要調整

vim /usr/lib/python3/site-packages/scrapyd/default_scrapyd.conf

scrapyd的預設配置檔案:

預設scrapyd啟動bind繫結的ip位址是127.0.0.1埠是:6800,

將ip位址設定為0.0.0.0

開啟配置檔案不需要翻頁就能夠找到bind_address

還有更多更好用的命令,請查閱官方文件,這裡只介紹基本用法。

使用scrapyd部署scrapy redis爬蟲

pip install scrapy pip install scrapyd client找到專案下的scrapy.cfg project webfont在settings中加入 import sys import os sys.path.insert 0,os.path.join base dir...

scrapyd和scrapydweb使用詳細教程

安裝scrapyd和scrapyd client和配置 1 安裝 pip install scrapyd pip install scrapy client 安裝完成後,在cmd中啟動命令 scrapyd在瀏覽器中輸入 http localhost 6800 如果出現下面介面則表示啟動成功 不要關閉...

Scrapyd的安裝及使用(windows)

scrapyd的安裝及使用 windows 一 安裝scrapyd 注 首先確保以下的依賴包已經安裝完畢 這裡不說明下麵包如何安裝 python 2.6 or above twisted 8.0 or above scrapy 0.17 or above linux的用apt get安裝,其他用 p...