針對scrapyd 的上傳版本 這一api中的引數:project 工程名 version 版本名 egg egg包
1.首先建立乙個scrapy專案,通過命令scrapy startproject 專案名
2.一直按同名目錄進去,找到spider目錄,建立乙個.py檔案,寫入(來自
import scrapy
class quotesspider(scrapy.spider):
name = "quotes"
start_urls = [
'',]def parse(self, response):
for quote in response.css('div.quote'):
yield
next_page = response.css('li.next a::attr("href")').extract_first()
if next_page is not none:
yield response.follow(next_page, self.parse)
3.儲存,建立完成
4.開始生成egg包,進入專案根目錄(利用scrapyd客戶端進行打包)
scrapyd-deploy -p 專案名 -v 版本名 --build-egg=egg包名.egg
mac安裝並建立Scrapy專案
以下命令要使用終端進行 1.安裝brew ruby e curl fssl sudo chown r whoami usr local cellar 賦予許可權,防止出現一些許可權錯誤 2.安裝python3 可以不用安裝,我用的python3 brew install python3 3.安裝sc...
mac安裝並建立Scrapy專案
以下命令要使用終端進行 1.安裝brew ruby e curl fssl sudo chown r whoami usr local cellar 賦予許可權,防止出現一些許可權錯誤 2.安裝python3 可以不用安裝,我用的python3 brew install python3 3.安裝sc...
建立scrapy專案
1.windows r開啟 cmd命令列工具,cd desktop 進入到桌面目錄 2.輸入建立專案命令 scrapy startproject 專案名 3.cd 到 專案目錄下 cd專案名 4.執行建立爬蟲的命令 scrapy genspider 爬蟲名 爬蟲起始 5.使用pycharm開啟專案,...