簡單建立scrapy專案並生成egg包

2021-10-08 02:03:16 字數 649 閱讀 2490

針對scrapyd 的上傳版本 這一api中的引數:project 工程名 version 版本名 egg egg包

1.首先建立乙個scrapy專案,通過命令scrapy startproject 專案名

2.一直按同名目錄進去,找到spider目錄,建立乙個.py檔案,寫入(來自

import scrapy

class quotesspider(scrapy.spider):

name = "quotes"

start_urls = [

'',]def parse(self, response):

for quote in response.css('div.quote'):

yield

next_page = response.css('li.next a::attr("href")').extract_first()

if next_page is not none:

yield response.follow(next_page, self.parse)

3.儲存,建立完成

4.開始生成egg包,進入專案根目錄(利用scrapyd客戶端進行打包)

scrapyd-deploy -p 專案名 -v 版本名 --build-egg=egg包名.egg

mac安裝並建立Scrapy專案

以下命令要使用終端進行 1.安裝brew ruby e curl fssl sudo chown r whoami usr local cellar 賦予許可權,防止出現一些許可權錯誤 2.安裝python3 可以不用安裝,我用的python3 brew install python3 3.安裝sc...

mac安裝並建立Scrapy專案

以下命令要使用終端進行 1.安裝brew ruby e curl fssl sudo chown r whoami usr local cellar 賦予許可權,防止出現一些許可權錯誤 2.安裝python3 可以不用安裝,我用的python3 brew install python3 3.安裝sc...

建立scrapy專案

1.windows r開啟 cmd命令列工具,cd desktop 進入到桌面目錄 2.輸入建立專案命令 scrapy startproject 專案名 3.cd 到 專案目錄下 cd專案名 4.執行建立爬蟲的命令 scrapy genspider 爬蟲名 爬蟲起始 5.使用pycharm開啟專案,...