scrapy命令介紹

2021-09-25 20:54:11 字數 744 閱讀 7821

dos下輸入:scrapy -h

command:命令,

bench:測試本地硬體效能,測試爬蟲執行環境

genspider:在專案下建立爬蟲類

runspider:執行爬蟲類

settiongs:獲取配置資訊

startproject:建立新的工程

version:檢視當前版本號

在建立完專案之後,在專案目錄下開啟dos,輸入scrapy -h,這時候多出來的命令叫專案命令

scrapy  genspider 爬蟲名 網域名稱:在專案下建立乙個爬蟲spider類

scrapy runspider 爬蟲檔案:執行乙個爬蟲spider類檔案

scrapy crawl 爬蟲名稱:通過名稱指定執行爬蟲檔案

scrapy list :檢視當前專案下有多少爬蟲

crawl:執行指定爬蟲

edit:編輯爬蟲等等

初始錯誤1:

scrapy執行importerror:no module named win32api錯誤

解決辦法:pip install pypiwin32

Scrapy基本命令及spider介紹

scrapy基本命令 1.help scrapy的基本命令,用於檢視幫助資訊 列 scrapy help 2.version 檢視版本資訊,可見 v引數檢視各元件的版本資訊 列 scrapy version v 3.startproject 用於建立乙個工程,並建立乙個完整的工程目錄 列 scrap...

Scrapy框架介紹

scrapy不是乙個函式功能庫,而是乙個 爬蟲框架 什麼是爬蟲框架?爬蟲框架是實現爬蟲功能的乙個軟體結構和功能元件集合。爬蟲框架是乙個半成品,能夠幫助使用者實現專業網路爬蟲 引擎負責控制資料流在系統中所有元件中流動,並在相應動作發生時觸發事件。詳細內容檢視下面的資料流 data flow 部分此元件...

scrapy爬蟲介紹

當時我是在anaconda中建立乙個虛擬環境spider 首先安裝anaconda這個包 使用 conda create n your env name python x.x 2.7 3.6等 命令建立python版本為x.x 名字為your env name的虛擬環境。your env name檔...