dos下輸入:scrapy -h
command:命令,
bench:測試本地硬體效能,測試爬蟲執行環境
genspider:在專案下建立爬蟲類
runspider:執行爬蟲類
settiongs:獲取配置資訊
startproject:建立新的工程
version:檢視當前版本號
在建立完專案之後,在專案目錄下開啟dos,輸入scrapy -h,這時候多出來的命令叫專案命令
scrapy genspider 爬蟲名 網域名稱:在專案下建立乙個爬蟲spider類
scrapy runspider 爬蟲檔案:執行乙個爬蟲spider類檔案
scrapy crawl 爬蟲名稱:通過名稱指定執行爬蟲檔案
scrapy list :檢視當前專案下有多少爬蟲
crawl:執行指定爬蟲
edit:編輯爬蟲等等
初始錯誤1:
scrapy執行importerror:no module named win32api錯誤
解決辦法:pip install pypiwin32
Scrapy基本命令及spider介紹
scrapy基本命令 1.help scrapy的基本命令,用於檢視幫助資訊 列 scrapy help 2.version 檢視版本資訊,可見 v引數檢視各元件的版本資訊 列 scrapy version v 3.startproject 用於建立乙個工程,並建立乙個完整的工程目錄 列 scrap...
Scrapy框架介紹
scrapy不是乙個函式功能庫,而是乙個 爬蟲框架 什麼是爬蟲框架?爬蟲框架是實現爬蟲功能的乙個軟體結構和功能元件集合。爬蟲框架是乙個半成品,能夠幫助使用者實現專業網路爬蟲 引擎負責控制資料流在系統中所有元件中流動,並在相應動作發生時觸發事件。詳細內容檢視下面的資料流 data flow 部分此元件...
scrapy爬蟲介紹
當時我是在anaconda中建立乙個虛擬環境spider 首先安裝anaconda這個包 使用 conda create n your env name python x.x 2.7 3.6等 命令建立python版本為x.x 名字為your env name的虛擬環境。your env name檔...