1、scrapy --help
檢視scrapy的基本命令
2、scrapy
version -v
檢視scrapy版本和各元件的資訊
3、scrapy
startproject
xx 建立乙個xx工程
4、scrapy
genspider name site.com 要進入工程目錄下
name為檔名；site.com為要爬取的**的網域名稱
有兩種情況：1、在工程中產生乙個spider
2、在同乙個工程產生多個spider，不同的spider要求name不同
scrapy genspider -l 檢視爬蟲模板
5、scrapy
list
檢視工程中所有的spider file
6、scrapy
view url
檢視頁面原始碼在瀏覽器中顯示的樣子
7、scrapy
parse url
在工程中使用固定的parse函式解析某個頁面
8、scrapy shell url(html)
eg: scrapy shell
用於除錯資料、檢測xpath、檢視頁面原始碼等等
9、scrapy
runspider
xx.py 執行單個爬蟲
scrapy crawl name 執行工程裡的爬蟲
eg: scrapy crawl douban_movie_top250 -o douban.csv
10、scrapy
bench
執行乙個基準測試。可以用來檢測scrapy是否安裝成功
scrapy常用命令
scrapy startproject myfirst 建立乙個爬蟲專案 strapy startproject logfile tmp scrapy.log myfirst scrapy fetch 用例顯示爬蟲爬去的過程 scrapy runspider first.py 可以使用runspid...
Scrapy常用命令
1，新建乙個工程 scrapy startproject spider name 2，檢視當前專案內有多少爬蟲 scrapy list 3，view使用瀏覽器開啟網頁 scrapy view 4，startproject 語法 scrapy startproject 這個命令是scrapy最為常用的...
scrapy常用命令
1.建立乙個新專案 scrapy startproject myproject 2.在新專案中建立乙個新的spider檔案 scrapy genspider mydomain mydomain.com mydomain為spider檔名，mydomain.com為爬取 網域名稱 3.全域性命令 st...