scrapy主要用於做專案爬蟲（爬蟲專案下面可能有多個爬蟲檔案）
全域性命令在scrapy專案外也可以使用
1.scrapy -h 獲取幫助
爬取網頁，不依賴爬蟲專案爬取網頁,主要用來檢視爬取過程
scrapy fetch -h（檢視幫助）
執行爬蟲檔案
要進入檔案所在資料夾開啟cmd
first.py是建立的爬蟲檔案
啟動scrapy的互動終端，在不啟動scrapy爬蟲的情況下對網頁進行除錯，可以在互動終端輸入一些python**
5.scrapy startproject很重要
用來建立爬蟲專案，**如：scrapy startproject first
first為專案名
顯示scrapy框架版本資訊
1.scrapy -h進入建立的專案first，開啟cdm執行該段**，可檢視所有專案命令
2.scrapy bench
測試本地硬體效能
3.scrapy genderspider
檢視爬蟲模板列表：scrapy genspider -l
基於模板建立爬蟲檔案：scrapy genspider -t basic zhangzhichao baidu.com
（basic是模板；zhangzhichao是檔名；baidu.com是網域名稱
scrapy check zhangzhichao（用於測試）
5.scrapy crawl很重要
執行爬蟲檔案
scrapy crawl zhangzhichao -
-nolog
7.scrapy parse
scrapy parse http：(獲取指定url並解析）
scrapy常用命令筆記
1 scrapy help 檢視scrapy的基本命令 2 scrapy version v 檢視scrapy版本和各元件的資訊 3 scrapy startproject xx 建立乙個xx工程 4 scrapy genspider name site.com 要進入工程目錄下 name為檔名 s...
scrapy常用命令
scrapy startproject myfirst 建立乙個爬蟲專案 strapy startproject logfile tmp scrapy.log myfirst scrapy fetch 用例顯示爬蟲爬去的過程 scrapy runspider first.py 可以使用runspid...
Scrapy常用命令
1，新建乙個工程 scrapy startproject spider name 2，檢視當前專案內有多少爬蟲 scrapy list 3，view使用瀏覽器開啟網頁 scrapy view 4，startproject 語法 scrapy startproject 這個命令是scrapy最為常用的...