scrapy startproject 專案名
例子如下：
scrapy startproject test1這個時候爬蟲的目錄結構就已經建立完成了,目錄結構如下：
命令的使用範圍這裡的命令分為全域性的命令和專案的命令，全域性的命令表示可以在任何地方使用，而專案的命令只能在專案目錄下使用
全域性的命令有：
startproject
genspider
settings
runspider
shell
fetch
view
version
專案命令有：
crawl
check
list
edit
parse
bench
startproject
這個命令沒什麼過多的用法，就是在建立爬蟲專案的時候用
genspider
用於生成爬蟲，這裡scrapy提供給我們不同的幾種模板生成spider,預設用的是basic,我們可以通過命令檢視所有的模板
scrapy genspider -l當我們建立的時候可以指定模板，不指定預設用的basic,如果想要指定模板則通過
scrapy genspider -t 模板名字
$ scrapy genspider -t crawl zhihuspider zhihu.comcrawl這個是用去啟動spider爬蟲格式為：
scrapy crawl 爬蟲名字
這裡需要注意這裡的爬蟲名字和通過scrapy genspider 生成爬蟲的名字是一致的
check
用於檢查**是否有錯誤，scrapy check
list
scrapy list列出所有可用的爬蟲
fetch
這裡有一些引數：
--nolog 不列印日誌
--headers 列印響應頭資訊
--no-redirect 不做跳轉
因為現在很多**的資料都是通過ajax請求來載入的，這個時候直接通過requests請求是無法獲取我們想要的資料，所以這個view命令可以幫助我們很好的判斷
shell
這裡最後給我們返回乙個response,這裡的response就和我們通requests請求網頁獲取的資料是相同的。
view(response)會直接在瀏覽器顯示結果
response.text 獲取網頁的文字
下圖是css選擇器的乙個簡單用法
獲取當前的配置資訊
通過scrapy settings -h可以獲取這個命令的所有幫助資訊
scrapy settings -h
scrapy settings --get=mysql_hostrunspider這個和通過crawl啟動爬蟲不同，這裡是scrapy runspider 爬蟲檔名稱
所有的爬蟲檔案都是在專案目錄下的spiders資料夾中
version
檢視版本資訊，並檢視依賴庫的資訊
scrapy versionscrapy startproject 專案名
例子如下：
scrapy startproject test1這個時候爬蟲的目錄結構就已經建立完成了,目錄結構如下：
命令的使用範圍這裡的命令分為全域性的命令和專案的命令，全域性的命令表示可以在任何地方使用，而專案的命令只能在專案目錄下使用
全域性的命令有：
startproject
genspider
settings
runspider
shell
fetch
view
version
專案命令有：
crawl
check
list
edit
parse
bench
startproject
這個命令沒什麼過多的用法，就是在建立爬蟲專案的時候用
genspider
用於生成爬蟲，這裡scrapy提供給我們不同的幾種模板生成spider,預設用的是basic,我們可以通過命令檢視所有的模板
scrapy genspider -l當我們建立的時候可以指定模板，不指定預設用的basic,如果想要指定模板則通過
scrapy genspider -t 模板名字
$ scrapy genspider -t crawl zhihuspider zhihu.comcrawl這個是用去啟動spider爬蟲格式為：
scrapy crawl 爬蟲名字
這裡需要注意這裡的爬蟲名字和通過scrapy genspider 生成爬蟲的名字是一致的
check
用於檢查**是否有錯誤，scrapy check
list
scrapy list列出所有可用的爬蟲
fetch
這裡有一些引數：
--nolog 不列印日誌
--headers 列印響應頭資訊
--no-redirect 不做跳轉
因為現在很多**的資料都是通過ajax請求來載入的，這個時候直接通過requests請求是無法獲取我們想要的資料，所以這個view命令可以幫助我們很好的判斷
shell
這裡最後給我們返回乙個response,這裡的response就和我們通requests請求網頁獲取的資料是相同的。
view(response)會直接在瀏覽器顯示結果
response.text 獲取網頁的文字
下圖是css選擇器的乙個簡單用法
獲取當前的配置資訊
通過scrapy settings -h可以獲取這個命令的所有幫助資訊
scrapy settings -h
scrapy settings --get=mysql_hostrunspider這個和通過crawl啟動爬蟲不同，這裡是scrapy runspider 爬蟲檔名稱
所有的爬蟲檔案都是在專案目錄下的spiders資料夾中
version
檢視版本資訊，並檢視依賴庫的資訊
scrapy version
Scrapy 命令列工具
startproject 全域性命令 在當前路徑下建立乙個名為myproject的 scrapy專案 語法 scrapy startproject myproject genspider 需要專案 在當前專案中建立spider僅僅是建立spider的一種快捷方法，可以使用提前定義好的模板來生成spi...
scrapy 命令列操作
1.建立專案 scrapy startproject myproject cd myproject 2.建立爬蟲 scrapy genspider t crawl myspider www.baidu.com 建立有rules配置 3.執行爬蟲 scrapy crawl myspider 4.錯誤檢...
scrapy爬蟲》scrapy命令列操作
1.mysql資料庫 2.mongodb資料庫 3.redis資料庫 1.建立專案 scrapy startproject myproject cd myproject 2.建立爬蟲 scrapy genspider t crawl myspider www.baidu.com 建立有rules配置...