scrapy startproject myfirst//建立乙個爬蟲專案
strapy startproject --logfile="/tmp/scrapy.log" myfirst
scrapy fetch 用例顯示爬蟲爬去的過程
scrapy runspider first.py//可以使用runspider直接執行該爬蟲檔案,而不依託scrapy爬蟲專案
scrapy settings --get bot_name //可以通過settings檢視scrapy對應的配置資訊
scrapy shell
啟動scrapy的互動終端
##### 專案命令
cd myfirst
scrapy genspider -l//檢視當前可以使用的爬蟲模板
scrapy genspider -t basic wocao wocao.com//基於basic爬蟲模板建立乙個新的爬蟲檔案wocao
scrapy genspider -d basic//檢視某個爬蟲模板的內容
scrapy check wocao//
scrapy crawl wocao//啟動爬蟲
scrapy list
scrapy edit wocao
Scrapy常用命令
1，新建乙個工程 scrapy startproject spider name 2，檢視當前專案內有多少爬蟲 scrapy list 3，view使用瀏覽器開啟網頁 scrapy view 4，startproject 語法 scrapy startproject 這個命令是scrapy最為常用的...
scrapy常用命令
1.建立乙個新專案 scrapy startproject myproject 2.在新專案中建立乙個新的spider檔案 scrapy genspider mydomain mydomain.com mydomain為spider檔名，mydomain.com為爬取 網域名稱 3.全域性命令 st...
scrapy 常用命 令
原文 終端命令建立乙個專案 scrapy startproject name 利用蜘蛛名建立乙個py檔案 scrapy genspider name domain.name 在終端執行 scrapy shell url 得到response 利用蜘蛛名進行相對應的執行 scrapy crawl na...