爬蟲 Scrapy常用命令

2021-09-01 23:49:54 字數 497 閱讀 4279

命令

說明格式

startproject

建立乙個新工程

scrapy startproject[dir]

genspider

建立乙個爬蟲

scrapy genspider [options]

settings

獲得爬蟲配置資訊

scrapy settings [options]

crawl

執行乙個爬蟲

scrapy crawl

list

列出工程中所有爬蟲

scrapy list

shell

啟動url除錯命令列

scrapy shell [url]

scrapy爬蟲的命令列邏輯

為什麼scrapy採用命令列建立和執行爬蟲?

*命令列(不是圖形介面)更容易自動化,適合指令碼控制。

*本質上,scrapy是給程式設計師用的,功能(而不是介面)更重要。

scrapy常用命令

scrapy startproject myfirst 建立乙個爬蟲專案 strapy startproject logfile tmp scrapy.log myfirst scrapy fetch 用例顯示爬蟲爬去的過程 scrapy runspider first.py 可以使用runspid...

Scrapy常用命令

1,新建乙個工程 scrapy startproject spider name 2,檢視當前專案內有多少爬蟲 scrapy list 3,view使用瀏覽器開啟網頁 scrapy view 4,startproject 語法 scrapy startproject 這個命令是scrapy最為常用的...

scrapy常用命令

1.建立乙個新專案 scrapy startproject myproject 2.在新專案中建立乙個新的spider檔案 scrapy genspider mydomain mydomain.com mydomain為spider檔名,mydomain.com為爬取 網域名稱 3.全域性命令 st...