scrapy 命令列基本用法

2022-07-14 23:21:23 字數 2505 閱讀 9752

1.建立乙個新專案：

scrapy startproject myproject
2.在新專案中建立乙個新的spider檔案：

scrapy genspider mydomain mydomain.com
mydomain為spider檔名，mydomain.com為爬取**網域名稱

3.全域性命令：

startproject


genspider


settings


runspider


shell


fetch


view


version
4.只在專案中使用的命令（區域性命令）：

crawl


check


list


edit


parse


bench
5.執行spider檔案：

scrapy crawl
5.1 執行spider檔案 不顯示日誌

scrapy crawl --nolog
6.檢查spider檔案有無語法錯誤：

scrapy check
7.列出spider路徑下的spider檔案：

scrapy list

scrapy edit
相當於開啟vim模式，實際並不好用，在ide中編輯更為合適。

scrapy fetch
10.將網頁內容儲存下來，並在瀏覽器中開啟當前網頁內容，直觀呈現要爬取網頁的內容:

scrapy view
11.開啟 scrapy 顯示臺，類似ipython，可以用來做測試：

scrapy shell [url]
12.輸出格式化內容：

scrapy parse [options]
13.返回系統設定資訊：

scrapy settings [options]
如：

$ scrapy settings --get bot_name


scrapybot
14.執行spider：

scrapy runspider
15.顯示scrapy版本：

scrapy version [-v]
後面加 -v 可以顯示scrapy依賴庫的版本

16.測試電腦當前爬取速度效能：

scrapy bench
1.建立乙個新專案：

scrapy startproject myproject
2.在新專案中建立乙個新的spider檔案：

scrapy genspider mydomain mydomain.com
mydomain為spider檔名，mydomain.com為爬取**網域名稱

3.全域性命令：

startproject


genspider


settings


runspider


shell


fetch


view


version
4.只在專案中使用的命令（區域性命令）：

crawl


check


list


edit


parse


bench
5.執行spider檔案：

scrapy crawl
5.1 執行spider檔案 不顯示日誌

scrapy crawl --nolog
6.檢查spider檔案有無語法錯誤：

scrapy check
7.列出spider路徑下的spider檔案：

scrapy list

scrapy edit
相當於開啟vim模式，實際並不好用，在ide中編輯更為合適。

scrapy fetch
10.將網頁內容儲存下來，並在瀏覽器中開啟當前網頁內容，直觀呈現要爬取網頁的內容:

scrapy view
11.開啟 scrapy 顯示臺，類似ipython，可以用來做測試：

scrapy shell [url]
12.輸出格式化內容：

scrapy parse [options]
13.返回系統設定資訊：

scrapy settings [options]
如：

$ scrapy settings --get bot_name


scrapybot
14.執行spider：

scrapy runspider
15.顯示scrapy版本：

scrapy version [-v]
後面加 -v 可以顯示scrapy依賴庫的版本

16.測試電腦當前爬取速度效能：

scrapy bench

Scrapy命令列基本用法

1.建立乙個新專案 scrapy startproject myproject 2.在新專案中建立乙個新的spider檔案 scrapy genspider mydomain mydomain.com mydomain為spider檔名，mydomain.com為爬取 網域名稱 3.全域性命令 st...

git命令列基本用法

如果對git命令列不熟悉的話，用git圖形介面工具，就比較合適了。建議使用tortoisegit 或sourectree這樣的工具，命令列從學習到靈活掌握的時間成本比較高的。1，新增 git clone git 192.168.10.202 develop test.git cd test touc...

Scrapy 命令列工具

startproject 全域性命令 在當前路徑下建立乙個名為myproject的 scrapy專案 語法 scrapy startproject myproject genspider 需要專案 在當前專案中建立spider僅僅是建立spider的一種快捷方法，可以使用提前定義好的模板來生成spi...