scrapy提供了log功能,可以通過 logging 模組使用
可以修改配置檔案settings.py,任意位置新增下面兩行
log_file = "myspider.log"
log_level = "info"
scrapy提供5層logging級別:
logging設定
通過在setting.py中進行以下設定可以被用來配置logging:
log_enabled
預設: true,啟用logging
log_encoding
預設: 'utf-8',logging使用的編碼
log_file
預設: none,在當前目錄裡建立logging輸出檔案的檔名
log_level
預設: 'debug',log的最低級別
log_stdout
預設: false 如果為 true,程序所有的標準輸出(及錯誤)將會被重定向到log中。例如,執行 print "hello" ,其將會在scrapy log中顯示
scrapy如何檢視log日誌資訊?
1log資訊 如何檢視log日誌資訊?log enabled 是否開啟log log encoding 編碼格式2 重要 log file log檔案路徑 log level critical 嚴重錯誤 critical error 一般錯誤 regular errors warning 警告資訊 ...
爬蟲scrapy框架 log日誌輸出配置及使用
1 在配置檔案中設定日誌輸出檔名和日誌等級 1 為什麼以日期為檔名?因為這樣可以方便開發者檢視每天的日誌資訊,同時也可以防止單檔案log日誌資訊堆積的越來越多,所以將當天日誌資訊儲存到當天的日誌檔案中 2 配置選項有日誌等級log level 日誌檔案路徑log file,我這裡設定等級為warni...
scrapy 開發日誌
1 配置scrapy除錯 在工程檔案下新建python資料夾main.py用於除錯專案 當然還可以使用pdb進行除錯 main.py from scrapy.cmdline import execute import sys import os execute scrapy crawl buycar...