scrapy怎麼debug斷點除錯

scrapy怎麼debug斷點除錯

1、 在專案的資料夾下增加乙個檔案main.py（scrapy.cfg同等級中）

main.py檔案

from scrapy.cmdline import execute

import os
import sys
if __name__ == '__main__':
execute(['scrapy','crawl','scrapy_name'])

2、除錯斷點

在scrapy的spider中設定斷點，main.py中用debug除錯則可。

eclipse條件斷點debug

問題引發場景 有時候我們在debug的時候，斷點進入乙個for迴圈中如果一直按f6 對於迴圈次數很多的情況下是很蛋疼的。這時候 條件斷點設定 就顯示出強大優勢 測試 我想當 i 500的時候讓斷點 起作用 顯然一直f6你會崩潰的 public class debugpointtest 在 break...

eclipse條件斷點debug

問題引發場景 有時候我們在debug的時候，斷點進入乙個for迴圈中如果一直按f6 對於迴圈次數很多的情況下是很蛋疼的。這時候 條件斷點設定 就顯示出強大優勢 測試 我想當 i 500的時候讓斷點 起作用 顯然一直f6你會崩潰的 public class debugpointtest 在 break...

scrapy 斷點續爬

第一步 安裝berkeleydb資料庫 第二部 pip install bsddb3 第三部 pip install scrapy deltafetch 第四部 settings.py設定 spider middlewares deltafetch enabled true deltafetch e...