背景簡介：scrapy框架分為5+2結構，
5指的是spider模組、engine模組、scheduler（排程模組）、**********模組、pipleline模組
2指的是**********middleware和spidermiddleware
我**的問題是：在scrapy中定義的start_request（）方法在什麼時候被呼叫？
在工程執行時，start_request()會被自動呼叫一次，若其中只有一次yield，則在這一次就產生了request（請求）。
若start_request()中有乙個迴圈，有多個請求，那麼這個方法第二次被呼叫時什麼時候呢？
我在中介軟體中設定了乙個延時函式(time.sleep(delay)),delay為乙個隨機時間，然後在這個函式後輸出乙個內容，用於讓我知道這個延時函式已經執行完了。
然後執行程式，輸出的結果為：
我也通過顯示字串的方法，得知在pipleline模組中的process_item函式被呼叫執行完成後，爬蟲模組中的請求解析函式（parse）會被再次呼叫。
Scrapy框架的流程
那麼 scrapy是如何幫助我們抓取資料的呢？scrapy框架的工作流程 1.首先spiders 爬蟲 將需要傳送請求的url requests 經scrapyengine 引擎 交給scheduler 排程器 2.scheduler 排序，入隊 處理後，經scrapyengine，middlewa...
scrapy 框架的工作流程
scrapy 框架的工作流程 1，首先spider將需要傳送請求的url 經scapyengin 引擎 交給scheduler 排程器 2，排程器 排隊入隊 處理後，經引擎，middlewares 可選，主要有user agent，proxy 交給 4，spider處理response，提取資料並將...
scrapy框架爬蟲流程與介紹
學習scrapy框架的網上教材 1.scrapy 的基礎概念 二 整體架構 爬取流程 上圖綠線是資料流向，所有的操作都是圍繞著scrapyengine進行操作的，也就是說 scrapyengine處理指揮著整個框架 引擎開啟乙個 open adomain 找到處理該 的spider並向該spider...