- **引擎( engine)**
*用來處理整個系統的資料流, 觸發事務(框架核心)*
- **排程器(scheduler)**
*用來接受引擎發過來的請求, 壓入佇列中, 並在引擎再次請求的時候返回. 可以想像成乙個url（抓取網頁的**或者說是鏈結）的優先佇列, 由它來決定下乙個要抓取的**是什麼, 同時去除重複的***
- **爬蟲(spiders)**
- **專案管道(pipeline)**
*負責處理爬蟲從網頁中抽取的實體，主要的功能是持久化實體、驗證實體的有效性、清除不需要的資訊。當頁面被爬蟲解析後，將被傳送到專案管道，並經過幾個特定的次序處理資料。*
- **爬蟲中介軟體(spider middlewares)**
*介於scrapy引擎和爬蟲之間的框架，主要工作是處理蜘蛛的響應輸入和請求輸出。*
- **排程中介軟體(scheduler middewares)**
*介於scrapy引擎和排程之間的中介軟體，從scrapy引擎傳送到排程的請求和響應。*
scrapy 框架的工作流程
scrapy 框架的工作流程 1，首先spider將需要傳送請求的url 經scapyengin 引擎 交給scheduler 排程器 2，排程器 排隊入隊 處理後，經引擎，middlewares 可選，主要有user agent，proxy 交給 4，spider處理response，提取資料並將...
Scrapy的簡介及工作流程講解
目錄 1 簡介 2 安裝 3 scrapy架構圖 名詞解釋 4 scrapy工作流程 scrapy是乙個python的爬蟲框架，它使用twisted作為非同步處理網路請求 它可以將非結構化的資料或者半結構化的資料轉化為結構化資料。包含了各種中介軟體去各司其職的去完成乙個任務。spiders發起乙個請...
Struts工作流程
文章分類 招聘求職 乙個使用者的請求是通actionservlet來處理和 的。那麼，actionservlet如何決定把使用者請求 給哪個action物件呢？這就需要一些描述使用者請求路徑和action衍射關係的配置資訊了。在struts中，這些配置對映資訊都儲存在特定的xml檔案struts c...