一、引擎(scrapy)
用來處理整個系統的資料流處理, 觸發事務(框架核心)
二、排程器(scheduler)
用來接受引擎發過來的請求, 壓入佇列中, 並在引擎再次請求的時候返回. 可以想像成乙個url（抓取網頁的**或者說是鏈結）的優先佇列, 由它來決定下乙個要抓取的**是什麼, 同時去除重複的**
四、爬蟲(spiders)
爬蟲是主要幹活的, 用於從特定的網頁中提取自己需要的資訊, 即所謂的實體(item)。使用者也可以從中提取出鏈結,讓scrapy繼續抓取下乙個頁面
五、專案管道(pipeline)
負責處理爬蟲從網頁中抽取的實體，主要的功能是持久化實體、驗證實體的有效性、清除不需要的資訊。當頁面被爬蟲解析後，將被傳送到專案管道，並經過幾個特定的次序處理資料。
scrapy之五大核心元件
爬蟲檔案的作用 a.解析資料 b.發請求 排程器 a.佇列 佇列是一種資料結構，擁有先進先出的特性。b.過濾器 過濾器適用於過濾的，過濾重複的請求。排程器是用來排程請求物件的。引擎 所有的例項化的過程都是由引擎來做的，根據那到的資料流進行判斷例項化的時間。處理流資料 觸發事物 scrapy五大核心元...
Scrapy五大核心元件簡介
五大核心元件 下面我們說說他們各自的作用 排程器 用來接受引擎發過來的請求,由過濾器重複的url並將其壓入佇列中,在引擎再次請求的時候返回,可以想象成乙個url 抓取網頁的 或者說是鏈結 的優先佇列,由他決定下乙個要抓取的 是什麼,使用者可以根據自己的需求定製排程器 爬蟲 爬蟲是主要幹活的,使用者最...
python爬蟲 scrapy五大核心元件和中介軟體
二 工作流程 三 中介軟體 3.2 爬蟲中介軟體 下面這張圖我們在python爬蟲 scrapy基本使用見到過，下面就稍微介紹一下scrapy的五大核心元件和中介軟體 scrapy引擎是用來控制整個系統的資料處理流程，並進行不同事務觸發，是scrapy框架的核心。排程器包含過濾器和乙個url佇列，排...