先說明一下五大元件各自的作用：
用來完成整個系統的資料流處理，觸發事務（框架核心）。
包括兩部分：過濾器和佇列，用來接受引擎發過來的請求，先經過過濾器對請求進行去重，然後壓入佇列中，可以想像成乙個url（抓取網頁的**或者說是鏈結）的優先佇列，由它來決定下乙個要抓取的**是什麼，然後再根據佇列將url返回給引擎。
爬蟲是主要幹活的，用於產生url並對url進行請求傳送，然後呼叫response進行資料解析，封裝在item（實體）中。
負責處理爬蟲從網頁中抽取的實體item，主要的功能是持久化儲存、驗證實體的有效性、清除不需要的資訊。當頁面被爬蟲解析後，將被傳送到專案管道，並經過這幾個特定的次序處理資料。
流程圖：
流程說明：
scrapy之五大核心元件
爬蟲檔案的作用 a.解析資料 b.發請求 排程器 a.佇列 佇列是一種資料結構，擁有先進先出的特性。b.過濾器 過濾器適用於過濾的，過濾重複的請求。排程器是用來排程請求物件的。引擎 所有的例項化的過程都是由引擎來做的，根據那到的資料流進行判斷例項化的時間。處理流資料 觸發事物 scrapy五大核心元...
scrapy五大核心元件
一 引擎 scrapy 用來處理整個系統的資料流處理,觸發事務 框架核心 二 排程器 scheduler 用來接受引擎發過來的請求,壓入佇列中,並在引擎再次請求的時候返回.可以想像成乙個url 抓取網頁的 或者說是鏈結 的優先佇列,由它來決定下乙個要抓取的 是什麼,同時去除重複的 四 爬蟲 spid...
Scrapy五大核心元件簡介
五大核心元件 下面我們說說他們各自的作用 排程器 用來接受引擎發過來的請求,由過濾器重複的url並將其壓入佇列中,在引擎再次請求的時候返回,可以想象成乙個url 抓取網頁的 或者說是鏈結 的優先佇列,由他決定下乙個要抓取的 是什麼,使用者可以根據自己的需求定製排程器 爬蟲 爬蟲是主要幹活的,使用者最...