引擎(egine)
引擎負責控制系統所有元件之間的資料流，並在某些動作發生時觸發事件。
排程器(scheduler)
用來接受引擎發過來的請求, 壓入佇列中, 並在引擎再次請求的時候返回. 可以想像成乙個url的優先順序佇列, 由它來決定下乙個要抓取的**是什麼, 同時去除重複的**
爬蟲(spiders)
spiders是開發人員自定義的類，用來解析responses，並且提取items，或者傳送新的請求
爬蟲中介軟體(spider middlewares)
位於egine和spiders之間，主要工作是處理spiders的輸入（即responses）和輸出（即requests）
檔案說明：
scrapy框架簡介和基礎應用
目錄小試牛刀 將糗百首頁中段子的內容和標題進行爬取 什麼是scrapy？linux pip3 install scrapywindows 注意 按順序依次全部安裝 a.pip3 install wheel d.pip3 install pywin32 e.pip3 install scrapy專案結...
scrapy爬蟲框架（一） scrapy框架簡介
開啟命令列輸入如下命令 pip install scrapy安裝完成後，python會自動將 scrapy命令新增到環境變數中去，這時我們就可以使用 scrapy命令來建立我們的第乙個 scrapy專案了。開啟命令列，輸入如下命令 scrapy startproject yourproject這裡的...
Scrapy（爬蟲應用框架）安裝配置
執行平台 windows python版本 python3.x 一 scarpy 簡介 scrapy是乙個為了爬取 資料提取結構性資料而編寫的應用框架，可以應用於資料探勘，資訊處理或儲存歷史資料等一些列的程式中。scrapy最初就是為了網路爬取而設計的。學習scrapy，它能我們更好的完成爬蟲任務，...