分析目標：
a. 分析各個元件的功能和作用
b. 分析各個元件之間的協作關係
c. 對元件進行大致的分類(核心和次要)
scrapy流程分析圖
三個內建物件：
請求物件(request)
響應物件(response)
資料物件(item)
五個核心元件：
爬蟲元件
構建請求資訊(初始的)，也就是生成請求物件(request)
解析響應物件，返回資料物件(item)或者新的請求物件(request)
排程器元件
對請求物件進行去重判斷
根據請求物件(request)，發起http、https網路請求，拿到http、https響應，構建響應物件(response)並返回
管道元件
負責處理資料物件(item)
引擎元件
負責驅動各大元件，通過呼叫各自對外提供的api介面，實現它們之間的互動和協作
提供整個框架的啟動入口
兩個中介軟體：
爬蟲中介軟體
對請求物件和資料物件進行預處理
對請求物件和響應物件進行預處理
FLASH設計思想
flash 設計思想 在中國的發展經歷了 5年的時間，起初只是一些愛好者出於個人興趣製作的 flash 作品，傳到網上以供網民瀏覽，因為更多的人喜好這種表現形式，以及商家對網路發展態勢的看好，早期的那些創作者開始承接商業廣告。自此，flash 廣告的製作逐漸興盛。flash 作為一款向量圖形和動畫製...
js設計思想
程式是什麼?生活中的程式 1 宿舍保修 填寫維修單 商報宿舍管理員 聯絡物業 找師傅上門維修 反饋 2 銀行開戶 客戶填寫開戶申請單 提交證件資料 審核資料真實性第一種 如果是本人 資料真實齊全則通過 第二種 其他人代辦 有委託書 資料真實齊全則通過。不滿足則拒絕 錄入系統開戶 設定密碼 發放卡 存...
linux unix設計思想
看了 linux unix設計思想 這本書，覺得書的大部分內容都閒扯的太遠了，以下簡單的總結下本書的核心，幫助大家節省時間和金錢。linux unix設計思想 1 程式應該小而專一，程式應該盡量的小，且只專注於一件事上，不要開發那些看起來有用但是90 的情況都用不到的特性 2 程式不只要考慮效能，程...