任何架構都是由需求分析得來，而spark是由怎麼樣的需求分析而來的呢？
需求：怎樣快速計算大資料
解決方案：將大量的資料分成很多塊，讓不同的計算機進行計算，然後再彙總起來，這就是簡單的mr計算模型。
但是hadoop的mr計算模型，太單一，而且重度依賴io，
新的需求：需求又來了，怎樣又讓它快，又讓它計算模型複雜呢？
需求分析：
1. 非功能性需求：計算快
什麼導致mr 計算模型慢呢：
在mapreduce任務內部，為了防止reduce任務的失敗，map通常會把結果儲存在磁碟上。
2. 功能需求：複雜的計算模型。
map stage 、 reduce stage
這個計算模型，如果需要複雜的怎麼辦呢，需要多個 mapreduce,形成乙個dag。這樣不僅慢，而且很笨重。
（未完待續）
企業架構思考
roger sessions是objectwatch的cto。在紐西蘭teched2009的session arc203 services and complexity 分享了自己關於企業架構的獨特觀點，非常令人印象深刻，無疑可以給大家帶來很多思考。roger認為ea企業架構可以實現的所謂 立即的 ...
程式架構思考
可以將程式分為3部分，乙個是邏輯 logic 乙個是控制 control 資料結構 data structures 邏輯是用來解決實際問題的，也就是具體問題的實現。控制是將多個邏輯組合起來工作的方式，即邏輯組合的策略。資料結構是計算機中儲存 組織資料的方式。程式執行的效率取決於這三者的組合結果。如果...
企業架構思考
roger sessions是objectwatch的cto。在紐西蘭teched2009的session arc203 services and complexity 分享了自己關於企業架構的獨特觀點，非常令人印象深刻，無疑可以給大家帶來很多思考。roger認為ea企業架構可以實現的所謂 立即的 ...