註明：以及相關資料均來自scalable machine learning from berkelyx，只是個人總結使用，侵權即刪
mr的價值體現在對大資料集的分布式處理上。
如下面的圖例：（來自scalable machine learning from berkelyx）
將大規模的文件先分開成不同的partitions到不同的worker；再通過map，對每乙個worker的文件進行對映處理；最後一步通過reduce操作，分而治之。
一張圖表示spark整體架構：
rdds就是分布在workers上的
spark context一開始就要定義
resilient distributed datasets存在樣式：
一旦建立不可更改！
對rdds的操作例項可參見我的另一篇文章spark+python lab2
《未完待續》
Spark（六） Spark計算模型
整個spark框架都是基於rdd運算元來進行計算的。what is rdd？resilient distributed dataset rdd 分布式彈性資料集，是spark上的乙個核心抽象 表示用於平行計算的，不可修改的，對資料集合進行分片的資料結構 簡單地，可以將rdd看成是spark平台上的通...
Spark資源模型
spark作業執行圖 1.使用spark submit提交乙個spark應用，這個應用 作業會啟動乙個對應的driver程序，這個driver會根據提交模式的不同，可能在本地啟動 client 也可能在集群中某個工作節點 cluster 上啟動。driver服務程序啟動，會根據我們設定的引數，占用一...
Spark計算模型
rdd resilient distributed dateset 叫做彈性分布式資料集，是spark中最基本的資料抽象，它代表乙個不可變 可分割槽 裡面的元素可平行計算的集合。rdd具有資料流模型的特點 自動容錯 位置感知性排程和可伸縮性。rdd之間存在依賴關係，可進行恢復，rdd代表的資料集可以...