1）海量資料在單機上處理因為硬體資源限制，無法勝任
2）而一旦將單機版程式擴充套件到集群來分布式執行，將極大增加程式的複雜度和開發難度
3）引入mapreduce框架後，開發人員可以將絕大部分工作集中在業務邏輯的開發上，而將分布式計算中的複雜**由框架來處理。
4）mapreduce分布式方案考慮的問題
（1）運算邏輯要不要先分後合？（2）程式如何分配運算任務（切片）？
（3）兩階段的程式如何啟動？如何協調？
（4）整個程式執行過程中的監控？容錯？重試？
分布式方案需要考慮很多問題，但是我們可以將分布式程式中的公共功能封裝成框架，讓開發人員將精力集中於業務邏輯上。而mapreduce就是這樣乙個分布式程式的通用框架。
黑猴子的家 Spark RDD 為什麼會產生
rdd是spark的基石，是實現spark資料處理的核心抽象。hadoop的mapreduce是一種基於資料集的工作模式，面向資料，這種工作模式一般是從儲存上載入資料集，然後運算元據集，最後寫入物理儲存裝置。資料更多面臨的是一次性處理。mr的這種方式對資料領域兩種常見的操作不是很高效。第一種是迭代式...
黑猴子的家 Hadoop Checkpoint機制
fsimage和edit log合併的過程如下圖所示 其實這個合併過程是乙個很耗i o與cpu的操作，並且在進行合併的過程中肯定也會有其他應用繼續訪問和修改hdfs檔案。所以，這個過程一般不是在單一的namenode節點上進行從。如果hdfs沒有做ha的話，checkpoint由secondname...
黑猴子的家 FileInputFormat切片機制
1 job提交流程原始碼詳解 waitforcompletion submit 1 建立連線 connect 1 建立提交job的 new cluster getconfiguration 2 判斷是本地yarn還是遠端 initialize jobtrackaddr,conf 2 提交job su...