jobtracker的單點故障：
jobtracker和hdfs的namenode一樣也存在單點故障，
單點故障一直是hadoop被人詬病的大問題，
為什麼hadoop的做的檔案系統和mapreduce計算框架都是高容錯的，但是最重要的管理節點的故障機制卻如此不好，我認為主要是namenode和jobtracker在實際執行中都是在記憶體操作，而做到記憶體的容錯就比較複雜了，只有當記憶體資料被持久化後容錯才好做，namenode和jobtracker都可以備份自己持久化的檔案，但是這個持久化都會有延遲，因此真的出故障，任然不能整體恢復，另外hadoop框架裡包含zookeeper框架，zookeeper可以結合jobtracker，用幾台機器同時部署jobtracker，保證一台出故障，有一台馬上能補充上，不過這種方式也沒法恢復正在跑的mapreduce任務。
MapReduce框架原理
mapreduce工作流程 reduce端 2 流程詳解 上面的流程是整個mapreduce最全工作流程，但是shuffle過程只是從第7步開始到第15步結束，具體shuffle過程詳解，如下 1 maptask 收集我們的 map 方法輸出的 kv對，放到記憶體緩衝區中 2 從記憶體緩衝區不斷溢位...
MapReduce 框架原理
1.1 自定義bean物件實現序列化介面 乙個job在map階段並行度由客戶端在提交job時的切片數決定 每乙個split切片分配乙個 maptask 並行例項處理 預設情況，切片大小 blocksize 示例 a.txt line1 rich learning form line2 intelli...
MapReduce框架中的Shuffle機制
shuffle是map和reduce中間的資料排程過程，包括 快取 分割槽 排序等。shuffle資料排程過程 map task處理hdfs檔案，呼叫map 方法，map task的collect thread將map 方法結果放入環形緩衝區 預設大小100m 當環形緩衝區達到閾值 80 將會觸發溢...