1、resourcemanager
2、nodemanager
他負責進行資料切分；
為當前應用程式向resourcemanager去申請資源（也就是container），並分配給具體的任務；
與nodemanager通訊，用來啟停具體的任務，任務執行在container中；
而任務的監控和容錯
4、container
，以及任務執行所需的環境變數和隊任務運**況的描述。
（1）、client向resourcemanager提交作業（可以是spark/mapreduce作業）
（2）、resourcemanager會為這個作業分配乙個container
（7）最後，nodemanger啟動作業對應的任務。
Hadoop基本原理
hadoop是乙個用於海量資料統計分析的分布式計算框架，封裝了分布式計算中比較困難的程序間通訊 負載均衡，任務排程等模組，降低了學習門檻。在最簡單的程式實現中，僅僅需要重寫map和reduce方法，並實現任務提交邏輯。接下來，就讓我們一起推開hadoop的大門，走進大資料的神奇世界。hadoop目前...
七 Hadoop基本原理總結 MapReduce
一 主要組成 1 job 由客戶端向集群提交的一次計算任務。2 task 集群的最小可執行單位 乙個job將會分為多個task執行 3 resourcemanager 以下簡稱rm 管理整個集群的計算資源，主要用於為每乙個job分配計算資源 整個集群只有乙個rm 4 container 資源分配單位...
Hadoop資料切片基本原理
資料切片問題 先給不懂得同學解釋一下概念 資料塊block 是hdfs物理資料塊，乙個大檔案丟到hdfs上，會被hdfs切分成指定大小的資料塊，即block 資料切片 資料切片是邏輯概念，只是程式在輸入資料的時候對資料進行標記，不會實際切分磁碟資料 切片1 假設檔案大小為300m，切片大小為100m...