hadoop的組成hadoop1.x和2.x區別
1.x 有mr、hdfs、common
2.x 有mr、yarn、hdfs、common
1.x 的mr負責計算和資源排程
2.x 的mr功能拆分成了mr和yarn 分別負責計算和資源排程。
我們主要來說下2.x版本
1.hdfs
1>nn:name node 儲存檔案的元資料
2>dn:data node 儲存檔案塊資料,以及資料的校驗和
3>2nn:secondary name node 輔助nn,用來監控hdfs狀態的輔助後台程式,每隔一段時間來獲取元資料的快照
2.yarn:負責集群中所有計算資源的管理和排程
常見的程序:
1>resoure manager(rm)1個:負責整個集群所有資源管理
職責:負責接收客戶端提交的job請求
負責向nm分配任務
負責接收nm上報的資訊
2>nodemanager(nm)n個:負責單台計算機所有資源管理,統計自己還有幾個cpu、記憶體,想rm上報。
職責:負責和rm進行通訊,上報本機可用資源
負責領取rm分配任務
負責job中的每個task分配計算資源
概念:container(容器):nodemanager為job的某個task分配了1個cpu和2g記憶體的計算資源,為了防止當前task再使用這些資源期間,被其他task搶占,將計算資源封裝到乙個container中,在container中的資源,會暫時被隔離,無法被其他程序搶占。
當task執行完,當前container中國的資源會被釋放,允許其他task來使用。
3.mr:mapreduce(程式設計規範)
計算過程分為2個階段: map階段和reduce階段。
1>map階段並行處理輸入資料
2>reduce對map結果進行彙總
遵循mapreduce的程式設計規範,編寫的程式,打包後,成為乙個job(任務)
job需要提交到yarn上,向yarn申請計算資源,執行job中的task(程序)
hadoop1 x和hadoop2 x的對比
1.能否總結出mapreduce設計思路?2.hadoop1遇到了什麼問題?3.hadoop2做了什麼改進,具體哪些變化?對 hadoop1 和 hadoop 2 做了乙個解釋 不錯 拿來看看 從上圖中可以清楚的看出原 mapreduce 程式的流程及設計思路 可以看得出原來的 map reduce...
Hadoop1 x與Hadoop2 x的區別?
hadoop 解讀大資料雪崩的解決方案,從谷歌2003年發布 和2004年mapreduce 開始已經走過了漫長的道路。它通過橫向擴充套件而不是擴充套件戰略創造了波瀾。來自doug cutting以及雅虎和apache hadoop專案團隊的進展推動了mapreduce程式設計的普及 這種程式設計適...
Hadoop1 x與Hadoop2 x的區別解析
hadoop 解讀大資料雪崩的解決方案,從谷歌2003年發布 和2004年mapreduce 開始已經走過了漫長的道路。它通過橫向擴充套件而不是擴充套件戰略創造了波瀾。來自doug cutting以及雅虎和apache hadoop專案團隊的進展推動了mapreduce程式設計的普及 這種程式設計適...