一、hadoop 2.x 產生背景：
--hadoop 1.x hdfs 和 mapreduce 在高可用，擴充套件性
--hdfs 存在問題
namenode 單點故障
namenode 壓力過大
--mapreduce
jobtracker 訪問過大，影響系統擴充套件性
難以支援mapreduce之外的計算框架，spark/storm
二、hadoop 2.x 的特性
1、hdfs: nnfederation、ha;
基於zookeeper failovercontroller : 監控namenode 健康狀態
2、mapreduce : 執行在yarn上的mr
3、yarn: 資源管理系統
核心思想：將mapreduce 的jobtracker 的資源管理 和任務排程兩個功能分開
resourcemanager : 負責整個集群的資源管理 和排程
解決hdfs 1.x 中單點故障和記憶體受限問題
解決單點故障
hdfs ha : 通過主備namenode 解決
解決記憶體受限問題
hdfs federation
水平擴充套件，支援多個namenode
每個namenode 分管一部分目錄
所有namenode 共享所有datanode
4、mapreduce on yarn :
將mapreduce 作業直接執行在yarn,而不是jobtracker 和tasktracker
基本功能模組：
yarn:負責資源管理和排程
maptask/reducetask ：任務任務驅動引擎與mr1一致
hadoop2 x入門 Hadoop的啟動方式
本內容基於hadoop 2.7.2 1.hadoop啟動方式 我們執行hadoop安裝目錄下的sbin sh 各服務元件逐一啟動 hdfs hadoop daemon.sh start stop namenode datanode secondarynamenode yarn yarn daemon...
hadoop2 x入門 Hadoop的啟動方式
hadoop2.x入門 hadoop的啟動方式，本內容基於hadoop 2.7.2。1.hadoop啟動方式 我們執行hadoop安裝目錄下的sbin sh 各服務元件逐一啟動 hdfs hadoop daemon.sh start stop namenode datanode secondaryn...
hadoop1 x和hadoop2 x的對比
1.能否總結出mapreduce設計思路？2.hadoop1遇到了什麼問題？3.hadoop2做了什麼改進，具體哪些變化？對 hadoop1 和 hadoop 2 做了乙個解釋 不錯 拿來看看 從上圖中可以清楚的看出原 mapreduce 程式的流程及設計思路 可以看得出原來的 map reduce...