摘要: hadoop 2.2，2.3，2.4版本的安裝都差不多。為了執行乙個hadoop程式，花了大半天部署環境，在這裡特此記錄安裝過程，讓以後少走彎路。
將mapreduce框架公升級到apache yarn，yarn將map reduce工作區分為兩個：jobtracker元件：實現資源管理和任務job；計畫/監視元件：劃分到單獨應用中。 使用mapreduce的2.0，開發人員現在可以直接hadoop內部基於構建應用程式。hadoop2.2也已經在微軟widnows上支援。
1.hdfs的高可靠性
2.hdfs snapshots快照
3.支援hdfs中的 nfsv3 檔案系統。
官方的解釋在這裡：細節可能有偏差，但大體是這麼回事。
hadoop 2.4.0和yarn的安裝過程:
Hadoop2的Yarn和MapReduce2相關
1 什麼是yarn？2 yarn 和mapreduce相比，它有什麼特殊作用 yarn是乙個分布式的資源管理系統，用以提高分布式的集群環境下的資源利用率，這些資源包括記憶體 io 網路 磁碟等。其產生的原因是為了解決原mapreduce框架的不足。最初mapreduce的committer們還可以週...
常用的hadoop和yarn的埠總結
節點預設埠 用途說明 hdfs datanode 50010 datanode服務埠，用於資料傳輸 50075 http服務的埠 50475 https服務的埠 50020 ipc服務的埠 50070 http服務的埠 50470 https服務的埠 8020 接收client連線的rpc埠，用於獲...
Hadoop集群之HDFS和YARN啟動和停止命令
1.啟動hdfs集群 使用hadoop的批量啟動指令碼 2.停止hdfs集群 使用hadoop的批量啟動指令碼 3.啟動單個程序 4.分別檢視啟動後3臺虛擬機器上的程序情況 root hadoop01 jps 6695 datanode 2002 quorumpeermain 6879 dfszkf...