**概述**
hadoop是apache公司旗下乙個分布式基礎架構,主要解決大資料儲存和計算問題,是谷歌公司三篇**的具體實現(gfs-hadoop,mapreduce-mr,bigtable--hbase)
兩個版本
1.x版本的mapreduce既負責計算又負責資源的排程。
2.x版本將mapreduce的資源排程功能分離出來只負責計算,然後這個資源排程模組就是yarn,yarn不僅可以排程內部資源,還可以排程外部資源
1.x和2.x的版本儲存都是使用 hdfs
三大發行版本:
apache – 最基礎的版本
cdh–目前網際網路使用最多的版本
hortoworks --文件較好
四大優點
高可靠 多副本機制
高拓展 集群模式 橫向拓展
高效 mr並行工作
高容錯 失敗任務重新分配
hadoop的守護程序簡單介紹
守護程序 namenode hdfs有兩個核心,namenode就是其中的主節點,他就像乙個領導者,負責協調和分配各項工作和任務。簡單的說他的功能主要有三點 datanode hdfs的另乙個核心,從節點,通常是有多個組成。它負責管理連線到節點的儲存 乙個集群中可以有多個節點 每個儲存資料的節點執行...
hadoop之hadoop基礎介紹
hadoop是什麼?是乙個分布式基礎架構,主要解決海量資料儲存以及資料分析計算問題。hadoop三大發行版本?apache clourdera hortonworks hadoop優勢?高可靠 高擴充套件 高效 高容錯 hadoop1.x和2.x的區別?hdfs hadoop distributed...
Hadoop 核心介紹
hadoop各個核心專案架構 hdfs2的架構 負責資料的分布式儲存,主從結構 主節點 namenode 可以有兩個 接收使用者的請求操作,使使用者操作入口 維護檔案系統目錄結構,稱為命名空間。從節點 datanode 至少乙個,儲存真實 資料。yarn的結構 是乙個資源排程和管理的平台,也是只從結...