狹義上來說,hadoop就是單獨指代hadoop這個軟體,
廣義上來說,hadoop指代大資料的乙個生態圈,包括很多其他的軟體
0.x系列版本:hadoop當中最早的乙個開源版本,在此基礎上演變而來的1.x以及2.x的版本
1.x版本系列:hadoop版本當中的第二代開源版本,主要修復0.x版本的一些bug等
2.x版本系列:架構產生重大變化,引入了yarn平台等許多新特性
優點:擁有全世界的開源貢獻者,**更新迭代版本比較快,
缺點:版本的公升級,版本的維護,版本的相容性,版本的補丁都可能考慮不太周到,學習可以用,實際生產工作環境盡量不要使用
hortonworks主要是雅虎主導hadoop開發的副總裁,帶領二十幾個核心成員成立hortonworks,核心產品軟體hdp(ambari),hdf免費開源,並且提供一整套的web管理介面,供我們可以通過web介面管理我們的集群狀態,web管理介面軟體hdf**(
cloudera主要是美國一家大資料公司在apache開源hadoop的版本上,通過自己公司內部的各種補丁,實現版本之間的穩定執行,大資料生態圈的各個版本的軟體都提供了對應的版本,解決了版本的公升級困難,版本相容性等各種問題,生產環境強烈推薦使用
檔案系統核心模組:
namenode:集群當中的主節點,主要用於管理集群當中的各種資料
secondarynamenode:主要能用於hadoop當中元資料資訊的輔助管理
datanode:集群當中的從節點,主要用於儲存集群當中的各種資料
資料計算核心模組:
jobtracker:接收使用者的計算請求任務,並分配任務給從節點
tasktracker:負責執行主節點jobtracker分配的任務
第一種:namenode與resourcemanager單節點架構模型
檔案系統核心模組:
namenode:集群當中的主節點,主要用於管理集群當中的各種資料
secondarynamenode:主要能用於hadoop當中元資料資訊的輔助管理
datanode:集群當中的從節點,主要用於儲存集群當中的各種資料
資料計算核心模組:
resourcemanager:接收使用者的計算請求任務,並負責集群的資源分配
第二種:namenode單節點與resourcemanager高可用架構模型
檔案系統核心模組:
namenode:集群當中的主節點,主要用於管理集群當中的各種資料
secondarynamenode:主要能用於hadoop當中元資料資訊的輔助管理
datanode:集群當中的從節點,主要用於儲存集群當中的各種資料
資料計算核心模組:
resourcemanager:接收使用者的計算請求任務,並負責集群的資源分配,以及計算任務的劃分,通過zookeeper實現resourcemanager的高可用
nodemanager:負責執行主節點resourcemanager分配的任務
第三種:namenode高可用與resourcemanager單節點架構模型
檔案系統核心模組:
namenode:集群當中的主節點,主要用於管理集群當中的各種資料,其中namenode可以有兩個,形成高可用狀態
datanode:集群當中的從節點,主要用於儲存集群當中的各種資料
journalnode:檔案系統元資料資訊管理
資料計算核心模組:
resourcemanager:接收使用者的計算請求任務,並負責集群的資源分配,以及計算任務的劃分
nodemanager:負責執行主節點resourcemanager分配的任務
第四種:namenode與resourcemanager高可用架構模型
檔案系統核心模組:
namenode:集群當中的主節點,主要用於管理集群當中的各種資料,一般都是使用兩個,實現ha高可用
journalnode:元資料資訊管理程序,一般都是奇數個
datanode:從節點,用於資料的儲存
資料計算核心模組:
resourcemanager:yarn平台的主節點,主要用於接收各種任務,通過兩個,構建成高可用
nodemanager:yarn平台的從節點,主要用於處理resourcemanager分配的任務
hadoop生態圈綜合簡介及架構案例
horntwork的官方部落格 what is hadoop 大資料盤點之spark篇 apache hbase 2015年發展回顧與未來展望 用zookeeper真的low嗎?上千個節點場景配置服務方案大討論 微博基於docker容器的混合雲遷移實戰 sql on hadoop綜合 盤點sql o...
大資料介紹及hadoop簡介
1 什麼是大資料?大資料是指無法在一定時間內用常規軟體工具對其內容進行抓取 管理和處理的資料集合。大資料的特徵 4v特徵 volume 大資料量 90 的資料是過去兩年產生 velocity 速度快 資料增長速度快,時效性高 variety 多樣化 資料種類和 多樣化 結構化資料 半結構化資料 非結...
Hadoop快速入門( Hadoop簡介)
hadoop 核心元件 hadoop 包含以下模組 hadoop common 常見實用工具,用來支援其他 hadoop 模組。hadoop distributed file system hdfs 分布式檔案系統,它提供對應用程式資料的高吞吐量訪問。hadoop yarn 乙個作業排程和集群資源管...