大資料1 HADOOP版本選擇

2021-08-10 16:08:45 字數 913 閱讀 2527

hadoop作為開源專案,很多分枝。也有很多社群的支援。所以hadoop版本發展很快。

大部分情況下,我們可以選擇

完全開源,免費,非商業。apache社群的hadoop版本分枝較多,而且部分hadoop存在bug。在選擇hadoop,hbase,hive等時,需要考慮相容性。

開源,免費,有商業和非商業版本。是在apache社群版本的hadoop基礎上,選擇相對穩定版本的hadoop,並在此基礎上,進行bug修改和維護。使用者不必考慮hadoop,hbase,hive等在使用過程中,版本相容性。

開源,免費,有商業和非商業版本。是在apache基礎上修改,具有apache的特色。

實驗環境使用cloudera,生產環境,看情況而定。

apache hadoop的版本,目前有1.x 和 2.x版本。3.x版本在測試中。

1.x版本,比較經典,使用者很多。2.x版本,和1.x並不相容。2.x完全推翻了1.x的**,重新編寫的。內部思想有借鑑。

a.經典版本 0.20.2 → 1.0.0 (第乙個1.0.0的正式版本) → 1.0.3和1.0.4 (生產環境使用的較多的版本) → 1.1.2, 1.2.1(目前最新版本)

b.上面的0.21.0和0.22.0 這個分枝,就不提了。

c.下面說0.23.0(跨越版本,yarn框架,第二代mapreduce框架,資源管理和任務排程框架) → *** →0.23.10(目前最新版本,不過和2.x有點區別,就是不支援ha和federation)

d.下面就是2.x版本了。將1.x和0.23.0系列合併。

①2.0.x版本:屬於2.x系列版本的alpha版本。

②2.1.x版本:屬於2.x系列版本的beta版本。

③2.2.0 ,2.3.0 , 2.4.0 正式版本,可用於實際生產環境中。

1 hadoop搭建常用的Linux命令收集

大資料學習第一步 linux入門學習所需要的命令 非基礎卻常用 chmod u x filepath filename u g o表示三個不同組,r w x表示可讀可寫可執行,表示賦予和取消許可權 首先關閉防火牆 service iptables stop 永久關閉 sudo chkconfig i...

大資料特點 Hadoop概述 版本介紹 模組

hadoop是apache提供的乙個開源的 可靠的 可擴充套件的 用於分布式計算的頂級專案。hadoop1.0 hdfs mapreduce hadoop2.0 hdfs mapreduce yarn。hadoop2.0版本不相容1.0 hadoop3.0 hdfs mapreduce yarn o...

大資料 Hadoop簡述

摘要 1個人 doug cutting 2個公司 google cloudera 命名由來 doug cutting 起先給他孩子的1個棕色的大象的玩具的名字 簡短 容易發音 易於拼寫 最初的模組 hdfs 與 mapreduce 後期不斷加入hbase hive等子模組專案,直至最終hadoop泛...