hadoop之hadoop基礎介紹

2022-06-11 16:54:11 字數 839 閱讀 5735

hadoop是什麼?

是乙個分布式基礎架構,主要解決海量資料儲存以及資料分析計算問題。

hadoop三大發行版本?

apache、clourdera、hortonworks

hadoop優勢?

高可靠、高擴充套件、高效、高容錯

hadoop1.x和2.x的區別?

hdfs(hadoop distributed file system) 是什麼?

namenode(目錄)、datanode(資料)、second datanode

yam是什麼?

mapreduce是什麼?

map:用於分布處理資料。

reduce:用於將處理的結果合併。

Hadoop學習之安裝Hadoop

1.用xftp工具將hadoop 2.7.2.tar.gz匯入到opt目錄下面的software資料夾 2.進入到hadoop安裝包路徑下 cd opt software 3.解壓安裝檔案到 opt module下面 tar zxvf hadoop 2.7.2.tar.gz c opt module...

Hadoop基礎(四) Hadoop容錯機制

三 高可用集群ha cluster hdfs對於讀寫的容錯機制是基於hdfs的副本機制 對於檔案上傳 hdfs副本放置策略是預設三個備份,當前節點乙份,同一機架不同節點乙份,不同機架任任意節點乙份。如果上傳過程中某一副本上傳失敗,那麼整個塊的上傳失敗,需要重新啟動這個副本的上傳。yarn是如何配合副...

Hadoop學習筆記之Hadoop簡介

apache hadoop 是乙個開源的 可靠的 靈活的 分布式的計算系統 來自官網 主要受google 三篇 的啟發 gfs mapreduce bigtable hadoop 海量資料的儲存 hdfs hadoop distributed file system 海量資料的分析 mapreduc...