03 Hadoop簡單介紹以及版本資訊

一、海量資料：

量：大、數目多，資料量到達pb、zb級別，條目數到達幾十億條、百億條

1）儲存：分布式，集群的概念，管理（主節點、從節點），hdfs（hadoopdistributedfilesystem）

2）分析：分布式，並行，離線計算框架，管理（主節點、從節點），mapreduce

apachehadooplogo，乙隻會飛的大象

二、hadoop與google的關係

hdfs–>gfs開源檔案系統

hadoopmapreduce：核心就是對資料的排序優化

googlemapreduce–>hadoopmapreduce開源的分布式平行計算框架

bigtable-->    hbase開源的分布式資料庫

二、apachehadoop版本

經典版本：0.20.2、1.0.0（第乙個1.0.0正式版本）à1.0.3或者1.0.4（應用最多的版本）à1.1.2、1.2.1（截止2023年4月份）。

0.23.0（跨越版本，yarn框架，第二代mapreduce框架，資源管理和任務排程的框架）。

023.10版本，最新的，與2.x系列版本區別在於，沒有hdfs的ha和federation特性。

2.x版本：（將1.x系列版本與0.23.0系列版本的合併）

1）2.0.x版本：屬於2.x系列版本的alpha版本

2）2.1.x版本：屬於2.x系列版本的beta版本

3）2.2.0、2.3.0、2.4.0正式版本，可用於實際生產環境中。

03 Hadoop簡單介紹以及版本資訊

一 海量資料 量 大 數目多，資料量到達pb zb級別，條目數到達幾十億條 百億條 1 儲存 分布式，集群的概念，管理 主節點 從節點 hdfs hadoopdistributedfilesystem 2 分析 分布式，並行，離線計算框架，管理 主節點 從節點 mapreduce apachehad...

0 3 Hadoop高可用集群搭建

準備三颱相互免秘鑰的虛擬機器 上傳zookeeper 解壓 移動 解壓zookeeper的tar包 語法 tar zxf zookeeper 3.4.6.tar.gz 移動zookper目錄 語法 mv zookeeper 3.4.6 opt sxt 修改配置檔案zoo.cfg進入zookeeper...

Hadoop 簡單介紹

概述 hadoop是apache公司旗下乙個分布式基礎架構，主要解決大資料儲存和計算問題，是谷歌公司三篇 的具體實現 gfs hadoop,mapreduce mr,bigtable hbase 兩個版本 1.x版本的mapreduce既負責計算又負責資源的排程。2.x版本將mapreduce的資源...