HBase環境搭建

hbase是乙個高可靠性、高效能、面向列、可伸縮的分布式儲存系統，利用hbase技術可在廉價pc server上搭建起大規模結構化儲存集群。

hbase的目標是儲存並處理大型的資料，更具體來說是僅需使用普通的硬體配置，就能夠處理由成千上萬的行和列所組成的大型資料。

hbase是google bigtable的開源實現，但是也有很多不同之處。比如：google bigtable利用gfs作為其檔案儲存系統，hbase利用hadoop hdfs作為其檔案儲存系統；google執行mapreduce來處理bigtable中的海量資料，hbase同樣利用hadoop mapreduce來處理hbase中的海量資料；google bigtable利用chubby作為協同服務，hbase利用zookeeper作為對應。

1）資料量很大的時候無法儲存

2）沒有很好的備份機制

3）資料達到一定數量開始緩慢，很大的話基本無法支撐

1）線性擴充套件，隨著資料量增多可以通過節點擴充套件進行支撐

2）資料儲存在hdfs上，備份機制健全

3）通過zookeeper協調查詢資料，訪問速度塊。

1、乙個或者多個主節點，hmaster

2、多個從節點，hregionserver

hbase與hadoop對應關係：   4.1. hadoop 這塊介紹了對應關係

hbase全分布式安裝：

準備條件：

1、hadoop已經安裝

2、zookeeper已經安裝

3、三颱機器，m1、m2、m3

1、上傳,因為本地安裝的hadoop是2.7.3，因此選擇的hbase安裝包為hbase-1.3.0-bin .tar

2、解壓

3、重新命名

mv hbase-1.3.0/ hbase

4、修改環境變數，新增hbase的bin目錄到/etc/profile中

5、修改配置檔案

修改hbase-env.sh，設定不使用自己的zookeeper和修改j**a_home

export j**a_home=/usr/jdk1.7.0_79 

export hbase_manages_zk=false

修改hbase-site.xml，新增如下內容

hbase.rootdir
hdfs://m1:9000/hbase
hbase.cluster.distributed
true
hbase.zookeeper.quorum
m1:2181,m2:2181,m3:2181

拷貝hadoop core-site.xml,hdfs-site.xml到hbase的conf目錄下

cp hadoop-2.7.3/etc/hadoop/ hbase-1.2.3/conf/

修改regionservers新增regionserver的位址

m2

m3

### 如果需要多個hmaster節點，則需要在conf目錄下新建backup-masters檔案，該檔案中的內容為master節點的位址

6、分發到其他機器

scp -r hbase/ m2:$pwd

scp -r hbase/ m3:$pwd

7、啟動

首先啟動zookeeper

./zkserver.sh start

./zkserver.sh status

然後啟動hdfs

start-dfs.sh

最後master節點啟動hbase

#ntpdate time.windows.com 同步時間

start-hbase.sh

8、測試

HBase系列 1 開發環境搭建

需事先準備安裝好hadoop 2.x，單機版部署即可。之後，hbase單機部署只需兩步 1.編輯hosts檔案，給本機ip定義乙個host name 2.編輯 conf hbase site.xml並新增 hbase.rootdir hdfs localhost 9000 hbase 3.修改con...

hbase 單機 偽分布環境搭建學習 1

1 編輯hbase env.sh user ebj1023.local usr local flume kafka stom hbase 1.1.2 vim conf hbase env.sh 2 編輯hbase site.xml user ebj1023.local usr local flume...

HBase集群搭建

1.hbase的機群搭建過程 在原來的hadoop1上的hbase偽分布基礎上進行搭建 1.1 集群結構，主節點 hmaster 是hadoop1，從節點 region server 是hadoop2和hadoop3 1.2 修改hadoop1上的hbase的幾個檔案 1 修改hbase env.s...