黑猴子的家 HBase 高可用 HA

2021-08-30 08:44:13 字數 867 閱讀 1281

在hbase中hmaster負責監控regionserver的生命週期，均衡regionserver的負載，如果hmaster掛掉了，那麼整個hbase集群將陷入不健康的狀態，並且此時的工作狀態並不會維持太久。所以hbase支援對hmaster的高可用配置。

1、關閉hbase集群（如果沒有開啟則跳過此步）

[victor@hadoop102 hbase]$ bin/stop-hbase.sh
2、在conf目錄下建立backup-masters檔案

[victor@hadoop102 hbase]$ touch conf/backup-masters
3、在backup-masters檔案中配置高可用hmaster節點

[victor@hadoop102 hbase]$ echo linux02 > conf/backup-masters
寫主機名，第二個master的主機名，可以配置多個備份master，配置多個換行寫，隔開就行

4、將整個conf目錄scp到其他節點

[victor@hadoop102 hbase]$ scp -r conf/ hadoop103:/opt/module/hbase-0.98.6-cdh5.3.6/


[victor@hadoop102 hbase]$ scp -r conf/ hadoop104:/opt/module/hbase-0.98.6-cdh5.3.6/
5、開啟頁面測試檢視

0.98版本之前：http://linux01:60010


0.98版本之後：http://linux01:16010

黑猴子的家 HBase 的架構

hbase一種是作為儲存的分布式檔案系統，另一種是作為資料處理模型的mr框架。因為日常開發人員比較熟練的是結構化的資料進行處理，但是在hdfs直接儲存的檔案往往不具有結構化，所以催生出了hbase在hdfs上的操作。如果需要查詢資料，只需要通過鍵值便可以成功訪問。架構圖如下圖所示 hbase內建有z...

HDFS的HA 高可用

問題 namenode是單節點的，容易發生單點故障。在hadoop2.x之後，可以部署兩個namenode，乙個active 活躍的 另外乙個是standby 備份的 如果要實現這種高可用，需要解決兩個問題 1.資料的同步 資料的同步包括兩部分 靜態資料和動態資料，靜態資料是指元資料資訊 塊名稱，大...

黑猴子的家 HBase 寫資料流程

1 client也是先訪問zookeeper，找到meta表，並獲取meta表資訊。2 確定當前將要寫入的資料所對應的regionserver伺服器和region。3 client向該regionserver伺服器發起寫入資料請求，然後regionserver收到請求並響應。4 client先把資料...