hbase的相關元件

2022-06-07 06:00:10 字數 879 閱讀 5609

hbase的列族

hbase的列族儲存的是相同io屬性的資料,每個檔案對應hdfs上的乙個檔案

在hbase建表時需要指定有多少個列族

對列族進行管理的是hregion

hbase的region

假設有個db1表,它有10000行資料,2500行儲存在乙個region裡,

region編號         startkey        endkey     

1                                              2500

2                        2500              5000

3                        5000              7500

4                        7500

這裡一張表的10000行資料分成了4個檔案(乙個檔案對應乙個region)

第乙個region沒有startkey,因為它要往前存

最後乙個region沒有endkey,因為它要往後存

對region進行管理的是hregionserver

hbase的zookeeper

這裡的zookeeper在hbase裡起到了有兩個作用:

1.對元資料進行管理

2.對hmaster的狀態進行了管理

如果把zookeeper的元資料清除了,那hbase裡面表的資料就沒有了。

hbase的hmaster

hbase是主從架構,你可以啟動800個hmaster,但是zookeeper只會保證只有乙個active,剩下的全是standby

standby和active要進行關聯,通過zookeeper來監控它是不是active

HBase相關知識

一 hbase資料模型 二 hbase 物理模型 a.table 中所有的行都按照 row key 的字典序進行排列 b.table 在行的方向上分割為多個 region c.region 是按大小分割的,每個表開始只有乙個 region 隨著資料增多,region 不但增大。當增大到乙個閾值時,r...

Hbase儲存相關

hbase 的儲存機制 region 區域 表上的一塊資料 store 邏輯上的列簇 memstore列簇緩衝區 儲存熱資料 最近瀏覽,更新等操作的資料 region server的工作職責 管理region 和 響應io請求 資料可靠性的體現 1 如果乙個region server掛了 寫日誌 h...

大資料元件 HBASE

1 hbase是乙個非關係型分布式資料庫 nosql bigtable 參考的是谷歌 2 高可靠 採用主從架構,使用zookeeper管理 高效能 分布式並行處理 面向列 可伸縮 可新增子節點 3 採用hdfs作為檔案儲存系統 也可以採用其它的檔案儲存系統,沒整合mr計算的功能 4 hbase擅長查...