hbase的列族
hbase的列族儲存的是相同io屬性的資料,每個檔案對應hdfs上的乙個檔案
在hbase建表時需要指定有多少個列族
對列族進行管理的是hregion
hbase的region
假設有個db1表,它有10000行資料,2500行儲存在乙個region裡,
region編號 startkey endkey
1 2500
2 2500 5000
3 5000 7500
4 7500
這裡一張表的10000行資料分成了4個檔案(乙個檔案對應乙個region)
第乙個region沒有startkey,因為它要往前存
最後乙個region沒有endkey,因為它要往後存
對region進行管理的是hregionserver
hbase的zookeeper
這裡的zookeeper在hbase裡起到了有兩個作用:
1.對元資料進行管理
2.對hmaster的狀態進行了管理
如果把zookeeper的元資料清除了,那hbase裡面表的資料就沒有了。
hbase的hmaster
hbase是主從架構,你可以啟動800個hmaster,但是zookeeper只會保證只有乙個active,剩下的全是standby
standby和active要進行關聯,通過zookeeper來監控它是不是active
HBase相關知識
一 hbase資料模型 二 hbase 物理模型 a.table 中所有的行都按照 row key 的字典序進行排列 b.table 在行的方向上分割為多個 region c.region 是按大小分割的,每個表開始只有乙個 region 隨著資料增多,region 不但增大。當增大到乙個閾值時,r...
Hbase儲存相關
hbase 的儲存機制 region 區域 表上的一塊資料 store 邏輯上的列簇 memstore列簇緩衝區 儲存熱資料 最近瀏覽,更新等操作的資料 region server的工作職責 管理region 和 響應io請求 資料可靠性的體現 1 如果乙個region server掛了 寫日誌 h...
大資料元件 HBASE
1 hbase是乙個非關係型分布式資料庫 nosql bigtable 參考的是谷歌 2 高可靠 採用主從架構,使用zookeeper管理 高效能 分布式並行處理 面向列 可伸縮 可新增子節點 3 採用hdfs作為檔案儲存系統 也可以採用其它的檔案儲存系統,沒整合mr計算的功能 4 hbase擅長查...