一、了解hbase的儲存體系。
hbase的儲存體系核心的有split機制,flush機制和compact機制。
1、split機制
每乙個hbase的table表在剛剛開始的時候,只有乙個region,隨著資料的不斷插入到表中,region開始增大,當增大到一定的閥值以後,region就會等分兩個新的region。
當table表中的行數越多,就會有越來越多的region。
region是hbase中分布式儲存和負載均衡的最小單元,相當於hdfs中的block。
2、flush機制
hstore儲存是
hbase
儲存的核心,其中由兩部分組成,
memstore
和storefiles
。memstore
是sorted memory buffer
,使用者寫入的資料首先會寫入
memstore
,就返回了,所以寫效能很高。當
memstore
滿了以後會
flush
成乙個storefile
。3、compact機制
當storefile
檔案數量增長到一定閾值,會觸發
compact
合併操作,將多個
storefiles
合併成乙個
storefile
,合併過程中會對
cell
進行版本合併和資料刪除。
hbase的體系架構分析
client 包含訪問hbase的介面並維護cache來加快對hbase的訪問。zookeeper 1 保證集群中只有乙個工作狀態的master 2 儲存所有region的定址入口 3 監控集群中的regionserver,如果有regionserver上線,會通知hmaster 4 儲存hbase...
Hbase的體系架構講解
當表的大小超過設定值的時候,hbase會自動地將表劃分為不同的區域,每個區域包含所有行的乙個子集。對使用者來說,每個表是一堆資料的集合,靠主鍵來區分。從物理上來說,一張表被拆分成了多塊,每一塊就是乙個region。乙個region會儲存乙個表裡面某段連續的資料,從開始主鍵到結束主鍵,一張完整的 是儲...
Hbase的體系結構
包含訪問hbase的介面,並維護表對應的regionserver和region快取實現對hregionserver的快速訪問 master 1 管理集群中所有的regionserver,包括regionserver的負載均衡,regionserver的宕機恢復,region的遷移 2 響應使用者對錶...