hbase總體架構圖
hbase table的基本單位是region，乙個table相應多個region。table層級關係例如以下：
table (hbase table)
region (regions for the table)
store (store per columnfamily for each region for the table)
memstore (memstore for each store for each region for the table)
storefile (storefiles for each store for each region for the table)
block (blocks within a storefile within a store for each region for the table)
region
每台regionserverserver中包括多個region和乙個hlog（wal），每乙個region中包括多個store
store
每乙個store（hstore）中包括乙個memstore和多個storefile（hfile）。每乙個store相應了某個table中的乙個column family的儲存
memstore
memstore在記憶體中維護著對store的改動日誌。日誌是keyvalue結構的。一旦memstore被觸發flush操作。當前的memstore被標記為snapshot。與此同一時候
hbase建立新的memstore並繼續處理改動操作。直到標記為snapshot的memstore被通知已經成功刷寫到storefile，則銷毀該memstore
storefile (hfile)
表資料真正儲存的地方，hfile是hdfs上詳細的檔案格式
blocks
storefile由多個block組成，blocksize是依據每乙個columnfamily級別配置的，在storefiles中，壓縮也是基於block級別
檢視hfile
使用hfile工具檢視storefile（hfile）（版本號：0.98.6+cdh5.2.1）
hbase org
.apache
.hadoop
.hbase.io
.hfile
.hfile-v
-f /hbase
/data
/default
/s_table1
/1744a33060309b4aaecfca1639444411
/fm1
/97f63077d177429497551fbc22e4be75
Hbase原理與架構
1 client向hregionserver傳送寫請求。2 hregionserver將資料寫到hlog write ahead log 為了資料的持久化和恢復。3 hregionserver將資料寫到記憶體 memstore 4 反饋client寫成功。1 當memstore資料達到閾值 預設是1...
Hbase原理系列 架構
體系圖 1.client向hregionserver傳送寫請求。2.hregionserver將資料寫到hlog write ahead log 為了資料的持久化和恢復。3.hregionserver將資料寫到記憶體 memstore 4.反饋client寫成功。1.當memstore資料達到閾值 ...
HBASE部分 HBASE的架構
hbase的架構 包含訪問hbase的介面並維護cache來加快對hbase的訪問 zookeeper 保證任何時候，集群中只有乙個master 存貯所有region的定址入口。實時監控region server的上線和下線資訊。並實時通知master 儲存hbase的schema和table元資料...