HBase知識點整理

2021-08-28 19:01:38 字數 955 閱讀 1848

寫入流程

混合讀minor compaction

major compaction

region

災難恢復

reference

負責實際資料的讀寫,當訪問資料時,客戶端與hbase的regionserver直接通訊。regionserver負責管理多個region,負責在此上面的所有region的讀寫操作。執行在hdfs的datanode上,包含四部分:wal,blockcache(讀快取),memstore(寫快取),hfiles(keyvalue對)

管理region的位置,當集群處於資料恢復或動態調整時,分配region到某乙個regionserver中,監控所有regionserver的狀態,提供ddl(新增和刪除表結構)相關的api。

負責維護和記錄整個hbase集群的狀態,分布式的無中心的元資料儲存服務。

hbase把各個region的位置資訊儲存在meta表裡,meta表儲存在zookeeper中。

訪問流程

meta table的結構

key: region的開始rowkey, regionid

value: regionserver

memstore的結構

在記憶體裡按key的順序儲存key-value對,乙個memstore對應乙個cf

同樣hfile中key-value對也是key有序的。

hfile的結構

儲存了多級索引,查詢請求不需要遍歷整個hfile

開啟hfile後,系統自動快取hfile的索引在blockcache中。

hbase自動選擇較小的hfile, 將它們合併成更大的hfile,減小hfile的數量

major compaction指乙個region下的所有hfile做歸併排序, 最後形成乙個大的hfile

region=一組連續的key,一張表垂直分成乙個或多個region

[1]. 深度分析hbase架構

知識點整理

一 標準庫容器和演算法 1.順序容器 與前面類似 2.關聯容器 map和multimap 元素包含key 鍵 和值 value 兩部分 按照鍵對元素排序 map不允許重複元素出現,但multimap可以 set和multliset 是包含已排序物件的關聯容器 只是單純的鍵的集合 set不允許重複鍵出...

知識點整理

一 標準庫容器和演算法 1.順序容器 與前面類似 2.關聯容器 map和multimap 元素包含key 鍵 和值 value 兩部分 按照鍵對元素排序 map不允許重複元素出現,但multimap可以 set和multliset 是包含已排序物件的關聯容器 只是單純的鍵的集合 set不允許重複鍵出...

知識點整理

一 狀態控制碼 code,control flag 標誌位欄位 u a p r s f 佔6位元。各 位元的含義如下 ack 確認位元 acknowledge 只有當ack 1時確認號字段才有效,代表這個封包為確認封包。當ack 0時,確認號無效。psh push function 若為1時,代表要...