寫入流程
混合讀minor compaction
major compaction
region
災難恢復
reference
負責實際資料的讀寫,當訪問資料時,客戶端與hbase的regionserver直接通訊。regionserver負責管理多個region,負責在此上面的所有region的讀寫操作。執行在hdfs的datanode上,包含四部分:wal,blockcache(讀快取),memstore(寫快取),hfiles(keyvalue對)
管理region的位置,當集群處於資料恢復或動態調整時,分配region到某乙個regionserver中,監控所有regionserver的狀態,提供ddl(新增和刪除表結構)相關的api。
負責維護和記錄整個hbase集群的狀態,分布式的無中心的元資料儲存服務。
hbase把各個region的位置資訊儲存在meta表裡,meta表儲存在zookeeper中。
訪問流程
meta table的結構
key: region的開始rowkey, regionid
value: regionserver
memstore的結構
在記憶體裡按key的順序儲存key-value對,乙個memstore對應乙個cf
同樣hfile中key-value對也是key有序的。
hfile的結構
儲存了多級索引,查詢請求不需要遍歷整個hfile
開啟hfile後,系統自動快取hfile的索引在blockcache中。
hbase自動選擇較小的hfile, 將它們合併成更大的hfile,減小hfile的數量
major compaction指乙個region下的所有hfile做歸併排序, 最後形成乙個大的hfile
region=一組連續的key,一張表垂直分成乙個或多個region
[1]. 深度分析hbase架構
知識點整理
一 標準庫容器和演算法 1.順序容器 與前面類似 2.關聯容器 map和multimap 元素包含key 鍵 和值 value 兩部分 按照鍵對元素排序 map不允許重複元素出現,但multimap可以 set和multliset 是包含已排序物件的關聯容器 只是單純的鍵的集合 set不允許重複鍵出...
知識點整理
一 標準庫容器和演算法 1.順序容器 與前面類似 2.關聯容器 map和multimap 元素包含key 鍵 和值 value 兩部分 按照鍵對元素排序 map不允許重複元素出現,但multimap可以 set和multliset 是包含已排序物件的關聯容器 只是單純的鍵的集合 set不允許重複鍵出...
知識點整理
一 狀態控制碼 code,control flag 標誌位欄位 u a p r s f 佔6位元。各 位元的含義如下 ack 確認位元 acknowledge 只有當ack 1時確認號字段才有效,代表這個封包為確認封包。當ack 0時,確認號無效。psh push function 若為1時,代表要...