Hbase寫資料大概流程

2021-10-23 13:12:57 字數 501 閱讀 4258

**1.**發起put請求,put的時候連線zookeeper客戶端,zk進行校驗(master是否存在,是否能寫)

2.然後返回乙個meta元資料位置,就知道meta元資料資訊在哪個機器上

**4.**然後開始解析,解析put的資料應該儲存在哪個機器的哪個region上,找到位置後就請求這個機器rs要寫資料,一邊往region對應的store所對應的記憶體中寫,乙個列族乙個store,乙個store對應乙個memstore,一邊往日誌裡寫,保證記憶體和日誌的事務性(保證這一組邏輯操作要麼全部成功要麼全部失敗,保證安全性)

**5.**當寫入記憶體的資料達到一定大小,開始flush寫,flush時有乙個storefile(hfile)直接就寫在了對應的表的region的名字的下面,有乙個列族名稱,列族名稱有對應的file,寫到這裡面來,到此為止,寫資料流程就完成了

HBase之寫資料流程

1.客戶端訪問zookeeper獲取hbase meta表所在的regionserver資訊。2.與對應regionserver通訊,獲取meta表,根據寫請求引數查詢出應寫入到哪個regionserver中的哪個region中,把該錶的region資訊和meta表的位置資訊儲存在客戶端本地meta...

Hbase寫資料流程詳解

客戶端client 通過zookeeper 獲知meta表所在的節點,又通過table和rowkey在meta表中找到 要進行操作的region的節點 進行傳送請求,請求先追加寫入wal日誌中,然後資料寫入到對應的memstore中 並在 進行排序 之後regionserver會返回ack進行核對。...

HBase的寫流程和讀流程

1.獲取meta表的rootregion位置資訊 在客戶端寫程序時,第一次寫時,client先通過zookeeper獲取到meta表對應的region位置資訊,然後加入到程序快取中,後續再讀寫時,直接讀取快取的meta資訊對應的region資訊就行.2.找到資料要寫在哪個region上 根據獲取到的...