HBase HBase架構中各種元件的作用

2022-09-03 13:57:09 字數 443 閱讀 9406

發起讀寫請求

維護cache,加快讀取速度

hmaster選舉,儲存meta-region的路由資訊,監控集群從節點hregionsever上資訊

分配region,regionserver管理,regionserver的註冊,負載均衡,故障切換。

hregionserver:

管理region,負責region的io讀寫

hlog預寫日誌

快取資料落盤

1.刷盤週期:預設1小時、

2.單個store記憶體達到閾值、

3.memstore占用記憶體總量達到閾值、

4.memstore占用記憶體總量和物理記憶體比值到達閾值、

5.hlog檔案數量到達閾值

6.通過shell命令手動觸發

儲存表的資料

大資料基礎之HBase HBase物理架構解析

regionserver負責管理和維護region,負責儲存hbase的實際資料。hregion 可以看成是表的橫向切分,hbase 表的分片,hbase 每個表都會根據 rowkey 值被切分成不同的 hregion 分散儲存在 hregionserver 中,在乙個hregionserver 中...

各種軟體架構風格

1 管道和過濾器風格 每個構件都有一組輸入和輸出,每個構件稱為乙個過濾器。連線過濾器被稱為管道。2 物件導向 3 基於事件的隱式呼叫過程 系統中的其他構件的過程在乙個事件或者多個事件中被註冊,一旦觸發就被呼叫 4 層次系統風格 使用者系統 基本工具 核心層 比如說目前廣泛應用的網際網路封層通訊協議 ...

各種大資料工具架構

大資料的概念 大資料的特點可以用4個v來描述 volume 大 variety 多 velocity 快 value 低 大資料管理 hadoop是google gfs以及mapreducc系統的開源實現,使用者可以在不了解分布式底層細節的情況下開發分布式程式,但是無法做到動態和實時的分析。流計算系...