總結《HBase原理與實踐》第一章

2021-10-12 16:27:13 字數 1101 閱讀 2923

目錄

一、hbase體系結構

1. hbase 客戶端

2. zookeeper

3. master

4. regionserver

(1).wal(hlog)

(2).blockcache

5. region

6. store

二、hbase系統特性

1. hbase的優點

2. hbase的缺點

hbase客戶端訪問資料行前,首先需要通過元資料表定位目標資料所在regionserver,之後才會傳送請求到該regionserver。同時這些元資料會被快取在客戶端本地,以方便後續的請求,如果該集群regionserver發生宕機或者執行了負載均衡,從而導致資料分片發生遷移,客戶端要重新請求最新的元資料並快取本地。

hbase的讀快取:客戶端從磁碟讀取資料後會將資料快取到系統記憶體中後續訪問同一行資料直接從記憶體中就可以讀取資料,尤其對於熱點資料,帶來極大的效能提公升。

hbase快取物件是一系列block塊,乙個塊預設佔64k,由物理相鄰的多個kv資料組成。

blockcache利用了空間區域性性和時間區域性性,前者表示最近將讀取的kv資料,有可能與當前讀取的k-v資料在位址上是相鄰的,後者表示快取的塊,有可能被再次訪問。

資料表的乙個分片,當資料表大小超過一定閾值就會水平切分,**為兩個region。region是集群負載均衡的基本單位一張表的region會分布在整個集群的多台regionserver上,乙個regionserver會管理多個region。

乙個region由多個store組成,乙個store對應乙個列簇,建議將相同io特性的資料設定在同乙個列簇中。

每個store有1個memstore和多個hfile組成。memstore稱為寫快取,預設128m,系統會非同步的刷寫資料flush成乙個hfile檔案,隨著資料不斷的寫入,hfile檔案越來越多,當hfile檔案超過一定閾值,系統會執行compact,將小檔案通過一定策略合併成乙個或多個大檔案。

第一章,程式設計原理總結

大型程式問題 問題說明 程式設計 資料結構的選擇 演算法分析 測試和驗證 程式正確性 維護 c 要點 c 允許收據抽象 c 支援物件導向設計 c 便於 重用及通用目的庫的構造 c 改進了c語言幾個麻煩和危險的方面 c 保持了作為c語言特點的效率。程式設計風格 程式設計技術規則 指導原則 1在每個函式...

微機原理第一章總結

微處理器,微型計算機,微型計算機系統三者有什麼不同?計算機為什麼採用二進位制,為什麼還有八進位制,十進位制,十六進製制等其他計數制 優點 易於物理實現 運算簡單 機器可靠性高 通用性強 引用八進位制 十六進製制的原因 便於對二進位制的計算以及記憶,也減少的書寫的複雜性,讀起來也更直觀提高其可讀性,轉...

第一章總結

動態網頁是指在伺服器端執行的程式或者網頁,它們會隨不同客戶,不同時間,返回不同的內容,隨著internet技術的興起,b s架構是對c s架構的一種變化或者改進的結構,在這種結構下,程式完全放在應用伺服器上,通過應用伺服器同資料庫服務進行通訊。url意思為統一資源定位符,也稱為網頁位址。是inter...