HBase架構解析

hbase是存大資料的，之前也用過，一直沒好好的梳理下整個原理，通過網上搜尋和阿里大學的免費課程，總結了一下，希望對大家有所幫助，理論都是無聊的，希望大家能耐下心來一起成長。

client就是你的**，順序是這樣的：

1、先訪問zookeeper，獲取region server位址。

2、client再去訪問rregion server，這裡要注意client要和region server的網路一定要通，還有一點如果region server是網域名稱，你那在client上也要做個host解析。

1、訪問hbase的介面，通過快取加快hbase訪問。

1、zookeeper中只有儲存乙個hbase master。

2、zookeeper中儲存所有hbase region server 定址入口（此處入口其實指的是.meta.表的存放位置資訊），不是真正的region位址。真正的位址存放在.meta.表中。

3、zookeeper中存放hbase中的schema和table原資料。

4、zookeeper監控region server存活，並通知hbase master。

1、為region server分配region。

2、負責region server的負載均衡。

3、發現失效的region server並重新分配其上的region。

4、管理使用者對table的增刪改操作。

1、region server維護region，處理對這些region的io請求。

2、region server負責切分在執行過程中變得過大的region。

1、hbase自動把錶水平劃分成多個區域（region），每個region會儲存乙個表裡面某段連續的資料；每個表一開始只有乙個region，隨著資料不斷插入表，region不斷增大，當增大到乙個閥值的時候，region就會等分會兩個新的region（裂變）；

2、當table中的行不斷增多，就會越來越多的region。這樣一張完整的表被儲存在多個region server上。

3、資料寫入mem store時也會相同寫入hlog，防止斷電恢復。

4、region是hbase中分布式儲存和負載均衡的最小單元。最小單元就表示不同的hregion可以分布在不同的hregion server上。

5、region由乙個或者多個store組成，每個store儲存乙個columns family。

6、每個strore又由乙個memstore和0至多個storefile組成。如圖：storefile以hfile格式儲存在hfds上。

1、store分為memstore（先寫入）與storefile（再存入）。

2、乙個region由多個store組成，乙個store對應乙個cf（列族）。

3、記憶體中的memstore中的資料達到某個閥值，region server會啟動flash c ache程序將memstore中的資料寫入storefile，每次寫入形成單獨的乙個storefile。

4、當storefile檔案的數量增長到一定閥值後，系統會進行合併（minor、major compaction），在合併過程中會進行版本合併和刪除工作（majar），形成更大的storefile。

5、當乙個region所有storefile的大小和數量超過一定閥值後，會把當前的region分割為兩個，並由hmaster分配到相應的regionserver伺服器，實現負載均衡。

6、客戶端檢索資料，現在memstore找，找不到再找storefile。