Hbase歷史 特點 使用場景和原理

2021-10-22 21:36:20 字數 996 閱讀 9904

hbase開始於谷歌發表的一片**《大表:乙個半結構化資料的分布式儲存系統》,最初的開發人員是michaelstack和jimkellerman,他們看了谷歌的**寫了hbase程式,2023年4月,hbase做為乙個模組提交到hadoop的**庫中,**量~8000行,2023年5月hbase成為apache的頂級專案。

hbase加入hadoop生態為hbase社群發展帶來了巨大的便利,但是依賴於hdfs和mapreduce使得hbase不太適合處理小資料。

高可靠性 : hdfs儲存副本

高效能 : mr程式 利用多台機器的計算能力

可伸縮性 : 擴充套件儲存資源和運算資源都很容易(hadoop特性)

列式儲存 :按key value 儲存的位元組資料

單維度查詢較快,支援高併發,稀疏表但不會占用空間

適合使用 : 單一維度查詢

單錶資料千萬,併發量高

不夠靈活,處理時間較長

不適合使用:需要資料分析,資料不超過千萬

1 zookeeper正常執行 hbase借助zk維護集群

2 hdfs正常 hbase接觸hdfs儲存資料

3所有節點的時間同步

提供訪問介面

1通過選舉保證集群中只有乙個leader

2master 和regionserver啟動時會向zk註冊

3儲存所有region的定址入口 儲存hbase元資料 索引表 —meta—具體的機器

4監控 regionserver的上下線

1分配資料儲存在哪個regionserver上

2為regionserver 分配資料

3負責負載均衡

4發現失效的regionserver 重新分配上面的region

5管理使用者操作

1管理master為期分配的region

2處理客戶端的讀寫請求

3負責和底層的hdfs互動,儲存到hdfs上

4負責region的拆分

5storefile的合併

6負載均衡

Hbase和Hive的特點和應用場景

一 hbase是什麼?hbase是乙個架構在hdfs檔案系統上的列式儲存,是開源的,分布式,面向列的資料庫。適合於非結構化資料儲存的資料庫。hbase是乙個高可靠 高效能 面向列 可伸縮的分布式儲存系統,可以在廉價的pc server搭建大規模結構化儲存集群。1 hbase位於hadoop生態系統的...

關於Redis的特點和使用場景

redis是常用的非關係型資料庫。非關係型資料庫基於鍵值對儲存,資料之間沒有聯絡,查詢效率高 redis特點 讀寫效能優異 持久化資料型別豐富 單執行緒資料自動過期 發布訂閱 分布式 redis的資料型別 string 適合最簡單的k v儲存,類似於memcached的儲存結構,簡訊驗證碼,配置資訊...

什麼是Redis及特點和使用場景

什麼是redis redis是由義大利人salvatore sanfilippo 網名 antirez 開發的一款記憶體快取記憶體資料庫。redis全稱為 remote dictionary server 遠端資料服務 該軟體使用c語言編寫,redis是乙個key value儲存系統,它支援豐富的資...