---------什麼是hbase
hbase是乙個高可靠性、高效能、面向列、可伸縮的分布式儲存系統,利用hbase技術可在廉價pc server上搭建起大規模結構化儲存集群。
hbase的目標是儲存並處理大型的資料,更具體來說是僅需使用普通的硬體配置,就能夠處理由成千上萬的行和列所組成的大型資料。
hbase是google bigtable的開源實現,但是也有很多不同之處。比如:google bigtable利用gfs作為其檔案儲存系統,hbase利用hadoop hdfs作為其檔案儲存系統;google執行mapreduce來處理bigtable中的海量資料,hbase同樣利用hadoop mapreduce來處理hbase中的海量資料;google bigtable利用chubby作為協同服務,hbase利用zookeeper作為對應。
-------與傳統資料庫對比
1、傳統資料庫遇到的問題:
1)資料量很大的時候無法儲存
2)沒有很好的備份機制
3)資料達到一定數量開始緩慢,很大的話基本無法支撐
2、hbase優勢:
1)線性擴充套件,隨著資料量增多可以通過節點擴充套件進行支撐
2)資料儲存在hdfs上,備份機制健全
3)通過zookeeper協調查詢資料,訪問速度塊。
------ hbase集群中的角色
1、乙個或者多個主節點,hmaster
2、多個從節點,hregionserver
Hive與傳統資料庫對比
由於 hive 採用了sql 的查詢語言 hql,因此很容易將 hive 理解為資料庫。其實 從結構上來看,hive 和資料庫除了擁有類似的查詢語言,再無類似之處。本文將從多個方面來闡述 hive 和資料庫的差異。資料庫可以用在 online 的應用中,但是 hive 是為資料倉儲而設計的,清楚這一...
Hive與傳統資料庫對比
由於hive採用了sql的查詢語言hql,因此很容易將hive理解為資料庫。其實從結構上來看,hive和資料庫除了擁有類似的查詢語言,再無類似之處。資料庫可以用在online的應用中,但是hive是為資料倉儲而設計的,清楚這一點,有助於從應用角度理解hive的特性。hive 傳統資料庫 查詢語言 h...
hadoop與傳統資料庫
1.hadoop從傳統資料庫讀資料 雖然hadoop提供了一些介面從傳統資料庫中讀取資料,如dbinputformat提供讀取資料的格式 dbrecordreader提供讀取資料記錄的介面。但是一般這只是用於讀取小資料。讀取大資料,一般用資料庫中的dump工具將大量待分析資料輸出為文字資料檔案,並上...