hbase是乙個高可靠性、高效能、面向列、可伸縮的分布式儲存系統,使用hbase技術可在廉價pc server上搭建起大規模結構化儲存集群。hbase是google bigtable的開源實現,是建立在hadoop檔案系統之上的分布式面向列的資料庫。
主要是軌跡、氣象網格之類,比如滴滴打車的軌跡資料主要存在hbase之中,另外大資料量的車聯網企業,資料也都是存在hbase中。
比如網際網路出行,智慧型物流與外賣遞送,感測網與實時gis等場景。
時序資料就是分布在時間上的一系列數值。hbase之上有opentsdb模組,可以滿足時序類場景的需求。
比如我們有很多的裝置、感測器,產生很多資料,如果規模不是特別大的廠家有幾千個風機,每個風機有幾百個指標,那麼就會有一百萬左右的時序資料,如果用取樣每一秒會產生一百萬個時間點,如果用傳統資料庫,那麼每一秒會產生一百萬次,持續地往mq做一百萬次,它會崩裂。並且查詢也是個大問題,除了多維查詢以外,我們還會額外地增加時間緯度,檢視一段時間的資料。這時候hbase很好了滿足了時序類場景的需求。
特別是使用者的畫像,是乙個比較大的稀疏矩陣,螞蟻的風控就是構建在hbase上。使用者畫像有使用者資料量大,使用者標籤多,標籤統計維度不確定等特點,適合hbase特性的發揮。
在電信領域、銀行領域,不少的訂單查詢底層的儲存,另外不少通訊、訊息同步的應用構建在hbase之上。
hbase上有phoenix的外掛程式,可以滿足二級索引、sql的需求,對接傳統資料需要sql非事務的需求。從nosql到newsql,phoenix或許是新的趨勢。
一文帶你了解Redis秒殺應用場景
在大流量程式開發中,必然會遇到高併發的應用的場景。解決方案大致分為兩個方向,訊息佇列 鎖 key quque 秒殺商品數量有限,預先儲存到訊息佇列 public function qnquque 這裡省略掉業務邏輯處理,預設業務邏輯處理完,出佇列 public function dequque 訊息...
Hbase的應用場景
首先,要確認有足夠多的資料存入hbase。hbase是乙個高可靠性 高效能 列儲存 可伸縮 實時讀寫的分布式資料庫系統。如 果有幾億或者幾十億條記錄要存入hbase,那麼hbase就是乙個正確的選擇 否則如果你僅有幾百萬條甚至更少的資料,那麼hbase當然不是正確的選 擇,這種情況下應當選擇傳統的關...
一文帶你了解高速通道三大使用場景
高速通道適用於本地idc與雲上專有網路建立可靠 安全和高速的私網通訊場景。高速通道提供多種上雲服務,您可以根據業務場景進行選擇,輕鬆構建跨架構的融合網路。場景一 面向大中型企業的多地容災高可用網路架構 當本地資料中心的關鍵業務對可用性要求極高時,建議在多個接入點建立專線連線,該拓撲確保了因光纖切斷 ...