再談全域性網HBase八大應用場景

2021-08-18 13:35:06 字數 830 閱讀 1971

摘要:

hbase概述

hbase是乙個分布式儲存、資料庫引擎,可以支援千萬的qps、pb級別的儲存,這些都已經在生產環境驗證,並且在廣大的公司已經驗證。特別是阿里、小公尺、京東、滴滴內部都有數千、上萬台的hbase集群。選擇乙個技術的首要條件是對齊大公司,大公司會投入大量的人力去維護、改進、貢獻社群。

關於newsql與nosql的關係

技術總是不斷向前發展的,如今都在提newsql,其實newsql在筆者看來是nosql之上的乙個封裝,乙個子場景。nosql中的大表,典型就是提供了kv1v2……vn,其中每個v可以是1b,也可以是100mb。可以說是乙個元的存在,就類似於數字世界的01,可以任意組合。在以hbase為代表的nosql中,hbase可以組合出任意的場景,newsql可以是之上加了sql層或者更近一層新增事務的子場景。

關於計算與儲存分離

在雲上,對於引擎最為核心的就是儲存計算分離,儲存可以按需計費,起碼得彈性伸縮。計算則按節點儲存提供,完全按照qps計費,要麼費用高得嚇人,要麼難以滿足更多的場景。比如儲存10m,到底算一次qps,還是多少次。 由於hbase天生就是儲存計算分離,天然比較適配雲上的架構,可以說到了雲上,hbase更加具有優勢。

hbase場景

再談全域性網HBase八大應用場景

時序資料 hbase之上有opentsdb模組,可以滿足時序類場景的需求 推薦畫像 特別是使用者的畫像,是乙個比較大的稀疏矩陣,螞蟻的風控就是構建在hbase之上 時空資料 主要是軌跡 氣象網格之類,滴滴打車的軌跡資料主要存在hbase之中,另外在技術所有大一點的資料量的車聯網企業,資料都是存在hb...

再談全域性網HBase八大應用場景

hbase是乙個分布式儲存 資料庫引擎,可以支援千萬的qps pb級別的儲存,這些都已經在生產環境驗證,並且在廣大的公司已經驗證。特別是阿里 小公尺 京東 滴滴內部都有數千 上萬台的hbase集群。選擇乙個技術的首要條件是對齊大公司,大公司會投入大量的人力去維護 改進 貢獻社群。技術總是不斷向前發展...

再談全域性網HBase八大應用場景

hbase概述 hbase是乙個分布式儲存 資料庫引擎,可以支援千萬的qps pb級別的儲存,這些都已經在生產環境驗證,並且在廣大的公司已經驗證。特別是阿里 小公尺 京東 滴滴內部都有數千 上萬台的hbase集群。選擇乙個技術的首要條件是對齊大公司,大公司會投入大量的人力去維護 改進 貢獻社群。關於...