一、業務需求
微博萬億級別資料，實時攝取，實時資料多維分析，低延時響應
二、調研實時olap
clickhouse， druid，pinot，感覺這篇文章寫得不錯：
我們覺得pinot更適合我們的需求，於是對pinot進行深入調研，包括部署，資料攝取，資料查詢等
三、pinot介紹
pinot 特別適合這樣的資料分析場景：查詢具有大量維度和指標的時間序列資料，分析模型固定，資料只追加以及低延遲，以及分析結果可查詢。
關鍵特性：
pinot存在一定的侷限性：
pinot架構
pinot核心元件及元件的主要功能
1、controller
管理集群中的節點
對table和segment的建立、更新和刪除操作的處理
計算table和segment在server上的分配
2、broker
它接收客戶端的查詢請求，並且將路由到多個服務上（根據路由策略）， 合併接收的查詢結果並返回給客戶端。
3、server 它儲存乙個或者多個物理的segment，職責包括：
執行查詢請求並將結果返回給broker
Kylin 實時OLAP如何做CheckPoint
一 新建cube第一次消費的情況 此種情況根據kylin.stream.consume.offsets.latest配置，true表示從最新的資料開始消費，false表示從最早的資料開始消費，預設為true.二 disable cube再enable的情況 1 清空zk節點上此cube的資料 kyl...
今天，您OLAP了嗎（一）
今天與師妹討論關於olap的問題，我當時提出 olap是與資料倉儲息息相關的，一提olap就會論及資料倉儲 這會兒，當我拿出書來重新閱讀olap的概念時，發現我所言雖然不能算錯，但是顯得狹隘了些，呵呵。首先來看看官方給olap下的定義。定義1 olap 聯機分析處理 是針對特定問題的聯機資料訪問和分...
《唯品會海量實時OLAP分析技術公升級之路》 讀後感
nw olap引擎 長迭代 mpp presto 資料量增大可能帶來的問題 儲存問題，資料的暴漲導現有系統無法承載 查詢效能，大量資料的查詢導致，所需的時間大大增加，以致於無法忍受。在變更相關資料包表時，對歷史資料的處理，需要耗費大量的時間。導致每次迭代開發，需要耗費較長的時間。一般情況下，資料倉儲...