1.典型應用
* ab test 平台 指標計算+指標 orderid, passenger 等. cube 演算法,快速生成 n 個維度的資料,可隨意的下探上放. 其他細節
見個人日記
* 監控統計
* 報表展現
* 異常檢測 餘弦定理 ,apollo採用箱線圖（boxplot）
2. cboard 前端展現平台, 拖拽
維度就是 mysql 裡的 group by
模擬:www.rowkey.me/blog/2016/08/27/server-basic-tech-stack/
檔案系統:
hdfs
資料庫:
hbase phoenix 提供 sql 操作, join 缺失
計算系統:
hive
sql管理和定時執行平台:
阿里宙斯zeus.(自稱排程,並沒有資源協調功能,有hive本身完成.. ) 查詢資料,插入到資料庫中. 資料庫本身提供變動傳送mq.
統計分析和展現平台:
大資料分析神獸麒麟(apache kylin) -- 全套. 含資料抽取 .全量資料統計, 各個維度都幫你計算好 .維度就是 mysql 的 groupby
cboard 展現. 各種圖表 cboard 前端.
zeppeline 類似cbord.
cboard 只是展示, 沒有環比,同比監控.
open-falcon cboard
tableau 大資料分析 druid dataiku 很方便進行資料分析,篩選. 自動化報表查詢,視覺化. 分布餅圖.
大資料架構分析
最近，我再整理學習的大資料的架構知識。大資料，只是的對大量數量的儲存，分析 計算 應用 處理 大資料採取非關係型儲存。monogo居多。比較系統。1.kafak分布式寫入採集系統。2.hbase寫入資訊。3.storm處理資料。4.結果儲存mysql。日誌系統 1.日誌寫入。2.hbase儲存。3....
初探大資料 YARN架構分析 實戰四
yarn架構 1 rm resourcemanager n nm nodemanager resourcemanager的職責 乙個集群active狀態的rm只有乙個，負責整個集群的資源管理和排程 1 處理客戶端的請求 啟動 殺死 3 監控nm 4 系統的資源分配和排程 nodemanager 整個...
大資料之大資料技術架構
上期我們說到大資料的概念，其實，大資料比我們想象中的還要複雜，本期，我們主要從技術的角度介紹一下大資料的知識。大資料技術是一系列技術的總稱，它是集合了資料採集與傳輸 資料儲存 資料處理與分析 資料探勘 資料視覺化等技術，是乙個龐大而複雜的技術體系。根據大資料從 到應用，實現傳輸的流程，可以將大資料技...