kylin & tableau
hive 就是字面意思,大型資料倉儲,這邊用了乙個叫kylin 的東西 從hive 取資料生成cube 以key value 的方式存在hbase 裡面 。hbase 對接tableau 等報表工具
hbase 中 cube 存的是 每個緯度的資訊 ,下圖是有四個緯度夠成的cube 資訊集
從上往下 ,第乙個點對應的就是fact 表 沒有關聯任何的緯度,一次類推 ,關聯乙個緯度 ,兩個緯度 ,三個緯度,四個緯度 。
2的n 的次方 (n 是緯度的個數) 2*2*2*2 = 16
更多功能和實現,也在學習中
活著沒有意思,有空就扯蛋:
大資料技術之Hadoop(MapReduce)
mapreduce是乙個分布式運算程式的程式設計框架,是使用者開發 基於hadoop的資料分析應用 的核心框架 mapreduce核心功能是將使用者編寫的業務邏輯 和自帶預設元件整合成乙個完整的分布式運算程式,併發執行在乙個hadoop集群上。1 海量資料在單機上處理因為硬體資源限制,無法勝任 2 ...
大資料技術之Hadoop解析
大資料技術之hadoop解析。1 資料現狀 2006年數字世界 digital universe 專案統計得出全球資料總量為0.18zb,2011年將達到1.8zb 1zb 1 000eb 1 000 000pb 1 000 000 000tb 資料增長速度也在加快。2 資料的儲存 資料讀取速度慢 ...
大資料技術
如果沒有乙個好的開始,不妨試試乙個壞的開始吧。因為乙個壞的開始,總比沒有開始強。而完美的開始,則永遠都不會來到。資料採集傳輸主要技術 分為兩類,一類是離線批處理 另一類是實時資料採集和傳輸 離線批處理最有名的是sqoop 實時資料採集和傳輸最為常用的是flume和kafka sqoop 一款開源的離...