kylin簡介
kylin-中國團隊研發的,是第乙個真正由中國人自己主導、從零開始、自主研發、並成為apache頂級開源專案
kylin的定位:對資料進行預計算/預處理,主要出現在輔助hive元件(查詢效率比較慢),提高查詢效率。
hive的效能比較慢,支援sql,hbase的效能快,原生不支援sql。 kylin是將先將資料進行預處理,將預處理的結果放在hbase中。效率很高(將hive和hbase兩個技術的優點結合到一起
使用場景
用hive將hdfs檔案資料以關係資料方式訪問,資料量巨大,每天有數g甚至數十g的資料增量匯入,有10個以內較為固定的分析維度
kylin的核心思想
kylin 的核心思想是利用**空間換時間**
kylin 是乙個 hadoop 生態圈下的 molap 系統,支援sql語句,提供互動式的查詢能力
(互動式:強調的是查詢返回速度的效率高/快),cube
的概念,支援標準的jdbc查詢方式,與 bi 工具可無縫整合。
|聯機事務處理oltp、聯機分析處理olap。
oltp是傳統的關係型資料庫的主要應用,主要是基本的、日常的事務處理,例如銀行交易。olap是資料倉儲系統的主要應用,支援複雜的分析操作,側重決策支援,並且提供直觀易懂的查詢結果。
聯機分析處理的使用者是企業中的專業分析人員及管理決策人員,他們在分析業務經營的資料時,從不同的角度來審視業務的衡量指標是一種很自然的思考模式。例如分析銷售資料,可能會綜合時間週期、產品類別、分銷渠道、地理分布、客戶群類等多種因素來考量。
kylin的總體架構
kylin 依賴於 hadoop、hive、zookeeper 和 hbase
Kylin基本介紹
apache kylin 是乙個開源的分布式分析引擎,提供hadoop spark之上的sql查詢介面及多維分析 olap 能力以支援超大規模資料,最初由ebay inc.開發並貢獻至開源社群。它能在亞秒內查詢巨大的hive表。摘自官網 1 可擴充套件超快olap引擎 為減少在hadoop spar...
Kylin基本介紹
apache kylin 是乙個開源的分布式分析引擎,提供hadoop spark之上的sql查詢介面及多維分析 olap 能力以支援超大規模資料,最初由ebay inc.開發並貢獻至開源社群。它能在亞秒內查詢巨大的hive表。摘自官網 1 可擴充套件超快olap引擎 為減少在hadoop spar...
Kylin框架基本介紹
apache kylin 是什麼?apache kylin 是乙個開源的分布式分析引擎,提供hadoop之上的sql查詢介面及多維分析 olap 能力以支援超大規模資料,最初由ebay inc.開發並貢獻至開源社群。它能在亞秒內查詢巨大的hive表。apache kylin框架介紹 apache k...