Kylin 麒麟介紹

2021-10-06 02:34:19 字數 1115 閱讀 2076

kylin-是由中國團隊研發的,是第乙個真正的由中國人自己主導,從零開始,並成為apache頂級的開源專案,在此發表感嘆國貨之光。
1.kylin與hive相比

• hive的效能比較慢,支援sql靈活查詢,特別慢

• hbase的效能快,原生不支援sql - phoenix:可以寫sql語句來查詢hbase!!

• kylin是將先將資料進行預處理,將預處理的結果放在hbase中。效率很高•(將hive和hbase兩個技術的優點結合到一起

2.為什麼要使用kylin

• kylin 是乙個 hadoop 生態圈下的 molap 系統,是 ebay 大資料部門從2014 年開始研發的支援 tb 到 pb 級別資料量的分布式 olap 分析引擎。其特點包括:

• 可擴充套件的超快的 olap 引擎

• 提供 ansi-sql 介面

• 互動式查詢能力

• molap cube 的概念

• 與 bi 工具可無縫整合

hive的效能比較慢,支援sql,hbase的效能快,原生不支援sql。

kylin是將先將資料進行預處理,將預處理的結果放在hbase中。效率很高(將hive和hbase兩個技術的優點結合到一起)

使用場景

用hive將hdfs檔案資料以關係資料方式訪問,資料量巨大,每天有數g甚至數十g的資料增量匯入,有10個以內較為固定的分析維度

核心思想

kylin 的核心思想是利用空間換時間

kylin 是乙個 hadoop 生態圈下的 molap 系統,支援sql語句,提供互動式的查詢能力(互動式:強調的是查詢返回速度的效率高/快),cube 的概念,支援標準的jdbc查詢方式,與 bi 工具可無縫整合。

聯機事務處理oltp、聯機分析處理olap。

oltp是傳統的關係型資料庫的主要應用,主要是基本的、日常的事務處理,例如銀行交易。olap是資料倉儲系統的主要應用,支援複雜的分析操作,側重決策支援,並且提供直觀易懂的查詢結果。

聯機分析處理的使用者是企業中的專業分析人員及管理決策人員,他們在分析業務經營的資料時,從不同的角度來審視業務的衡量指標是一種很自然的思考模式。例如分析銷售資料,可能會綜合時間週期、產品類別、分銷渠道、地理分布、客戶群類等多種因素來考量。

整理銀河麒麟的操作命令Kylin

opt cat etc lsb release distrib id kylin distrib release 4.0.2 distrib codename juniper distrib description kylin 4.0.2 distrib kylin release 4.0 2sp3...

Kylin基本介紹

apache kylin 是乙個開源的分布式分析引擎,提供hadoop spark之上的sql查詢介面及多維分析 olap 能力以支援超大規模資料,最初由ebay inc.開發並貢獻至開源社群。它能在亞秒內查詢巨大的hive表。摘自官網 1 可擴充套件超快olap引擎 為減少在hadoop spar...

Kylin基本介紹

apache kylin 是乙個開源的分布式分析引擎,提供hadoop spark之上的sql查詢介面及多維分析 olap 能力以支援超大規模資料,最初由ebay inc.開發並貢獻至開源社群。它能在亞秒內查詢巨大的hive表。摘自官網 1 可擴充套件超快olap引擎 為減少在hadoop spar...