Apache Kylin的入門安裝

2021-09-02 20:44:50 字數 1284 閱讀 8042

[img]

apache kylin™是乙個開源的分布式分析引擎,提供hadoop之上的sql查詢介面及多維分析(olap)能力以支援超大規模資料,最初由ebay inc. 開發並貢獻至開源社群。它能在亞秒內查詢巨大的hive表。

從官網的介紹來看kylin是乙個olap的資料查詢引擎,其特點就是快。公司最近準備引入kylin做資料分析,原來也聽說過

但一直沒有接觸,現在正好可以驗證下kylin是否是傳說中那麼nb,今天我們先來看看如何安裝部署kylin。

由於kylin本身只是乙個server,所以安裝部署還是比較簡單的,但是它的前提要求是hadoop,hive,hbase必須已經安裝而且能正常工作,在這裡關於hadoop生態的一些框架的安裝部署就不再重複寫了,有興趣的可以看我以前的博文。

hadoop2.7.2

hive2.1.1

hbase1.2.0

zookeeper3.4.8

kylin2.0.0

在這裡假設你的hadoop,hive,hbase都已經安裝成功並能正常執行。

[url]

apache-kylin-2.0.0-bin-hbase1x.tar.gz

export kylin_home=/home/search/kylin

export classpath=$classpath:$kylin_home/lib

export path=$kylin_home/bin:$path

然後執行bin/check-env.sh 指令碼,檢查環境變數是否有缺失的,校驗通過之後,可以執行如下指令碼啟動:

bin/kylin.sh start // 啟動

bin/kylin.sh stop // 停止

這裡需要注意一點,kylin當前最新的版本只支援spark1.6.0的版本,原來我的機器中,安裝了乙個spark2.0的版本,導致

啟動kylin失敗,終端僅僅輸出spark assembly lib not found這個提示資訊,別的什麼也沒有,導致我誤以為我編譯的spark有問題,後來我將我的spark移除,重新啟動kylin才成功,

另外乙個注意的地方是hadoop的mr-jobhistory-daemon.sh 程序也要啟動起來。

並輸入預設的使用者名稱和密碼:admin / kylin 成功登入之後,看到下面的頁面,就代表安裝部署成功了。

[img]

Apache Kylin的框架介紹

不多說,直接上乾貨!apache kylin能提供低延遲 sub second latency 的秘訣就是預計算,即針對乙個星型拓撲結構的資料立方體,預計算多個維度組合的度量,然後將結果儲存在hbase中,對外暴露jdbc odbc rest api的查詢介面,即可實現實時查詢。如上圖所示,kyli...

Apache Kylin的框架介紹

apache kylin能提供低延遲 sub second latency 的秘訣就是預計算,即針對乙個星型拓撲結構的資料立方體,預計算多個維度組合的度量,然後將結果儲存在hbase中,對外暴露jdbc odbc rest api的查詢介面,即可實現實時查詢。如上圖所示,kylin從hadoop h...

Apache Kylin的架構特性

不多說,直接上乾貨!支援單機或集群部署,為減少在hadoop上百億規模資料查詢延遲而設計 提供標準sql介面,滿足hadoop之上的大部分分析查詢需求。使用者能夠在kylin裡為百億以上資料集定義資料模型並構建立方體。提供jdbc及odbc驅動,與bi工具整合。壓縮與編碼 增量更新 利用hbase ...