一.簡介
cloudera公司推出,提供對hdfs、hbase資料的高效能、低延遲的互動式sql查詢功能。基於hive使用記憶體計算,兼顧資料倉儲,具有實時、批處理、多併發的優點。是cdh平台首選的pb級大資料實時查詢分析引擎。
二.優點
1.基於記憶體計算,能夠對pb級別資料進行互動式實時查詢、分析
2.無需轉化mr,直接讀取hdfs資料
3.c++編寫,llvm統一編譯執行
4.相容hivesql
5.具有資料倉儲的特點,可直接對hive資料進行分析
6.支援資料本地化
7.支援列式儲存
8.支援jdbc/odbc遠端連線
二.缺點
1.對記憶體需求大
2.c++編寫,不開源
3.完全依賴hive
4.實踐表明,當分割槽超過1w時效能嚴重下降
5.穩定性不如hive
初識Impala 快速入門
impala 是 cloudera 提供的一款高效率的 sql 查詢工具,提供實時的查詢效果,官方測試效能比 hive 快 10 到 100 倍,其 sql 查詢比 sparksql 還要更加快速,號稱是當前大資料領域最快的查詢 sql 工具。impala 是參照谷歌的新三篇 caffeine 網路...
大資料入門 Impala框架基礎簡介
在大資料處理當中,核心的資料分析處理環節,衍生出了非常多的框架元件工具,基於不同場景下的需求,給出了更多可選的技術方案。比如說在互動式查詢場景下,impala就是乙個不可忽視的重要選擇。今天的大資料入門分享,我們就來講講impala框架入門的一些基礎知識。impala的出現,追溯其源頭,是來自於go...
Impala實踐之十五 Impala使用文件
由於前期大家使用impala的時候都比較隨意,再加上對impala的原理不清楚,因此在使用的過程中對impala帶來了很大的壓力。經過前段時間的研究和實驗。我整理了乙份impala使用文件,供組內小夥伴使用。只有通過hdfs增加或刪除分割槽中檔案後,才需要人為更新元資料,其餘情況依賴impala自帶...