Impala快速入門

2022-05-06 13:09:11 字數 454 閱讀 9701

一.簡介

cloudera公司推出,提供對hdfs、hbase資料的高效能、低延遲的互動式sql查詢功能。基於hive使用記憶體計算,兼顧資料倉儲,具有實時、批處理、多併發的優點。是cdh平台首選的pb級大資料實時查詢分析引擎。

二.優點

1.基於記憶體計算,能夠對pb級別資料進行互動式實時查詢、分析

2.無需轉化mr,直接讀取hdfs資料

3.c++編寫,llvm統一編譯執行

4.相容hivesql

5.具有資料倉儲的特點,可直接對hive資料進行分析

6.支援資料本地化

7.支援列式儲存

8.支援jdbc/odbc遠端連線

二.缺點

1.對記憶體需求大

2.c++編寫,不開源

3.完全依賴hive

4.實踐表明,當分割槽超過1w時效能嚴重下降

5.穩定性不如hive

初識Impala 快速入門

impala 是 cloudera 提供的一款高效率的 sql 查詢工具,提供實時的查詢效果,官方測試效能比 hive 快 10 到 100 倍,其 sql 查詢比 sparksql 還要更加快速,號稱是當前大資料領域最快的查詢 sql 工具。impala 是參照谷歌的新三篇 caffeine 網路...

大資料入門 Impala框架基礎簡介

在大資料處理當中,核心的資料分析處理環節,衍生出了非常多的框架元件工具,基於不同場景下的需求,給出了更多可選的技術方案。比如說在互動式查詢場景下,impala就是乙個不可忽視的重要選擇。今天的大資料入門分享,我們就來講講impala框架入門的一些基礎知識。impala的出現,追溯其源頭,是來自於go...

Impala實踐之十五 Impala使用文件

由於前期大家使用impala的時候都比較隨意,再加上對impala的原理不清楚,因此在使用的過程中對impala帶來了很大的壓力。經過前段時間的研究和實驗。我整理了乙份impala使用文件,供組內小夥伴使用。只有通過hdfs增加或刪除分割槽中檔案後,才需要人為更新元資料,其餘情況依賴impala自帶...