impala shell安裝及使用

1. impala簡介：

impala是cloudera公司主導開發的新型查詢系統，它提供sql語義，能查詢儲存在hadoop的hdfs和hbase中的pb級大資料。

2. impala shell使用

impala使用hive sql進行資料查詢，因此impala shell在使用方面也效仿了hive，在許多命令的用法上和hive有相近之處，但使用細節又有所區別。

impala shell和hive的相同之處：

 使用hive sql進行資料查詢；

 在許多命令使用上是一樣的。

impala shell和hive的不同之處：

 hive對語句解析的結束標誌是」;」，而impala shell對語句解析的結束標誌是回車；

 hive對命令的錯誤資訊相對impala shell比較詳細；

 impala使用的sql只是hive sql的子集。 

-h：檢視命令用法

-i ：指定daemon的位址

-q：指定查詢的sql語句

-b：格式化輸出* 大量資料加入格式化，效能受到影響

–output_delimiter=character （指定分隔符與其他命令整合，預設是\t分割）

–print_header 列印列名（去格式化，但是顯示列名字，預設不列印）

-v：檢視版本號

-f ：後跟查詢檔案

建議sql 語句寫到一行，因為shell 會讀取檔案一行一行的命令

-o：資料資料到檔案中

-r ：重新整理所有元資料(當hive建立表的時候，你需要重新整理到，才能看到hive元資料的改變)

整體重新整理，全量重新整理，萬不得已才能用；

不建議定時去重新整理hive源資料，資料量太大時候，乙個重新整理，很有可能會掛掉；

3. 安裝impala-shell（安裝包見附件）

rpm -ivh impala-shell-2.5.0+cdh5.7.0+0-1.cdh5.7.0.p0.147.el6.x86_64.rpm

impala-shell -i 127.0.0.1 -q "select msisdn,sum(pv) as pv from test where day=20180706 group by msisdn order by sum(pv) desc" -b --output_delimiter="," -o "/home/test.txt"

impala shell安裝及使用

impala簡介 impala是cloudera公司主導開發的新型查詢系統，它提供sql語義，能查詢儲存在hadoop的hdfs和hbase中的pb級大資料。impala shell使用 impala使用hive sql進行資料查詢，因此impala shell在使用方面也效仿了hive，在許多命令...

Python TensorFlow安裝及使用說明

python tensorflow安裝及使用說明 1 安裝 python 直譯器 anaconda。不需額外安裝，安裝時切記勾選 add anaconda to my path environment variable 檢驗安裝是否成功 anaconda v 或 conda list 2 安裝 cu...

Python miniconda的安裝及使用

今天開始學習python，記錄一下。開啟cmd終端或者anaconda prompt 快捷鍵 win r 然後輸入cmd，回車 分別在cmd終端或者anaconda prompt裡貼上下面兩行 每貼上一行回車確認 conda config add channels conda config set ...