impala簡介:
impala是cloudera公司主導開發的新型查詢系統,它提供sql語義,能查詢儲存在hadoop的hdfs和hbase中的pb級大資料。
impala shell使用
impala使用hive sql進行資料查詢,因此impala shell在使用方面也效仿了hive,在許多命令的用法上和hive有相近之處,但使用細節又有所區別。
impala shell和hive的相同之處:
使用hive sql進行資料查詢;
在許多命令使用上是一樣的。
impala shell和hive的不同之處:
hive對語句解析的結束標誌是」;」,而impala shell對語句解析的結束標誌是回車;
hive對命令的錯誤資訊相對impala shell比較詳細;
impala使用的sql只是hive sql的子集。
-h:檢視命令用法
-i :指定daemon的位址
-q:指定查詢的sql語句
-b:格式化輸出* 大量資料加入格式化,效能受到影響
–output_delimiter=character (指定分隔符與其他命令整合,預設是\t分割)
–print_header 列印列名(去格式化,但是顯示列名字,預設不列印)
-v:檢視版本號
-f :後跟查詢檔案
建議sql 語句寫到一行,因為shell 會讀取檔案一行一行的命令
-o:資料資料到檔案中
-r :重新整理所有元資料(當hive建立表的時候,你需要重新整理到,才能看到hive元資料的改變)
整體重新整理,全量重新整理,萬不得已才能用;
不建議定時去重新整理hive源資料,資料量太大時候,乙個重新整理,很有可能會掛掉;
安裝impala-shell(安裝包見附件)
rpm -ivh impala-shell-2.5.0+cdh5.7.0+0-1.cdh5.7.0.p0.147.el6.x86_64.rpm
執行查詢
impala-shell -i 127.0.0.1 -q "select msisdn,sum(pv) as pv from test where day=20180706 group by msisdn order by sum(pv) desc" -b --output_delimiter="," -o "/home/test.txt"
impala shell安裝及使用
1.impala簡介 impala是cloudera公司主導開發的新型查詢系統,它提供sql語義,能查詢儲存在hadoop的hdfs和hbase中的pb級大資料。2.impala shell使用 impala使用hive sql進行資料查詢,因此impala shell在使用方面也效仿了hive,在...
Python TensorFlow安裝及使用說明
python tensorflow安裝及使用說明 1 安裝 python 直譯器 anaconda。不需額外安裝,安裝時切記勾選 add anaconda to my path environment variable 檢驗安裝是否成功 anaconda v 或 conda list 2 安裝 cu...
Python miniconda的安裝及使用
今天開始學習python,記錄一下。開啟cmd終端或者anaconda prompt 快捷鍵 win r 然後輸入cmd,回車 分別在cmd終端或者anaconda prompt裡貼上下面兩行 每貼上一行回車確認 conda config add channels conda config set ...