hive非互動模式
1、可以將hive執行的sql語句儲存到指令碼檔案中,通過-f選項指定指令碼檔案執行hive
eg:hive -f script.sql
2、對於較短的sql語句,可以直接使用-e選項執行hive
eg:hive -e 'select * from table a'
3、-s選項
hive執行過程中,會在終端上顯示mapreduce的進度。如果不想顯示進度,可以使用-s選項。
這個靜音模式很實用,,通過第三方程式呼叫,第三方程式通過hive的標準輸出獲取結果集。
eg:$hive_home/bin/hive -s -e 'select a.col from tab1 a' > tab1.csv
hive互動模式
當$hive_home/bin/hive執行時,沒有-e或者-f選項,會進入互動式shell模式。
命令描述
quit
退出互動式shell
exit
退出互動式shell
reset
重置配置為預設值
set =
修改特定變數的值
注意:如果變數名拼寫錯誤,不會報錯
set
輸出使用者覆蓋的hive配置變數
set -v輸出所有hadoop和hive的配置變數
add file[s] *
新增 乙個或多個 file, jar, archives到分布式快取
add jar[s] *
新增 乙個或多個 file, jar, archives到分布式快取
add archive[s] *
新增 乙個或多個 file, jar, archives到分布式快取
list file[s]輸出已經新增到分布式快取的資源
list jar[s]輸出已經新增到分布式快取的資源
list archive[s]輸出已經新增到分布式快取的資源
list file[s] *
檢查給定的資源是否新增到分布式快取
list jar[s] *
檢查給定的資源是否新增到分布式快取
list archive[s] *
檢查給定的資源是否新增到分布式快取
delete file[s] *
從分布式快取刪除指定的資源
delete jar[s] *
從分布式快取刪除指定的資源
delete archive[s] *
從分布式快取刪除指定的資源
! 從hive shell執行乙個shell命令
dfs 從hive shell執行乙個dfs命令
執行乙個hive 查詢,然後輸出結果到標準輸出
source file 在cli裡執行乙個hive指令碼檔案
Hive 工作機制
hive 是乙個基於hadoop的乙個資料倉儲工具,可以將結構化的資料檔案對映為乙個表,並提供sql查詢功能,可將sql語句轉換為mapreduce任務進行。優點 學習成本低 可以通過類sql語句快速實現mapreduce統計。將清洗過的資料放入到hdfs中,就可以進行各種統計了 hive執行時,元...
Hive工作原理
使用者提交查詢等任務給driver。編譯器獲得該使用者的任務plan。編譯器compiler根據使用者任務去metastore中獲取需要的hive的元資料資訊。編譯器compiler得到元資料資訊,對任務進行編譯,先將hiveql轉換為抽象語法樹,然後將抽象語法樹轉換成查詢塊,將查詢塊轉化為邏輯的查...
Hive工作原理
hdfs中儲存的是資料 hive只裝在一台機器上,hive只是乙個工具乙個客戶端,而且他的資料時儲存在hdfs中的,只要hive能讀取hdfs的資料,能和msql進行互動底層就能轉換成mr程式,mr程式交給yarn之後就進行分布式執行了 hive來處理hdfs中儲存的結構化的靜態化資料,這個資料可以...