黑猴子的家 Hive 開啟 Map 輸出階段壓縮

案例實操

1）檢視 hadoop 都支援什麼壓縮格式

[victor@hadoop102 hadoop] bin/hadoop checknative

hive (default)> set hive.exec.compress.intermediate=true;

hive (default)> set mapreduce.map.output.compress=true;

hive (default)> set mapreduce.map.output.compress.codec=

hive (default)> select count(ename) name from emp;

黑猴子的家 Hive 資料匯出

1 insert匯出 1 將查詢的結果匯出到本地 hive default insert overwrite local directory opt module datas export student select from student 2 將查詢的結果格式化匯出到本地 hive defau...

黑猴子的家 Hive 資料傾斜優化之 Map數量

1 通常情況下，作業會通過input的目錄產生乙個或者多個map任務。主要的決定因素有 input的檔案總個數，input的檔案大小，集群設定的檔案塊大小。2 是不是map數越多越好？答案是否定的。如果乙個任務有很多小檔案 遠遠小於塊大小128m 則每個小檔案也會被當做乙個塊，用乙個map任務來完成...

黑猴子的家 Hive 其它命令操作

1 退出hive視窗 hive default exit hive default quit 2 在hive cli命令視窗中如何檢視hdfs檔案系統 hive default dfs lsr 3 在hive cli命令視窗中如何檢視hdfs本地系統 hive default ls opt modu...