最近發現hive庫中的資料都是沒有壓縮的，每次執行超級慢，現在調優成rcfile格式，具體流程如下：
（1）建表時新增語句：stored as rcfile
（2）在sql語句中加入配置引數：
set hive.exec.compress.output=true;
set mapred.output.compress=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.gzipcodec;
Hadoop 調優篇 運維視角
hadoop運維人員,負責為hadoop提供乙個高效和可靠的作業執行環境,很多時候,需要從全域性出發,通過調整一些關鍵引數以提供系統的效能和吞吐量.總體上看,hadoop運維需要從硬體選擇,作業系統引數調優,jvm引數調優,hadoop引數調優四個方面著手進行調優 1.硬體選擇 在硬體環境中,應著重...
hadoop運維彙總篇
在實際的生產環境運維乙個hadoop集群有一些必須要關注的事情。1 namenode的高可靠性 2 節點配置與管理 3 mapreduce的記憶體配置 4 啟用trash 首要的是保證資料安全可靠，其次再去考慮儲存效率 計算效率 運維效率的優化與提高，當你覺得hadoop集群的效能太差太差的時候，其...
hadoop系統運維 linux quta配置
1.客戶端 quta 配額修改 1 編輯賬戶 群組的閥值與寬限時間 用edquota去設定使用者myquota1的磁碟使用限制。七個欄位的意義分別是 1 檔案系統 filesystem 說明該限制值是針對哪個檔案系統 或 partition 2 磁碟容量 blocks 這個數值是 quota 自己算...