說明：所有hive執行的map與reduce任務可以產生的檔案的和
預設值:100000
hive.exec.dynamic.partition
說明：是否為自動分割槽
預設值：false
hive.mapred.reduce.tasks.speculative.execution
說明：是否開啟推測執行
預設值：true
hive.input.format
說明：hive預設的input format
預設值： org.apache.hadoop.hive.ql.io.combinehiveinputformat
如果有問題可以使用org.apache.hadoop.hive.ql.io.hiveinputformat
hive.exec.counters.pull.interval
說明：hive與jobtracker拉取counter資訊的時間
預設值：1000ms
hive.script.recordreader
說明：使用指令碼時預設的讀取類
預設值： org.apache.hadoop.hive.ql.exec.textrecordreader
hive.script.recordwriter
說明：使用指令碼時預設的資料寫入類
預設值： org.apache.hadoop.hive.ql.exec.textrecordwriter
hive.mapjoin.check.memory.rows
說明： 記憶體裡可以儲存資料的行數
預設值： 100000
hive.mapjoin.smalltable.filesize
說明：輸入小表的檔案大小的閥值，如果小於該值，就採用普通的join
預設值： 25000000
hive.auto.convert.join
說明：是不是依據輸入檔案的大小，將join轉成普通的map join
預設值： false
hive.mapjoin.followby.gby.localtask.max.memory.usage
說明：map join做group by 操作時，可以使用多大的記憶體來儲存資料，如果資料太大，則不會儲存在記憶體裡
預設值：0.55
hive.mapjoin.localtask.max.memory.usage
說明：本地任務可以使用記憶體的百分比
預設值： 0.90
hive.heartbeat.interval
說明：在進行mapjoin與過濾操作時，傳送心跳的時間
預設值1000
hive.merge.size.per.task
說明： 合併後檔案的大小
預設值： 256000000
hive.mergejob.maponly
說明： 在只有map任務的時候 合併輸出結果
預設值： true
hive.merge.mapredfiles
預設值： 在作業結束的時候是否合併小檔案
說明： false
hive.merge.mapfiles
說明：map-only job是否合併小檔案
預設值：true
hive.hwi.listen.host
說明：hive ui 預設的host
預設值：0.0.0.0
hive.hwi.listen.port
說明：ui監聽埠
預設值：9999
hive.exec.parallel.thread.number
說明：hive可以並行處理job的執行緒數
預設值：8
hive.exec.parallel
說明：是否並行提交任務
預設值：false
hive.exec.compress.output
說明：輸出使用壓縮
預設值： false
hive.mapred.mode
說明： mapreduce的操作的限制模式，操作的執行在該模式下沒有什麼限制
預設值： nonstrict
hive.join.cache.size
說明： join操作時，可以存在記憶體裡的條數
預設值： 25000
hive.mapjoin.cache.numrows
說明： mapjoin 存在記憶體裡的資料量
預設值：25000
hive.join.emit.interval
說明： 有連線時hive在輸出前，快取的時間
預設值： 1000
hive.optimize.groupby
說明：在做分組統計時，是否使用bucket table
預設值： true
hive.fileformat.check
說明：是否檢測檔案輸入格式
預設值：true
hive.metastore.client.connect.retry.delay
說明： client 連線失敗時,retry的時間間隔
預設值：1秒
hive.metastore.client.socket.timeout
說明: client socket 的超時時間
預設值：20秒
mapred.reduce.tasks
預設值：-1
說明：每個任務reduce的預設值
-1 代表自動根據作業的情況來設定reduce的值
hive.exec.reducers.bytes.per.reducer
預設值： 1000000000 (1g)
說明：每個reduce的接受的資料量
如果送到reduce的資料為10g,那麼將生成10個reduce任務
hive.exec.reducers.max
預設值：999
說明： reduce的最大個數
hive.exec.reducers.max
預設值：999
說明： reduce的最大個數
hive.metastore.warehouse.dir
預設值：/user/hive/warehouse
說明： 預設的資料庫存放位置
hive.default.fileformat
預設值：textfile
說明： 預設的fileformat
hive.map.aggr
預設值：true
說明： map端聚合，相當於combiner
hive.exec.max.dynamic.partitions.pernode
預設值：100
說明：每個任務節點可以產生的最大的分割槽數
hive.exec.max.dynamic.partitions
預設值：1000
說明： 預設的可以建立的分割槽數
hive.metastore.server.max.threads
預設值：100000
說明： metastore預設的最大的處理執行緒數
hive.metastore.server.min.threads
預設值：200
說明： metastore預設的最小的處理執行緒數
awk例項教程
1.awk語法規則 awk 2.顯示最近登入的5個帳號 last n 5 awk root root root dmtsai root awk工作流程是這樣的 讀入有 n 換行符分割的一條記錄，然後將記錄按指定的域分隔符劃分域，填充域，0則表示所有域,1表示第乙個域,n表示第n個域。預設域分隔符是 ...
CSS reflow例項教程
frame主要的動作有三個 構造frame,以建立物件樹 dom樹 reflow,以確定物件位置，或者www.cppcns.com是呼叫mozilla的layout 這裡是指原始碼的實現 繪製，以便物件能顯示在螢幕上 總的來說，reflow就是載入內容樹 在html中就是dom樹 和建立或更新fra...
PHP檔案鎖定寫入例項教程
php檔案寫入方法，以應對多執行緒寫入，具體 function file write file name text mode a timeout 30 if timeout 0 return false 其中flock int handle,int operation 函式操作的 handle 必須...