hive.exec.max.created.files
說明：所有hive執行的map與reduce任務可以產生的檔案的和
預設值:100000
hive.exec.dynamic.partition
說明：是否為自動分割槽
預設值：false
hive.mapred.reduce.tasks.speculative.execution
說明：是否開啟推測執行
預設值：true
hive.input.format
說明：hive預設的input format
預設值： org.apache.hadoop.hive.ql.io.combinehiveinputformat
如果有問題可以使用org.apache.hadoop.hive.ql.io.hiveinputformat
hive.exec.counters.pull.interval
說明：hive與jobtracker拉取counter資訊的時間
預設值：1000ms
hive.script.recordreader
說明：使用指令碼時預設的讀取類
預設值： org.apache.hadoop.hive.ql.exec.textrecordreader
hive.script.recordwriter
說明：使用指令碼時預設的資料寫入類
預設值： org.apache.hadoop.hive.ql.exec.textrecordwriter
hive.mapjoin.check.memory.rows
說明： 記憶體裡可以儲存資料的行數
預設值： 100000
hive.mapjoin.smalltable.filesize
說明：輸入小表的檔案大小的閥值，如果小於該值，就採用普通的join
預設值： 25000000
hive.auto.convert.join
說明：是不是依據輸入檔案的大小，將join轉成普通的map join
預設值： false
hive.mapjoin.followby.gby.localtask.max.memory.usage
說明：map join做group by 操作時，可以使用多大的記憶體來儲存資料，如果資料太大，則不會儲存在記憶體裡
預設值：0.55
hive.mapjoin.localtask.max.memory.usage
說明：本地任務可以使用記憶體的百分比
預設值： 0.90
hive.heartbeat.interval
說明：在進行mapjoin與過濾操作時，傳送心跳的時間
預設值1000
hive.merge.size.per.task
說明： 合併後檔案的大小
預設值： 256000000
hive.mergejob.maponly
說明： 在只有map任務的時候 合併輸出結果
預設值： true
hive.merge.mapredfiles
預設值： 在作業結束的時候是否合併小檔案
說明： false
hive.merge.mapfiles
說明：map-only job是否合併小檔案
預設值：true
hive.hwi.listen.host
說明：hive ui 預設的host
預設值：0.0.0.0
hive.hwi.listen.port
說明：ui監聽埠
預設值：9999
hive.exec.parallel.thread.number
說明：hive可以並行處理job的執行緒數
預設值：8
hive.exec.parallel
說明：是否並行提交任務
預設值：false
hive.exec.compress.output
說明：輸出使用壓縮
預設值： false
hive.mapred.mode
說明： mapreduce的操作的限制模式，操作的執行在該模式下沒有什麼限制
預設值： nonstrict
hive.join.cache.size
說明： join操作時，可以存在記憶體裡的條數
預設值： 25000
hive.mapjoin.cache.numrows
說明： mapjoin 存在記憶體裡的資料量
預設值：25000
hive.join.emit.interval
說明： 有連線時hive在輸出前，快取的時間
預設值： 1000
hive.optimize.groupby
說明：在做分組統計時，是否使用bucket table
預設值： true
hive.fileformat.check
說明：是否檢測檔案輸入格式
預設值：true
hive.metastore.client.connect.retry.delay
說明： client 連線失敗時,retry的時間間隔
預設值：1秒
hive.metastore.client.socket.timeout
說明: client socket 的超時時間
預設值：20秒
mapred.reduce.tasks
預設值：-1
說明：每個任務reduce的預設值
-1 代表自動根據作業的情況來設定reduce的值
hive.exec.reducers.bytes.per.reducer
預設值： 1000000000 （1g）
說明：每個reduce的接受的資料量
如果送到reduce的資料為10g,那麼將生成10個reduce任務
hive.exec.reducers.max
預設值：999
說明： reduce的最大個數
hive.exec.reducers.max
預設值：999
說明： reduce的最大個數
hive.metastore.warehouse.dir
預設值：/user/hive/warehouse
說明： 預設的資料庫存放位置
hive.default.fileformat
預設值：textfile
說明： 預設的fileformat
hive.map.aggr
預設值：true
說明： map端聚合，相當於combiner
hive.exec.max.dynamic.partitions.pernode
預設值：100
說明：每個任務節點可以產生的最大的分割槽數
hive.exec.max.dynamic.partitions
預設值：1000
說明： 預設的可以建立的分割槽數
hive.metastore.server.max.threads
預設值：100000
說明： metastore預設的最大的處理執行緒數
hive.metastore.server.min.threads
預設值：200
說明： metastore預設的最小的處理執行緒數
Superset config配置檔案引數
superset配置檔案config.py檔案引數修改相關影響 1 如果讓dashboard左側出現篩選器，dashboard可交叉篩選，將以下三個引數設定為true dashboard native filters true,dashboard cross filters true,dashboa...
hive 配置檔案以及join中null值的處理
一 hive的引數設定 1.三種設定方式 配置檔案 使用者自定義配置檔案 hive conf dir hive site.xml 預設配置檔案 hive conf dir hive default.xml 使用者自定義配置會覆蓋預設配置。另外，hive也會讀入hadoop的配置，因為hive是作為h...
Nginx配置檔案配置引數的意思
nginx的配置檔案nginx.conf配置詳解如下 user nginx nginx nginx使用者及組 使用者 組。window下不指定 worker processes 8 工作程序 數目。根據硬體調整，通常等於cpu數量或者2倍於cpu。error log logs error.log e...