hadoop常用的調優引數

1）資源相關引數

（1）以下引數是在使用者自己的mr應用程式中配置就可以生效（mapred-default.xml）

配置引數

引數說明

mapreduce.map.memory.mb

乙個map task可使用的資源上限（單位:mb），預設為1024。如果map task實際使用的資源量超過該值，則會被強制殺死。

mapreduce.reduce.memory.mb

乙個reduce task可使用的資源上限（單位:mb），預設為1024。如果reduce task實際使用的資源量超過該值，則會被強制殺死。

mapreduce.map.cpu.vcores

每個map task可使用的最多cpu core數目，預設值: 1

mapreduce.reduce.cpu.vcores

每個reduce task可使用的最多cpu core數目，預設值: 1

mapreduce.reduce.shuffle.parallelcopies

每個reduce去map中拿資料的並行數。預設值是5

mapreduce.reduce.shuffle.merge.percent

buffer中的資料達到多少比例開始寫入磁碟。預設值0.66

mapreduce.reduce.shuffle.input.buffer.percent

buffer大小佔reduce可用記憶體的比例。預設值0.7

mapreduce.reduce.input.buffer.percent

指定多少比例的記憶體用來存放buffer中的資料，預設值是0.0

（2）應該在yarn啟動之前就配置在伺服器的配置檔案中才能生效（yarn-default.xml）

配置引數

引數說明

yarn.scheduler.minimum-allocation-mb   1024

給應用程式container分配的最小記憶體

yarn.scheduler.maximum-allocation-mb   8192

給應用程式container分配的最大記憶體

yarn.scheduler.minimum-allocation-vcores 1

每個container申請的最小cpu核數

yarn.scheduler.maximum-allocation-vcores 32

每個container申請的最大cpu核數

yarn.nodemanager.resource.memory-mb   8192

給containers分配的最大物理記憶體

（3）shuffle效能優化的關鍵引數，應在yarn啟動之前就配置好（mapred-default.xml）

配置引數

引數說明

mapreduce.task.io.sort.mb   100

shuffle的環形緩衝區大小，預設100m

mapreduce.map.sort.spill.percent   0.8

環形緩衝區溢位的閾值，預設80%

2）容錯相關引數(mapreduce效能優化)

配置引數

引數說明

mapreduce.map.maxattempts

每個map task最大重試次數，一旦重試引數超過該值，則認為map task執行失敗，預設值：4。

mapreduce.reduce.maxattempts

每個reduce task最大重試次數，一旦重試引數超過該值，則認為map task執行失敗，預設值：4。

mapreduce.task.timeout

Hadoop常用的調優引數

1 資源相關引數 1 以下引數是在使用者自己的mr應用程式中配置就可以生效 mapred default.xml 配置引數 引數說明 mapreduce.map.memory.mb 乙個maptask可使用的資源上限 單位 mb 預設為1024。如果maptask實際使用的資源量超過該值，則會被強制...

Hadoop的常用調優引數

1 以下引數是在使用者自己的mr應用程式中配置就可以生效 配置檔名 mapred default.xml 1.mapreduce.map.memory.mb 乙個maptask可使用的資源上限 單位 mb 預設為1024。如果maptask實際使用的資源量超過該值，則會被強制殺死。2.mapredu...

Hadoop引數調優

1 要注意namenode和datanode的通訊，有乙個引數可以提公升他們通訊的順暢度 即20logn，n為集群大小 2 注意把hdfs的namenode 檔案edits 日誌檔案 和fsimage 映象檔案 配置在不同目錄下。可以提公升namenode效能 3 基準測試 測試hdfs的寫 讀效能...