Hadoop常用的調優引數

1**）資源相關引數**

（1）以下引數是在使用者自己的mr應用程式中配置就可以生效（mapred-default.xml）

配置引數

引數說明

mapreduce.map.memory.mb

乙個maptask可使用的資源上限（單位:mb），預設為1024。如果maptask實際使用的資源量超過該值，則會被強制殺死。

mapreduce.reduce.memory.mb

乙個reducetask可使用的資源上限（單位:mb），預設為1024。如果reducetask實際使用的資源量超過該值，則會被強制殺死。

mapreduce.map.cpu.vcores

每個maptask可使用的最多cpu core數目，預設值: 1

mapreduce.reduce.cpu.vcores

每個reducetask可使用的最多cpu core數目，預設值: 1

mapreduce.reduce.shuffle.parallelcopies

每個reduce去map中取資料的並行數。預設值是5

mapreduce.reduce.shuffle.merge.percent

buffer中的資料達到多少比例開始寫入磁碟。預設值0.66

mapreduce.reduce.shuffle.input.buffer.percent

buffer大小佔reduce可用記憶體的比例。預設值0.7

mapreduce.reduce.input.buffer.percent

指定多少比例的記憶體用來存放buffer中的資料，預設值是0.0

（2）應該在yarn啟動之前就配置在伺服器的配置檔案中才能生效（yarn-default.xml）

配置引數

引數說明

yarn.scheduler.minimum-allocation-mb

給應用程式container分配的最小記憶體，預設值：1024

yarn.scheduler.maximum-allocation-mb

給應用程式container分配的最大記憶體，預設值：8192

yarn.scheduler.minimum-allocation-vcores

每個container申請的最小cpu核數，預設值：1

yarn.scheduler.maximum-allocation-vcores

每個container申請的最大cpu核數，預設值：32

yarn.nodemanager.resource.memory-mb

給containers分配的最大物理記憶體，預設值：8192

（3）shuffle效能優化的關鍵引數，應在yarn啟動之前就配置好（mapred-default.xml）

配置引數

引數說明

mapreduce.task.io.sort.mb

shuffle的環形緩衝區大小，預設100m

mapreduce.map.sort.spill.percent

環形緩衝區溢位的閾值，預設80%

2**）容錯相關引數（mapreduce****效能優化）**

配置引數

引數說明

mapreduce.map.maxattempts

每個map task最大重試次數，一旦重試次數超過該值，則認為map task執行失敗，預設值：4。

mapreduce.reduce.maxattempts

每個reduce task最大重試次數，一旦重試次數超過該值，則認為map task執行失敗，預設值：4。

mapreduce.task.timeout

Hadoop的常用調優引數

1 以下引數是在使用者自己的mr應用程式中配置就可以生效 配置檔名 mapred default.xml 1.mapreduce.map.memory.mb 乙個maptask可使用的資源上限 單位 mb 預設為1024。如果maptask實際使用的資源量超過該值，則會被強制殺死。2.mapredu...

hadoop常用的調優引數

1 資源相關引數 1 以下引數是在使用者自己的mr應用程式中配置就可以生效 mapred default.xml 配置引數 引數說明 mapreduce.map.memory.mb 乙個map task可使用的資源上限 單位 mb 預設為1024。如果map task實際使用的資源量超過該值，則會被...

Hadoop引數調優

1 要注意namenode和datanode的通訊，有乙個引數可以提公升他們通訊的順暢度 即20logn，n為集群大小 2 注意把hdfs的namenode 檔案edits 日誌檔案 和fsimage 映象檔案 配置在不同目錄下。可以提公升namenode效能 3 基準測試 測試hdfs的寫 讀效能...