在hadoop 2.2.0中,yarn框架有很多預設的引數值,如果你是在機器資源比較不足的情況下,需要修改這些預設值,來滿足一些任務需要。nodemanager和resourcemanager都是在yarn-site.xml檔案中配置的,而執行mapreduce任務時,是在mapred-site.xml中進行配置的。 下面看一下相關的引數及其預設值情況:
引數名稱
預設值程序名稱
配置檔案
含義說明
yarn.nodemanager.resource.memory-mb
8192
nodemanager
yarn-site.xml
從節點所在物理主機的可用物理記憶體總量
yarn.nodemanager.resource.cpu-vcores
8nodemanager
yarn-site.xml
節點所在物理主機的可用虛擬cpu資源總數(core)
yarn.nodemanager.vmem-pmem-ratio
2.1nodemanager
yarn-site.xml
使用1m物理記憶體,最多可以使用的虛擬記憶體數量
yarn.scheduler.minimum-allocation-mb
1024
resourcemanager
yarn-site.xml
一次申請分配記憶體資源的最小數量
yarn.scheduler.maximum-allocation-mb
8192
resourcemanager
yarn-site.xml
一次申請分配記憶體資源的最大數量
yarn.scheduler.minimum-allocation-vcores
1resourcemanager
yarn-site.xml
一次申請分配虛擬cpu資源最小數量
yarn.scheduler.maximum-allocation-vcores
8resourcemanager
yarn-site.xml
一次申請分配虛擬cpu資源最大數量
mapreduce.framework.name
local
mapreduce
mapred-site.xml
取值local、classic或yarn其中之一,如果不是yarn,則不會使用yarn集群來實現資源的分配
mapreduce.map.memory.mb
1024
mapreduce
mapred-site.xml
每個mapreduce作業的map任務可以申請的記憶體資源數量
mapreduce.map.cpu.vcores
1mapreduce
mapred-site.xml
每個mapreduce作業的map任務可以申請的虛擬cpu資源的數量
mapreduce.reduce.memory.mb
1024
mapreduce
mapred-site.xml
每個mapreduce作業的reduce任務可以申請的記憶體資源數量
yarn.nodemanager.resource.cpu-vcores
8mapreduce
mapred-site.xml
每個mapreduce作業的reduce任務可以申請的虛擬cpu資源的數量
Hadoop2 X中的描述
1,hadoop 1.0中hdfs和mapreduce在高可用 擴充套件性等方面存在問題 2,hdfs存在的問題 namenode壓力過大,且記憶體受限,影響系統擴充套件 3,mapreduce存在的問題 jobtracker單點故障 jobtracker訪問壓力大,影響系統擴充套件性 難以支援除m...
hadoop2 x入門 Hadoop的啟動方式
本內容基於hadoop 2.7.2 1.hadoop啟動方式 我們執行hadoop安裝目錄下的sbin sh 各服務元件逐一啟動 hdfs hadoop daemon.sh start stop namenode datanode secondarynamenode yarn yarn daemon...
hadoop2 x入門 Hadoop的啟動方式
hadoop2.x入門 hadoop的啟動方式,本內容基於hadoop 2.7.2。1.hadoop啟動方式 我們執行hadoop安裝目錄下的sbin sh 各服務元件逐一啟動 hdfs hadoop daemon.sh start stop namenode datanode secondaryn...