Hadoop資源配置

1.1、yarn的工作流程圖

1.2、yarn流程圖詳解

如上圖所示，yarn框架流程如下幾個步驟：

的命令、使用者程式等；

②、yarn中的resourcemanager負責接收和處理來自客戶端的請求，待接收到客戶端應用程式請求後，

resourcemanager裡面的排程器會為應用程式分配乙個容器。同時resourcemanager的應用程式管理器會與該

mstr）；

來直接檢視應用程式的執行狀態，接下來的④~⑦是具體的應用程式執行步驟；

到資源後，就會與該容器所在的nodemanager進行通訊，要求它啟動任務；

然後將任務啟動命令寫到乙個指令碼中，最後通過在容器中執行該指令碼來啟動任務；

握各個任務的執行狀態，從而可以在任務失敗時重新啟動任務；

有任務執行完畢。

1、yarn的介紹與資源配置

資源設定說明

yarn負責管理mr中的資源（記憶體，cpu等）並且將其打包成container。這樣可以精簡mr使之專注於其擅長的資料處理任務，將無需考慮資源排程。yarn會管理集群中所有機器可用計算資源，yarn會排程應用發來的資源請求，然後yarn會通過分配container來給每個應用提供處理能力，container是yarn中處理能力的基本單元，是對記憶體，cpu等的封裝。在hadoop集群中，平衡記憶體（ram）、處理器（cpu核心）和磁碟的使用至關重要，合理規劃，可以避免某項引起瓶頸制約。

注：建議一塊磁碟和乙個cpu核心上配置兩個container會達到集群利用率的最佳平衡。

yarn和mr總的可用記憶體應考慮到保留的記憶體，保留的記憶體是由系統程序和其他hadoop程序（如hbase）所需要的記憶體。

注：保留記憶體 = 保留系統記憶體 + 保留hbase記憶體（如果hbase是在同一節點）

保留系統記憶體設定：主機->所有主機->配置->記憶體調撥過度驗證閾值

2、保留記憶體的建議如下

3、確定每個節點的container允許的最大數量

注：container數量=min(2*cores,1.8*disks,可用記憶體/最低container的大小) 最低container的大小，這個值是依賴於可用的ram數量。

container的大小建議

計算每個container的記憶體大小：

注：每個container的記憶體大小 = max(最小container記憶體大小，總的可用記憶體/container數)

4、根據計算yarn和mapreduce配置建議

開發集群環境

檢視cpu數量命令：
cat /proc/cpuinfo | grep "physical id" | uniq | wc -l
檢視單個cpu核數命令：
cat /proc/cpuinfo | grep "cpu cores" | uniq
檢視cpu總核數命令：
cat /proc/cpuinfo | grep "processor" | wc –l

1、集群節點資訊

2、集群的引數配置如下

3、生產集群節點資訊

4、集群的引數配置如下

1、引數解釋與配置

Hadoop資源配置

Django 靜態資源配置

SpringBoot靜態資源配置

spring靜態資源配置

Hadoop資源配置

Django 靜態資源配置

SpringBoot靜態資源配置

spring靜態資源配置

相關推薦