雲計算HadoopYARN搭建教程

雲計算hadoopyarn搭建教程。

一、架構講解

1 rm(resourcemanager) + n nm(nodemanager)

resourcemanager的職責：乙個集群active狀態的rm只有乙個，負責整個集群的資源管理和排程1)處理客戶端的請求(啟動/殺死)2)啟動/監控applicationmaster(乙個作業對應乙個am)3)監控nm4)系統的資源分配和排程

nodemanager：整個集群中有n個，負責單個節點的資源管理和使用以及task的運**況1)定期向rm匯報本節點的資源使用請求和各個container的執行狀態2)接收並處理rm的container啟停的各種命令3)單個節點的資源管理和任務管理

applicationmaster：每個應用/作業對應乙個，負責應用程式的管理1)資料切分2)為應用程式向rm申請資源(container)，並分配給內部任務3)與nm通訊以啟停task， task是執行在container中的4)task的監控和容錯

container：對任務運**況的描述：cpu、memory、環境變數

yarn執行流程1)使用者向yarn提交作業2)rm為該作業分配第乙個container(am)3)rm會與對應的nm通訊，要求nm在這個container上啟動應用程式的am4) am首先向rm註冊，然後am將為各個任務申請資源，並監控運**況5)am採用輪訓的方式通過rpc協議向rm申請和領取資源6)am申請到資源以後，便和相應的nm通訊，要求nm啟動任務7)nm啟動我們作業對應的task

二、yarn環境搭建

注意事項：

1、首先hadoop 需要先搭建起來並且hdfs已經啟動。參考: hadoop hdfs環境搭建2、yarn 的配置僅在hadoop 安裝包的etc/hadoop檔案下進行配置，是hadoop 中檔案。3、假如hadoop 安裝目錄為 /www/instl/hadoop/hadoop-2.6.0-cdh5.7.0/4、以上說明假設已經全部符合條件

配置說明：

vi /www/instl/hadoop/hadoop-2.6.0-cdh5.7.0/etc/hadoop/mapred-site.xml

mapreduce.framework.name yarn

vi /www/instl/hadoop/hadoop-2.6.0-cdh5.7.0/etc/hadoop/yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffle

啟動yarn： cd/www/instl/hadoop/hadoop-2.6.0-cdh5.7.0/sbin

[root@dnsdomainname sbin]#./start-yarn.sh

驗證是否啟動成功: (1)方式1：命令：jps。存在三個節點程序即成功datanode、secondarynamenode、namenode、resourcemanager、nodemanager (2)方式2：瀏覽器：http://hadoop000:8088

停止yarn 在/www/instl/hadoop/hadoop-2.6.0-cdh5.7.0/sbin 下

[root@dnsdomainname sbin]# ./stop-yarn.sh

三、模擬作業執行

需求：提交mr作業到yarn上執行： wc執行假如作業檔案位置：/www/instl/hadoop/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar 命令：

hadoop jar /www/instl/hadoop/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar wordcount /input/wc/hello.txt /output/wc/

當我們再次執行該作業時，會報錯(需要刪除原來產生的檔案才能再一次作業)：filealreadyexist***ception:output directory hdfs://hadoop000:8020/output/wc already exists訪問

yarn 主頁訪問頁面: http://hadoop000:50070/ yarn 日誌訪問頁面: http://hadoop000:8088

四、yarn 日誌聚合引數配置

yarn日誌聚合相關引數配置

日誌聚合是yarn提供的日誌**化管理功能，它能將執行完成的container/任務日誌上傳到hdfs上，從而減輕nodemanager負載，且提供乙個**化儲存和分析機制。預設情況下，container/任務日誌存在在各個nodemanager上，如果啟用日誌聚合功能需要額外的配置。引數配置yarn-site.xml1.yarn.log-aggregation-enable引數說明：是否啟用日誌聚合功能，日誌聚合開啟後儲存到hdfs上。預設值：false2.yarn.log-aggregation.retain-seconds引數說明：聚合後的日誌在hdfs上儲存多長時間，單位為s。預設值：-1(不啟用日誌聚合)，例如設定為86400，24小時3.yarn.log-aggregation.retain-check-interval-seconds引數說明：刪除任務在hdfs上執行的間隔，執行時候將滿足條件的日誌刪除(超過引數2設定的時間的日誌)，如果是0或者負數，則為引數2設定值的1/10，上例值在此處為8640s。預設值：-14.yarn.nodemanager.log.retain-seconds引數說明：當不啟用日誌聚合此引數生效，日誌檔案儲存在本地的時間，單位為s預設值：108005.yarn.nodemanager.remote-app-log-dir引數說明：當應用程式執行結束後，日誌被轉移到的hdfs目錄(啟用日誌聚集功能時有效)，修改為儲存的日誌資料夾。預設值：/tmp/logs6.yarn.nodemanager.remote-app-log-dir-suffix引數說明：遠端日誌目錄子目錄名稱(啟用日誌聚集功能時有效)。預設值：logs 日誌將被轉移到目錄$/$/$下。

雲計算HadoopYARN搭建教程

雲計算 PaaS開發企業雲平台搭建

小型雲計算平台怎麼搭建？

雲計算平台搭建之VMWare IP設定

雲計算HadoopYARN搭建教程

雲計算 PaaS開發 企業雲平台搭建

小型雲計算平台怎麼搭建？

雲計算平台搭建 之VMWare IP設定

相關推薦

雲計算 PaaS開發企業雲平台搭建

雲計算平台搭建之VMWare IP設定