1. 首先找到hadoop/etc/hadoop/mapred-site.xml.template檔案，重名為mapred-site.xml
修改hadoop/etc/hadoop/mapred-site.xml檔案
2.修改hadoop/etc/hadoop/yarn-site.xml檔案
3. 啟動yarn
4. 檢視yarn外部web介面
bigdata-04或者ip位址 跟上8088埠號，外部通訊http
5. 測試環境，執行乙個mapreduce，wordcount單詞統計案例
乙個mapreduce分為五個階段
input -> map() -> shuffle -> reduce() -> output
步驟：將mapreduce執行在yarn上，需要打jar包
新建乙個資料檔案，用於測試mapreduce
將資料檔案從本地上傳到hdfs
bin/hdfs dfs -put /opt/datas/1.txt /user/beifeng/iuput/
使用官方提供的示例jar包：share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar
6. 執行
0001表示第乙個job
1500824570525表示unixtime（格林威治時間）
7.執行結果
結果存放在hdfs中的 /wordcount/output/part-r-00000下
[檢視命令： bin/hdfs dfs -text /wordcount/output/part-r-00000 （-part全拼partition,分割槽；-r全拼reduce,代表經過reduce過程生成的結果檔案；-m全拼map，代表經過map階段生成的結果檔案，也就是沒有執行reduce階段，乙個mapreduce程式必須有map階段可以沒有reduce階段；-00000檔案編號，分割槽號。）
yarn資源管理
在tarn中，資源管理由rescouecemanager和nodemanager共同完成，其中，resourcemanager中的排程器負責資源分配，而nodemanager則負責資源的供給和隔離。resourcemanager將某個nodemanager上資源分配給任務 這就是所謂的資源排程 後，...
Yarn的資源管理
假設一台機器有48g物理記憶體 8core 按照1 2的一般配置 虛擬core vcore 有 16個 1 linux系統本身要佔記憶體 空留 20 48 0.2 9.6g 剩餘 80 38.4g 2 dn程序 datanode 生產4g 更改datanode的配置 hadoop env.sh ha...
yarn資源管理優化
集群環境 chd5 2.5.2 我們集群使用的是failscheduler，如果佇列引數設定不合理，會直接影響到任務執行的快慢。佇列設定不合理 現狀 該隊裡minshare設定的過小，同時起的任務太多 導致的問題 該佇列中平均每個任務分的資源比較少，任務跑的特別慢，同時，任務之間會相互搶占conta...