測試通知，hive提交的mr任務卡住乙個小時，無法執行。
測試使用的是頁面應用提交的任務，先確定是否是應用的問題。在yarn webui檢視，發現任務已經提交到yarn中，處於accepted狀態。——確定應用已經將任務正常提交。
檢視ambari介面hive元件，無報錯。在hive客戶端執行簡單查詢命令，show tables；select * from table_name；均正常執行。再執行mr任務的時候，問題復現：
select * from table_name order by id;
任務卡住，如下圖：
此時hive提交mr作業到yarn集群，job已經提交完畢，基本可以確定不是hive的問題。
進一步排除hive的問題，單獨執行mr任務：執行簡單wordcount
寫乙個testfile，內容如下：
a 33
b 2c 4
d 6
發現同樣卡住。已排除hive的問題。
將27個pending狀態的任務全部kill掉，發現yarn集群就可以正常提交任務了。
1、目前尚不清楚這27個pending任務的成因是什麼。
2、yarn使用的佇列是fair schedule佇列，此排程原理需進一步學習
Spark 提交Yarn集群報錯異常
yarn.resourcemanager.hostname name node01 value property yarn.nodemanager.aux services name mapreduce shuffle value property 關閉yarn記憶體檢查 yarn.nodemana...
yarn 集群搭建
啟動步驟 基於ha 集群搭建 ha集群搭建 nn 1 nn 2 dnzk zkfc jnnrs nmnode1 node2 node3 node4 mapreduce.framework.namename yarnvalue property configuration yarn.nodemanag...
Yarn集群的搭建
1.首先，yarn集群的搭建是建立在高可用完全分布式上進行搭建的 2.修改配置檔案 每台伺服器都需要修改 2.1修改配置 mapred site.xml 此檔案在hadoop的etc下的mapred site.xml中，原名需要在後刪除一部分，得到此配置檔案 mapreduce.framework....