cdh中的yarn 與hdfs 一點隱藏關係
今天清明節假期第二天，上午日常遠端連一下公司伺服器，看看跑批作業是否ok
然後發現 cdh hadoop集群中提交到yarn上的mapreduce作業跑的非常慢，而且經常是 map 0%，reduce 0%的狀態卡主
一開始以為是yarn出了問題，檢查yarn元件都ok，然後我kill乙個mapreduce作業，發現其他的作業進度開始跑動
但是一會兒，重新提交的作業還是經常卡主，看了半天log 也沒找到原因，以為是spark占用的太多io，導致mapreduce作業資源不足，那就乙個乙個跑吧。
然後更令我崩潰的事發生了，跑了20幾個作業後，新提交的作業狀態都pending，全部掛起。
無論我殺掉作業還是重啟元件，還是重啟集群，新提交的作業都會在map 和reduce 一定程度後全部掛起
既不報錯，也不進行。
最後和同事溝通，發現之前也有過類似的狀況，是因為hdfs的容量不多了，然後他刪除了一下原始資料跑批速度就恢復正常了。
我試了一下，果然是這個原因。
猜測是hadoop有些機制，導致hdfs空間不多時，不在向hdfs中寫入資料。
這坑了我一天假期
YARN 任務日誌儲存到HDFS中
配置檔案如下 yarn site.xml。我下面只寫出日誌相關的配置內容 yarn.log aggregation.retain secondsname 10080value 日誌儲存時間description property yarn.log aggregation enablename tru...
CDH5 15 1中Hue整合Hdfs和Hbase
一 整合hdfs 1 問題描述 開啟hue的web介面，出現報錯 cannot access user hue.note you are a hue admin but not a hdfs superuser,hdfs or part of hdfs2 解決辦法，安全性待確認 root hadoo...
yarn與npm區別及yarn的使用介紹
yarn是facebook發布的一款可取代npm的js包管理工具，yarn的操作與npm的極為相近，而且yarn同樣是從npm註冊源來獲取模組工具 尤其是別人建立的一些專案，經久累月，重新安裝依賴的時候總是會出現很多的問題，且會出現不同的人有的時候安裝的包的版本不一致，儘管現在npm的最新版已經針對...