生產跑sql
select sum(col) from (select 1 col from zbg_serv.tf_f_user_svc_item where month_id='201811' and day_id='05' limit 1 union all select 1 col from zbg_serv.tf_f_user_svc where month_id='201811' and day_id='05' limit 1 union all select 1 col from zbg_serv.tf_f_user where month_id='201811' and day_id='05' limit 1)t
報錯:
業務前端報錯如下:
查詢原因:
檢視yarn web頁面對應的job日誌,第二個節點日誌顯示為killed
但是重新執行就能成功。
還沒找出具體原因,又有新的sql報錯同樣錯誤,報錯如下:
從節點日誌看來,沒有明顯的報錯資訊 ,看到後面都是stop命令,並且業務側也沒有明顯報錯,再次重新跑也能重新跑過去。。
從另乙個方面著手解決:
(1)優化am記憶體
這兩也可以加大 一倍,現在報錯都是am出問題
(2)增加切換次數到5
(3)增加超時時間和mr類似
yarn.am.liveness-monitor.expiry-interval-ms
更改後需要重啟rm,切換即可,也可滾動重啟
注:mapreduce.am.max-attempts 這個是map-site檔案
其他在yarn-site檔案
最後總結:集群失敗重跑能過去的job,我們需要優化5個引數,其中三個在介面機,兩個在yarn
更改後需要滾動重啟yarn
關於vulhub環境報錯問題
最近在ubuntu上搭建vulhub環境時在執行 ubuntu ubuntu docker compose up d 報錯 error couldn 在網上找了很多教程找解決方式,效果都不是很好,不過運氣還不差有乙個方法解決了這個問題 ubuntu ubuntu sudo gpasswd a doc...
關於SAXParser載入dtd報錯問題解析
如果使用saxparser進行對xml的解析,不管對saxparse ctory工廠的setinvidating設定為false,saxparser在載入xml的時候,總會對xml中的dtd進行驗證,如果dtd檔案的路徑是絕對的,那麼一般沒有什麼問題,如果使用的路徑是相對的,那麼,就很容易發生dtd...
關於cocos下編譯報錯問題
前言 這個錯誤說 類menuscene的方法createscene沒有定義,實際上我已經定義了,而且對比了累名字串,沒有字母寫錯的情況。標頭檔案中宣告如下 public static cocos2d scene createscene cpp檔案實現如下 include menuscene.h in...