最近安裝了一套測試系統,在測試系統的時候,發現有服務正常,但無法進入hive的後台介面。不管是輸入hive 還是具體的hive -e 語句執行,都有相應的問題。最後問題定位為相應元件問題。
查詢/tmp/user/hive.log 日誌,發現tez引擎沒有響應,後台通過yarn檢視到任務沒有進入執行狀態。
推測為許可權問題,修改了一波許可權後,未果。
之後推測為資源問題無法正常執行,查詢 //hadoop/yarn/log目錄為空,懷疑目錄沒有掛載上。
這時候 hdp的報錯就比較重要了
1/1 local-dirs are bad:/hadoop/yarn/local;1/1 log-dirs are bad:/hadoop/yarn/log;
這個時候根據hdp日誌,判斷出是空間不足,發現disk usage大於百分之九十報錯。
最後把disk usage的空間降低到九十以下,成功解決報錯,重啟yarn和hive掛載目錄,成功解決hive登入不上的問題。
這個問題比較隱蔽,首先網上沒有類似的解決方案/思路。第二是對hdp的報錯體系不熟悉,不知道哪些報錯影響系統,比如這次hive使用有問題,但hbase和hdfs使用完全沒問題。
其實也涉及到hive後台登入的時候就開始通過yarn呼叫tez引擎的原理。
還有對bad沒有像對error等同起來,不知道是什麼錯誤。
最後是對儲存的不理解,及一般未滿儲存是警告,而不是直接報錯。
hive開啟計算引擎session卡死
平台 h3c dataengine 表現形式 啟動hive shell第一次執行走計算流程的sql時,開啟計算引擎的session時卡死,視覺化檢視任務正常提交,就是無法執行。原因解釋 無論什麼yarn排程器預設都是單佇列,h3c使用的是公平排程器,但佇列中存在其他正在執行的任務導致佇列資源占用達到...
解決eclipse卡死問題
jvm調優建議 1.xms xmx 定義young old段的總尺寸,xms為jvm啟動時young old的記憶體大小 xmx為最大可占用的young old記憶體大小。在使用者生產環境上一般將這兩個值設為相同,以減少執行期間系統在記憶體申請上所花的開銷。2.xx newsize maxnewsi...
MySQL 卡死的問題
1.執行show full processlist觀察state和info兩列,檢視有哪些執行緒在執行。2.使用kill命令 對應執行緒前面id殺死卡死的執行緒。其他的方式 查詢是否鎖表 show open tables 查詢程序 show processlist 查詢到相對應的程序,然後殺死程序 ...