在hive客戶端執行hql查詢報錯，該查詢走的是mapreduce，此時需要檢視mapreduce的日誌資訊。
那麼mr的日誌在**呢?
首先啟動historyserver，認情況下historyserver沒有啟動
進入到hadoop的bin目錄下，執行以下命令，開啟之後,jps一下確認有jobhistoryserver
[root@master sbin]#然後需要確認 yarn-site.xml的乙個配置資訊，啟用日誌聚集功能，預設為false，不開啟則檢視詳細日誌會報錯./mr-jobhistory-daemon.sh start historyserver
點選histroy的鏈結，進入該應用的歷史資訊，點選對應的數字，檢視出錯的日誌資訊。
經過分析發現出錯的原因是陣列的索引超出範圍，匯出出錯。
另外mapreduce的log日誌存放位置是在hdfs上，每個應用都有對應的資料夾。
hive正則查詢會不會走MapReduce
話題 話不多說，咱們直奔主題，我們都知道hive查詢過程中，一些類似select a from a 這樣的語句是不會觸發mapreduce的，但是最近在使用正則regexp做查詢時偶然發現了乙個新玩兒法。不走mr寫法 正則匹配某個欄位的特定值時，在sql最後加乙個limit的限定，是不走mr的，如下...
如何分析慢查詢
首先需要明確查詢效能低下的基礎原因 訪問資料過多。還有一種可能性 篩選大量資料，但是並不常見。通常情況下效能低下的查詢都可以通過減少訪問資料量的方式進行優化。兩種分析方法 應用程式是否在檢索大量超過需要的資料。確認mysql伺服器是否在分析大量超過需要的資料行。描述 乙個查詢請求了超過實際需要的資料...
如何分析mysql的查詢語句
這裡順便總結一下mysql的監控情況，linux的系統級別監控就不提了，因為mysql是io密集型應用，所以重點關注iowait，對於mysql本身，qps 每秒內查詢的次數 tps 每秒內提交的事務，可以理解為insert update update thread running 當前處於活動狀態...