由於hive在0.7和0.81版本中,concat_ws函式不支援array,但是還需要用到concat_ws對array的支援,so,今天對hive的版本進行了一下公升級,hive0.9版本以上的是支援的,目前最新的版本是0.12,索性直接公升級到hive0.12版本了。遇到的問題如下:
1. 元資料的改變
hive公升級是向下相容的,即公升級到hive0.12版本,對之前的hive0.81版本的元資料訪問是沒有問題的。
但是公升級之後,在初始化階段,會改變之前元資料的一些表結構,再用低版本的hive client端訪問元資料就會提示錯誤。
這個是在公升級的時候一定要注意的,如果不確定的話,一定要找乙個測試環境測試好後,再更新到線上。
2. hadoop包的變更
公升級到高版本後,一定要將$hadoop_home/lib下的hive相關的jar包,替換成新版本hive的jar包,否則可以進入hive的cli,但是執行任何命令都是失敗的
3. 指令碼中不要重新定義環境變數
之前在乙個指令碼中,重新定義了$hive_home,而且與理論上的$hive_home是不一樣的,這樣在終端上執行hive的時候,會將指令碼中定義的$hive_home作為環境變數,直接傳給$hive_home/bin/hive這個指令碼,結果一直提示jar包找不到,這算是乙個低階的錯誤,一定要小心,而且不容易發現。
如何公升級Ceph版本及注意事項
公升級軟體版本在日常運維中是乙個常見操作。本文分享一下ceph版本公升級的一些經驗。一般公升級流程和注意如下 1.關注社群release notes 和 ceph user郵件訂閱列表,獲取社群發布的最新版本 2.根據經驗一般剛出的版本問題比較多 出於穩定性的考慮,線上正式環境的版本一般會落後社群1...
docker公升級版本注意事項
docker社群非常活躍,版本的更迭十分頻繁,舊的版本會存在bug或功能上的缺陷,因此版本公升級十分重要!1,版本公升級測試 2,安裝18.09.9版本 使用以下指令碼 2個檔案放到同乙個目錄 root host168 data cat docker ce.sh bin bash 將系統原本源替換為...
Impala 公升級注意事項
impala 公升級注意事項 今天公升級 impala 從1.0 公升級到1.1.1 遇到幾個問題 第一,1.0的客戶端和 1.1的服務端不相容,用 1.0的客戶端連線 1.1的 server 後執行refresh 會報錯error execplanrequest rpc error 另外1.1 的...