hive開發遇到的問題

2021-08-18 13:41:33 字數 585 閱讀 2219

問題1:問下,hive 資料通過discp 拷貝後 ,資料為啥查不出來,新的集群在拷貝前已建立新庫(是分割槽表)

解決方法:修復下分割槽就好了

msck repair table table_name

問題2:hive insert into 插入資料後表中原來的資料丟失了

是否在表名加了這種`號

如果是建議你使用以下這種方式處理轉義字元,可以正常insert intodatabasename.tablename

例如,insert intodb.tableaselect t.a, t.b from tableb t

問題原因:使用databasename.tablename`時語法解析為overwrite,該問題為apache社群問題。在當前版本的hive中還未修復

使用分割槽時,注意點

當使用 count(distinct col)而同時col是分割槽列時,存在結果為0的bug

因此在設計表結果時需要考慮到分割槽字段是否會被count

開發遇到的問題

1.增加乙個新的檔案之後,重新編譯突然報錯,刪掉新增檔案又沒有問題,新增檔案沒有錯誤。resgen.exe 可能無法執行,因為命令列的長度為 28084 個字元,超過了命令的最大長度 解決辦法 1.參考文件 2.後按上面文章介紹修改配置 3.修改配置之後,重新編譯報錯 目標框架.net framew...

hive連線mysql失敗遇到的問題

將hive元資料配置到mysql時遇到了奇葩的問題 按照各種教程配置了一遍,conf hive site.xml檔案檢查無誤,初始化也顯示成功,但是啟動hive時就是連線不到mysql。嘗試了網上搜尋到的各種方法都沒有效果之後,最後挨個檔案檢視,發現是我hive env.sh裡設定的hive con...

手機開發遇到的問題

1 setfullscreenmode true 設定全屏後 立即使用height和width 返回全屏以前的值 不是同步 暫時在moto的手機和nokia 7610上發現有這個問題 2 鍵值記錄 moto v303 v300 左右鍵21 22 索愛 k750 k700c w530 6 7 使用使用...