原因 flume 匯入的orc 格式 ，建表語句儲存格式 textfile 不匹配導致
修改方案 建表語句和hdfs格式一致即可
修改表字段註解和表註解
alter table columns_v2 modify column comment varchar(256) character set utf8
alter table table_params modify column param_value varchar(4000) character set utf8
修改分割槽字段註解：
alter table partition_params modify column param_value varchar(4000) character set utf8 ;
alter table partition_keys modify column pkey_comment varchar(4000) character set utf8;
修改索引註解：
alter table index_params modify column param_value varchar(4000) character set utf8;
修改hive連線mysql的連線為utf-8
>
>
name
>
>
jdbc:mysql://ip:3306/hive?createdatabaseifnotexist=true&characterencoding=utf-8value
>
>
jdbc connect string for a jdbc metastoredescription
>
property
>
hive常見問題
distinct用法 對select 後面所有欄位去重，並不能只對一列去重 1 當distinct應用到多個欄位的時候，distinct必須放在開頭，其應用的範圍是其後面的所有字段，而不只是緊挨著它的乙個字段，而且distinct只能放到所有欄位的前面 2 distinct對null是不進行過濾的，...
資料hive常見問題
1.mysql 匯入時問題轉碼，避免亂碼 mysql源有各種字符集 字元轉換 convert convert fieldname using binary using gbk as fieldname 防止換行 trim replace replace replace fieldname r n r...
HIVE架構以及HIVE常見問題
hive是執行在yarn上的，資料儲存在hdfs上。將sql語句轉換為mapreduce，當然hive本身做了一些優化，有些任務不會走mapreduce。hive其實就是把結構化的資料檔案對映到表中，hive表的元資料資訊儲存在關係型資料庫中，具體可以參見我的另一篇部落格，配置了mysql資料庫。s...