hive建表語句
create table test.mytest_tm1(
id int comment'編號',
name string comment '名字'
)row format delimited fields terminated by '\u0001'
lines terminated by '\n'
stored as textfile;
hive的元資料存在mysql中,而mysql字符集的預設latin1,則會出現亂碼
在hive庫裡面修改表、分割槽、檢視
修改表字段註解和表註解
use hive;# mysql元資料庫
alter table columns_v2 modify column comment varchar(256) character set utf8;
alter table table_params modify column param_value varchar(4000) character set utf8;
修改分割槽字段註解alter table partition_params modify column param_value varchar(4000) character set utf8 ;
alter table partition_keys modify column pkey_comment varchar(4000) character set utf8;
修改索引註解alter table index_params modify column param_value varchar(4000) character set utf8;
注意修改完成後要重啟hive
注意:必須是新建hive表,就得表字符集已經不可改變。
DbVisualizer安裝與配置Hive鏈結
來到瀋陽延云云計算公司已經有一段時間了,學習了不少以前沒接觸過的,最近新研究個軟體,用於hadoop鏈結spark和寫hivesql語句的乙個軟甲,比那些開源的要穩定很多 dbvisualizer安裝 1.解壓到英文目錄下。2.在 dbvisualizer jdbc 下新增hive資料夾,把下面兩個...
sqoop匯出parquet格式的hive表
結論1 sqoop匯出parquet格式的表,必須指定hive的資料庫與表名 遇到的問題1 error sqoop.sqoop got exception running sqoop org.kitesdk.data.datasetnotfoundexception descriptor locat...
python 連線使用LDAP認證的hive
主要使用pyhive包。使用linux中的普通賬號,venv環境。python版本 3.6.4。ldap認證需要sasl包,在安裝sasl包的時候因為機器中沒有g 編譯器,導致無法安裝。因為我使用的普通賬號,沒法給伺服器安裝g 編譯器,解決的方案是在另一台機器中安裝sasl,將安裝完成後生成的.so...