4.hiveql資料操作
a)像管理表中裝載資料
insert overwrite table table_name partition(column_name='值1',column_name2='值2')
select column_name from table_name;
b)匯出資料
1)hadoop fs -get /user/dim/dim_w3_gprs_product_type.txt /bonc/bonc/shell/zb_test/database
2)insert overwrite local directory '/bonc/hadoop/shell/default'
row format delimited
fields terminated by '\t'
select * from dim_w3_gprs_product_type;
3)hive -e "select * from zb_dim.dim_w3_gprs_product;">/bonc/hadoop/shell/default/dim_w3_gprs_product.txt
需要注意的是這種方式資料之間的分隔符為預設的tab鍵,其執行過程也是通過mapreduce完成,但個數只有乙個。」>」代表重寫,」>>」代表追加。
5.hive查詢
a)避免mapruduce查詢
select * from table_name limit 1;
6.hiveql檢視
a)建立檢視
create view [if not exists] view_name [(column_name [comment column_comment],...)]
[comment view_commnet]
[tblproperties (property_name=property_value,...)]
as select....
b)刪除view
drop view [if exists] view_name
c)修改view
alter view view_name set tblproperties table_properties
table_properties:
:(property_name = property_value,properyp_name = property_value,...)
7.hiveql索引
建立索引
create index index_name
on table base_table_name (column_name,...)
as 'index.handler.class.name'
[with deferred rebuild]
[idxproperties (property_name=property_value,...)]
[in table index_table_name]
[partitioned by (column_name,...)]
[[row format ...] stored as ...
| stored by
][location hdfs_path]
[tblproperties (...)]
[comment "index_comment"]
注意:1.index的partition預設和資料表一致
2.檢視上不能建立index
3. index可以通過stored as配置儲存格式
重建索引
alter index index_name on table_name [partition (...)] rebuild
注意:1.當hive資料更新時,必須呼叫該語句更新索引。
2. index rebuild操作時乙個原子操作,因此,當rebuild失敗時,先前構建的索引也無法使用
刪除索引
drop index index_name on table_name;
hive學習心得
此博文是自己學習hive的一些學習心得,可能有些地方理解的不對,如有不妥之後,忘能不吝賜教!目錄 hive是什麼 資料操作 執行原理 分割槽 分桶hive從本質上來說是乙個倉庫,是乙個分析框架,它本身不儲存資料,連最起碼的元資料資訊也不儲存。它可以通過mysql或 derby 對存放在hdfs上面的...
學習心得 python學習心得
自從來了深圳工作以後,尤其是屢屢面試碰壁以後。發現其實自己的知識面很窄,做筆試題的時候絞盡腦汁還是漏洞百出,並不是不會做,而是出現一大堆不該有的失誤。每次被問道,對資料庫了解嗎?說一大堆看起來很高階的東西 好啊,那我們寫幾個sql語句吧。馬上完蛋了,沒了手冊關鍵字都記不起。了解哪幾種指令碼語言,sh...
ExtJS學習心得(二)
其實ext.ajax的使用並不難,只是當初我一直不清楚如何獲取其返回值,搞得鬱悶了一陣子,以下是乙個比較簡單的例子 view plain copy to clipboard print?1ext.ajax.request 8 success function response,options 14 ...