hive學習心得二

2021-07-24 15:16:55 字數 1988 閱讀 4184

4.hiveql資料操作

a)像管理表中裝載資料

insert overwrite table table_name partition(column_name='值1',column_name2='值2')

select column_name from table_name;

b)匯出資料

1)hadoop fs -get /user/dim/dim_w3_gprs_product_type.txt /bonc/bonc/shell/zb_test/database

2)insert overwrite local directory '/bonc/hadoop/shell/default'

row format delimited

fields terminated by '\t'

select * from dim_w3_gprs_product_type;

3)hive -e "select * from zb_dim.dim_w3_gprs_product;">/bonc/hadoop/shell/default/dim_w3_gprs_product.txt

需要注意的是這種方式資料之間的分隔符為預設的tab鍵,其執行過程也是通過mapreduce完成,但個數只有乙個。」>」代表重寫,」>>」代表追加。

5.hive查詢

a)避免mapruduce查詢

select * from table_name limit 1;

6.hiveql檢視

a)建立檢視

create view [if not exists] view_name [(column_name [comment column_comment],...)]

[comment view_commnet]

[tblproperties (property_name=property_value,...)]

as select....

b)刪除view

drop view [if exists] view_name

c)修改view

alter view view_name set tblproperties table_properties

table_properties:

:(property_name = property_value,properyp_name = property_value,...)

7.hiveql索引

建立索引

create index index_name

on table base_table_name (column_name,...)

as 'index.handler.class.name'

[with deferred rebuild]

[idxproperties (property_name=property_value,...)]

[in table index_table_name]

[partitioned by (column_name,...)]

[[row format ...] stored as ...

| stored by

][location hdfs_path]

[tblproperties (...)]

[comment "index_comment"]

注意:1.index的partition預設和資料表一致

2.檢視上不能建立index

3. index可以通過stored as配置儲存格式

重建索引

alter index index_name on table_name [partition (...)] rebuild

注意:1.當hive資料更新時,必須呼叫該語句更新索引。

2. index rebuild操作時乙個原子操作,因此,當rebuild失敗時,先前構建的索引也無法使用

刪除索引

drop index index_name on table_name;

hive學習心得

此博文是自己學習hive的一些學習心得,可能有些地方理解的不對,如有不妥之後,忘能不吝賜教!目錄 hive是什麼 資料操作 執行原理 分割槽 分桶hive從本質上來說是乙個倉庫,是乙個分析框架,它本身不儲存資料,連最起碼的元資料資訊也不儲存。它可以通過mysql或 derby 對存放在hdfs上面的...

學習心得 python學習心得

自從來了深圳工作以後,尤其是屢屢面試碰壁以後。發現其實自己的知識面很窄,做筆試題的時候絞盡腦汁還是漏洞百出,並不是不會做,而是出現一大堆不該有的失誤。每次被問道,對資料庫了解嗎?說一大堆看起來很高階的東西 好啊,那我們寫幾個sql語句吧。馬上完蛋了,沒了手冊關鍵字都記不起。了解哪幾種指令碼語言,sh...

ExtJS學習心得(二)

其實ext.ajax的使用並不難,只是當初我一直不清楚如何獲取其返回值,搞得鬱悶了一陣子,以下是乙個比較簡單的例子 view plain copy to clipboard print?1ext.ajax.request 8 success function response,options 14 ...