hive 學習內容

2021-06-25 18:36:27 字數 1976 閱讀 6600

1 hive的正則匹配搜尋表

show tables like "%sub_name";

show tables like "s*";//以s開頭的所有的**

2檢視表結構

desc table_name;

desc formatted table_name;

3檢視分割槽資訊

show partition table_name;

4根據分割槽查詢資料

select table_column from table_name where partition_name = '2014-02-25';

5檢視hdfs檔案資訊

dfs -ls /user/hive/warehouse/table02;

6從檔案載入資料進表(overwrite覆蓋,追加不需要overwrite關鍵字)

load data local inpath 'dim_test_h02_config.txt' overwrite into table dim.dim_test_h02_config;

---從查詢語句中給table插入資料

insert overwrite table test_h02_click_log partition(dt) 

select * from stage.s_h02_click_log where dt='2014-01-22' limit 100;

7.匯出資料到檔案

insert overwrite directory 『/tmp/csl_rule_cfg』 select a.* from dim.dim_csl_rule_config a;

hive -e "select day_id,pv,uv,ip_count,click_next_count,second_bounce_rate,return_visit,pg_type from tmp.tmp_h02_click_log_baitiao_ag_sum where day_id in ('2014-03-06','2014-03-07','2014-03-08','2014-03-09','2014-03-10');"> /home/jrjt/testan/baitiao.dat;

8 自定義udf函式

1  繼承udf類

2.重寫evaluate方法

3.把專案打成jar包

4.hive中執行命令add jar /home/jrjt/dwetl/pub/udf/udf/getproperty.jar;

5.建立函式create temporary function get_pro as 'jd.get_property'為類路徑;

9 查詢顯示列名  以及 行專列顯示

set hive.cli.print.header = true; // 列印列名

11.殺死某個任務  不在hive shell中執行

hadoop job -kill job_201409191234_48999

12.hive-wui路徑

13 刪除分割槽

alter table tmp_h02_click_log_baitiao drop partition(dt='2014-03-01');

alter table d_h02_click_log_basic_d_fact drop partition(dt='2014-03-01');

14 hive命令列操作

執行乙個查詢,在終端上顯示mapreduce的進度,執行完畢後,最後把查詢結果輸出到終端上,接著hive程序退出,不會進入互動模式。

hive -e 'select table_cloum from table'

-s,終端上的輸出不會有mapreduce的進度,執行完畢,只會把查詢結果輸出到終端上。這個靜音模式很實用,,通過第三方程式呼叫,第三方程式通過hive的標準輸出獲取結果集。

hive -s -e 'select table_cloum from table'

執行sql檔案

hive -f hive_sql.sql

Hive學習筆記 Hive 引數

第一部分 hive 引數 hive.exec.max.created.files 說明 所有hive執行的map與reduce任務可以產生的檔案的和 預設值 100000 hive.exec.dynamic.partition 說明 是否為自動分割槽 預設值 false hive.mapred.re...

Hive學習筆記 Hive概述

1.1 資料倉儲 可以利用資料倉儲來儲存我們的資料,但是資料倉儲有別於我們常見的一般資料庫。資料倉儲是乙個面向主題的 整合的 不可更新的 隨時間不變化的資料整合,它用於支援企業或組織的決策分析處理。物件導向的 倉庫中的資料是按照一定的主題進行組織的。主題即使用者使用資料倉儲進行決策時所關心的重點方面...

HIve學習 Hive分割槽修改

如何修改hive的分割槽 hive讀寫模式 hive分割槽的意義是避免全表掃瞄,從而提高查詢效率。預設使用全表掃瞄。partitioned by columnname columntype comment column comment 1 hive的分割槽名區分大小寫 2 hive的分割槽欄位是乙個...