hive等常用語句

2021-08-09 16:43:20 字數 2583 閱讀 9654

1.檢視hadoop任務

2.liunx nohup命令

nohup ./label_driver.sh > /home/disk4/bi/driver_label/label_driver20150325.log


2>&1 &


nohup ./testpass.sh > logs/testpass_20150323.log


2>&1 &
3.hive新增字段

alter


table label_driver_z add columns(total_miss_cnt int comment '累積爽約訂單數');
4.hive修改表分隔方式、修改空值描述符

alter


table city set serdeproperties ('field.delim' = '\t');


alter


table city set serdeproperties('serialization.format' = '\t');


alter


table city set serdeproperties('serialization.null.format' = '');


alter


table dm_market_acti_reg_d change dt dt int comment '業務日期'


first boci;


alter


table employee rename to emp;


alter


table dm_market_boci_first_call_d add columns (dt int comment '業務日期');


alter


table dw_customer add columns (ord_succ_d int comment '當日完成訂單數');
5.hive檢視函式的用法

desc


function


extended


add_months;
6.hive檢視表儲存實際路徑

desc extended ods_order partition(dt=20151010);
7.hive insert語法

insert overwrite table test_an select


11111111111,'a' from label_driver_basic limit 1;


mysql -uhive


-p'xiaojukeji'


-hhdp999


.qq -p3306


--default-character


-set


=utf8 test
8.不開啟優化

set hive.fetch


.task


.conversion=minimal,more


set hive.exec


.parallel=true;
9.檢視使用的分割槽

explain dependency query_str
10.刪除檔案

hadoop fs -rmr /user/rd/bi_dm/dm_tag_pass_ord_tot_d;
11.hive選擇執行引擎

set hive.execution


.engine=tez,spark,mr


set mapred.reduce


.tasks=20


;
12.手機號碼正規表示式

'^1[35847][0-9]$'
13.查詢某個檔案

14.coalesce( value1,value2,… )

17.hive刪除分割槽

alter


table login drop


ifexists partition (dt='2008-08-08');


.org/dist/hive/
20.壓縮命令

tar -cvf /tmp/etc.tar /etc
21.改變檔案目錄許可權

chown -r xiaoju  /home/disk1/tagol-data/weather/


chgrp -r xiaoju  /home/disk1/tagol-data/weather/
22.啟動langley

nohup /data/xiaoju/langley/srv/bin/langley_srv 9001 /data1 &
23.取文字第及列資料

cat test|awk ''


awk '' dw_pass_tagol_a_20150708.csv > tagol.csv

HIVE常用語句

1.給表新增字段 alter table 表名 add columns 欄位名 資料型別 alter table bi dpa.tdpa utm src td add columns utm src cate id s integer 2.檢視表結構 一般情況下，只需要desc tablename ...

hive常用語句

1.匯入有分割槽的資料 oracle語句 select from xx partition fmlg part where conditions 2.增量匯入關係型資料庫orcle的where語句表示式 select from xx where d update to date 20170423 y...

Hive 常用語句

1 建立外部表 最後一行指定位置 2 覆蓋插入除某個欄位外的其他字段 如 ms 字段 這種適合於直接分割槽表的資料插入到新錶，但是不需要舊表的分割槽字段。set hive.support.quoted.identifiers none insert overwrite table db.tb01 p...