hive 刪除分割槽
alter table pdm.mkt_asset_star_71 drop partition (end_dt='3000-12-31');
alter table pdm.mkt_asset_star_71 drop partition (end_dt='2017-02-26');
三分之一時間處理
from_unixtime(unix_timestamp(a.last_upd,'yyyy-mm-dd:hh:mm:ss') + 28800,'yyyy-mm-dd') as last_upd_dt,
時間戳處理
from_unixtime(unix_timestamp(state_dt,'yyyy/mm/dd hh:mm:ss'),'yyyy-mm-dd hh:mm:ss.0' )as state_dt
轉碼
iconv -f gbk -t utf-8 /inter4/ods/bak/20170401/loc_telecom_area_1_0020170401.dat -c -o /inter4/ods/data/20170401/loc_telecom_area_1_0020170401.dat
iconv -f gbk -t utf-8 aaa.dat -o aaa_test.dat
put
hadoop fs -put /user/sjzx_b/data/get_data/zcj_test/
getshow create table
hadoop fs -get /user/sjzx_b/hive/sjzx_test.db/jx_yidong_zaiwang_user_201607/
檔案合併 cat
scp
scp 000000_0 [email protected]:/att/init
load
load data inpath /user/sjzx_b/data/get_data/zcj_test/xx.txt
overwrite into table sjqy.xx;
hive 建立表結構
drop table if exists pdm.ofr_asset_relate_hist_$;\n
create table if not exists pdm.bak_ofr_cdsc_grp_agree_info_z(
agree_info_row_id string comment '群組協議唯一編號'
,agree_row_id string comment '群組協議號'
,cdsc_row_id string comment '優惠唯一編碼'
,cdsc_eff_dt date comment '生效時間'
,cdsc_exp_dt date comment '失效時間'
,cdsc_para_num decimal(18,0) comment '引數個數'
,cdsc_para1 string comment '引數1'
,etl_time string comment '資料入庫時間'
)partitioned by (etl_wk int)
row format delimited fields terminated by ','
hbese 和 hive 的區別
hive :使用mr封裝的資料倉儲工具，不是資料庫。一般用來做分析業務使用 不直接接入業務
hive 將hql 語句封裝成mapreduce 執行再yarn 平台上
hbase :是乙個面向列的非關係型資料庫 分布式架構
核心功能 是用來儲存和檢索資料 可以直接接入業務系統
不依賴yarn 和mapreduce
zookeeper 是乙個分布式的 開放原始碼的應用協調服務 配置維護 網域名稱維護 分布式同步的
目標 就是封裝好容易出錯的服務。把簡單易用的介面和服務提供給使用者
hive 中join 機制和原理
hive 中 join 有兩種
common join 一般是在reduce 端來完成join
map join
common join 分為 3中
map 端 將 on 條件中的key 組合起來
shuffle 階段進行 key value 組合 也就是 hash 兩個表中相同的key 在同乙個表中
reduce 通過key的值完成 join 操作
map jion 通過設定 最小表的 檔案大小引數
hive.mapjoin.smalltable.filesize 原理就是將小表載入到記憶體當中 能夠快速的實現
hive基本總結
1，hive支援的型別 tinyint tinyint型別 smallint smallint型別 int int型別 bigint bigint型別 主要用於狀態,類別,數量的字段 boolean boolean型別 float float型別 double double型別 主要用於金額的字段 ...
hive基本操作
1.顯示所有資料庫 show databases 2.使用某個資料庫 use xx xx表示某個資料庫名 3.顯示某資料庫下的所有表 show tables 4.檢視表結構 顯示各欄位 desc 表名 5.資料匯出到本地 在hive中操作 insert overwrite local directo...
Hive基本使用
啟動hadoop sbin start all.sh 啟動hive bin hive 建立表 create table table name col name data type comment col comment create table hive wordcount context stri...