HiveSql(未更新完)

2021-08-31 16:06:03 字數 1998 閱讀 5500

create table if not exists brand_dimension

(bid string,

category string,

brand string)

row format delimited

fields terminated by ',『

建立表 匯入資料字段按逗號分隔開。其他分隔符為『/001』 。

load datalocalinpath 『/hivedata/user.data』 overwrite into table brand_dimension ;

匯入資料 local欄位為linux本地匯入 不加則為hdfs目錄

分割槽表create external table if not exists stocks (

empno int,

ename string,

job string,

mgr int

)partitioned by (month string,day string)

row format delimited fields terminated by 『,』

匯入

load data local inpath 『hivedata/stocks/nasdaq/aapl/stocks.csv』 overwrite into table stocks partition(exchanger=「nasdaq」, symbol=「aapl」);

插入資料(按某個字段分割槽)

create external table if not exists stocks (

empno int,

ename string,

job string,

mgr int

)partitioned by (month string)

row format delimited fields terminated by 『,』;

insert into table stockspartition(month)select * from stocks 2;

外部表(指定表存放檔案位置建立外部表,drop表 指揮刪除元資料,不刪除hdfs檔案資料)

create external table if not exists stocks (

empno int,

ename string,

job string,

mgr int

)row format delimited fields terminated by 『,』

location 『bigdata/stocks』;

資料格式:

1、textfile :預設格式,建表時不指定預設為這個格式,匯入資料時會直接把資料檔案拷貝到hdfs上不進行處理。

2、sequencefile 一種hadoop api提供的二進位制檔案,使用方便、可分割、可壓縮等特點。

3:orc:orc是rcfile的公升級版,效能有大幅度提公升, 而且資料可以壓縮儲存,壓縮比和lzo壓縮差不多,比text檔案壓縮比可以達到70%的空間。而且讀效能非常高,可以實現高效查詢。

3、rcfile : 一種行列儲存相結合的儲存方式。首先,其將資料按行分塊,保證同乙個record在乙個塊上,避免讀乙個記錄需要讀取多個block。其次,塊資料列式儲存,有利於資料壓縮和快速的列訪問。理論上具有高查詢效率(但hive官方說效果不明顯,只有儲存上能省10%的空間,所以不好用,可以不用)。

注意:

只有textfile錶能直接載入資料,必須,本地load資料,和external外部表直接加載運路徑資料,都只能用textfile表。更深一步,hive預設支援的壓縮檔案(hadoop預設支援的壓縮格式),也只能用textfile表直接讀取。其他格式不行。可以通過textfile表載入後insert到其他表中。

AWD心得整理(未更新完)

伺服器登入密碼,passwd flag提交平台的登入密碼 重置伺服器後,之前修復的所有漏洞都要進行修補 比如 自動提交flag 自動掃瞄漏洞 自動掃瞄埠 自動傳馬,自動利用,獲取flag 對於自動化的,可以分析一些日誌 計算傳waf的扣分,以及被攻陷之後的扣分,計算得失。nikto nmap fin...

方法的語法 未總結完

定義方法的語法 public 括號表示可選,可用可不用 訪問修飾符 static 返回值型別 方法名 引數 方法體注意 方法一般要定義在類中 如果方法沒有返回值,則返回值型別寫void 如果方法沒有引數,不能省略 方法的呼叫 如果是靜態方法 由static修飾的 則使用 類名.方法名 在類中呼叫本類...

js 之 箭頭函式 未學完

js之箭頭函式表示式 箭頭函式表示式的語法比函式表示式更短,並且沒有自己的this,arguments,super或 new.target。這些函式表示式更適用於那些本來需要匿名函式的地方,並且它們不能用作建構函式 引數1,引數2,引數n 引數1,引數2,引數n 表示式 單一 相當於 引數1,引數2...