需求說明:
例項:邏輯:
建資料庫。 hive建立資料庫testdb
create database if not exists testdb;
建表。hive建立外部表test
create external table if not exists test
(id string,tit string,ts string,url string
)partitioned by (datelabel string)
row format delimited
fields terminated by '\t'
stored as textfile
location '/test/data';
複製資料來源到本地。將windows資料移動到本地資料夾下(linux環境下)
執行load命令
a. 資料在hafs中,使用命令load data inpath …
b. 資料在本地(linux)中,使用命令load data local inpath …
使用hive -f load.sql命令,一次載入。
檢驗是否成功載入資料。使用select 等命令顯示資料,例:
select * from test where datelabel='201703' limit 10;
hive檔案儲存格式
hive資料的4種匯入方式
hive命令的3種呼叫方式
hive常用操作:
linux壓縮、解壓命令:
踩坑:要求:windows上zip壓縮資料—–>linux上解壓後資料。
執行hive -f/-e 等命令時不進入hive環境,直接在hadoop環境下執行
分割槽資料和hive表建立語句必須是一致的。比如本文例子,資料來源中有datelabel欄位,那麼建立hive表時需要設定分割槽字段。
MySQL錶用Sqoop方式匯入到Hive表中
1 首先在hive中新建資料庫mydb,2 然後開啟putty軟體,登入到安裝hive的伺服器,輸入使用者名稱和密碼後,進入到 root hdp 利用sqoop語句按照指定mysql資料庫的表新建hive表,語句如下 sqoop create hive table connect jdbc mysq...
Excel資料匯入到Grid
方法一 string strcon provider microsoft.jet.oledb.4.0 data source strsource extended properties excel 8.0 string query select from sheet1 sheet1表示表 oledb...
Excel資料匯入到Access
下面是asp的全部程式,需要做的是建乙個test.mdb資料庫和乙個test.xls的excel 查詢excel準備匯入到access sql select from sheet1 要匯入的excel資料裡面的表的名稱,後面一定要加 set rs conn2.execute sql while no...