1 利用importtsv將csv檔案匯入到hbase
******.csv
1,'tom'
2,'sam'
3,'jerry' 命令
create 'hbase-tbl-001','cf'
bin/hbase org.apache.hadoop.hbase.mapreduce.importtsv -dimporttsv.separator="," -dimporttsv.columns=hbase_row_key,cf hbase-tbl-001 /******.csv
2 利用completebulkload將資料匯入到hbase (針對資料量很大)
1.先通過importtsv生成hfile
命令 bin/hbase org.apache.hadoop.hbase.mapreduce.importtsv
-dimporttsv.separator="," -dimporttsv.bulk.output=/hfile_tmp(生成的hfile在hdfs上的位置) -dimporttsv.columns=hbase_row_key,cf hbase-tal-002 /******.csv
(會自動建立表hbase-tbl-002)
2 通過completebulkload 將資料匯入hbase-tbl-002 命令
hadoop jar lib/hbase-server-0.96.0.jar completebulkload /hfile_tmp hbase-tbl-002
3 利用import匯入 (sequencefile)
1 將資料匯出
bin/hbase org.apache.hadoop.hbase.mapreduce.export hbase-tbl-002 /test-output
2 建立表
carete 『hbase-tbl-003』,'cf';
3 匯入
bin/hbase org.apache.hadoop.hbase.mapreduce.ixport hbase-tbl-002 /test-output
hbase資料匯入
使用命令bin hbase org.apache.hadoop.hbase.mapreduce.importtsv dimporttsv.columns hbase row key,cf a,cf b,cf c 需要指出的是原始檔預設以 為分割符,如果需要換成其它分割符,在執行時加上 dimport...
HBase 資料匯入
記錄一下hbase 0.96.0 利用importtsv,completebulkload 和import匯入資料的方法。我的環境裡用的是yarn。1 利用importtsv 將cvs檔案匯入到hbase 步驟 a.在hbase裡面建立好table 命令 create hbase tbl 001 c...
hbase資料匯出方案
當hbase裡的資料量很大時,想要查詢匯出某些資料是非常耗時的。針對於我們一般的應用,對於有批次或任務性質概念的資料,我們可以這樣 首先,在進行資料存存時,需要對其rowkey進行規範化生成,如生成規格為 自定義id 任務 批次id uuid 注意,整個rowkye盡可能保證只有資料和字母,uuid...