Hbase專案的資料匯入

2021-10-01 15:52:00 字數 844 閱讀 5139

解壓資料集

unzip aliyun_webpage.zip (我要解壓的包名字叫做aliyun_webpage)

把hbase的jar放入hdfs

hdfs dfs -mkdir -p /home/ll/software/hbase-1.2.6/lib/ (在hdfs上建立乙個接收檔案的資料夾)

hdfs dfs -put /home/ll/software/hbase/lib/ * /home/ll/software/hbase-1.2.6/lib/(將本地路徑下的hbase jar放入hdfs自己建立好的資料夾中)

建立接收資料的表

在終端hbase shell中輸入:create 『aliyun_webpage』,『p』,『f』,『s』,『il』,『ol』,『h』,『mtdt』,『mk』

注:前面的是表名,後面的是列族名

資料從hdfs匯入到hbase

hbase org.apache.hadoop.hbase.mapreduce.driver import aliyun_webpage /aliyun_webpage

資料也可以直接從linux虛擬機器的本地檔案匯入

hbase org.apache.hadoop.hbase.mapreduce.driver import aliyun_webpage file:///home/ll/***x

最後可以進入hbase中用scan 'aliyun_webpage』檢視是否匯入成功!

hbase資料匯入

使用命令bin hbase org.apache.hadoop.hbase.mapreduce.importtsv dimporttsv.columns hbase row key,cf a,cf b,cf c 需要指出的是原始檔預設以 為分割符,如果需要換成其它分割符,在執行時加上 dimport...

HBase 資料匯入

記錄一下hbase 0.96.0 利用importtsv,completebulkload 和import匯入資料的方法。我的環境裡用的是yarn。1 利用importtsv 將cvs檔案匯入到hbase 步驟 a.在hbase裡面建立好table 命令 create hbase tbl 001 c...

Android Studio匯入開源專案的總結

在用android studio匯入開源專案的時候,因為本地環境與作者的環境並不可能完全一致,所以都是要改一些配置資訊才能正常執行。一般而言,只需要改少數幾項即可,舉例如下 設定使用android外掛程式構建專案 android buildtypes dependencies 一般都是在此檔案中把s...