方式：1)使用hive sql進行資料的匯入匯出
2)export/import方式
方式：1)將資料匯出到本地
insert overwrite local directory 「路徑」 row format delimited fields terminated by 『,』 select 欄位1, 欄位2 ,… from 表名;
2)將資料匯出到hdfs
insert overwrite directory 「路徑」 row format delimited fields terminated by 『,』 select 欄位1, 欄位2 ,… from 表名;
3)將匯入的資料匯出到表中
load data local inpath 『/root/my/bookstore.txt』 overwrite into table 表名;
注意：1)方式一，路徑可以寫完整路徑file:///root/my/data.txt，也可以簡寫為：/root/my/data.txt
2)方式二，路徑可以寫完整路徑hdfs://namenode:8020/root/my/data.txt，也可以簡寫為：/root/my/data.txt
思路：hive表元資料和檔案資料export到hdfs檔案，通過distcp將hdfs遷移到另乙個集群的hdfs檔案，再通過import在新hive中建表
hive資料遷移
資料遷移指令碼 1 在原集群上建立，並設定相應許可權 hadoop fs mkdir tmp hive export 2 生成匯出指令碼 hive e use fangyc show tables awk sed s g export.hql fangyc 是資料庫名，根據實際情況修改 3 手工匯出...
hive資料遷移
網路互通的兩個hadoop集群中，可執行如下命令，將nn1節點所在集群a上目錄a.dir拷貝到nn2節點所在集群b目的b.dir上 hadoop distcp i hdfs nn1 8020 a.dir hdfs nn2 8020 b.dir詳情參考 設定預設需要匯出的hive資料庫為default...
遷移hive資料
新集群的資料遷移到老集群，往往會遇到很多問題 1.小檔案多 2.老集群效能比較差 3.資料量大 使用資料遷移工具nifi 該工具的特點是輕量，對小檔案遷移支援度高，大檔案遷移慢 遇到的問題 1.曾經在老集群寫spark程式合併小檔案，但老集群效能比較低，程式跑了一晚上都沒有合併完成乙個月 2.將小集...