hive表集群間的遷移

記錄下工作中由於需要複製生產環境到測試環境以供測試使用做的一次資料庫的遷移，方法比較繁瑣，有待改進；

基本思路：將生產環境的表匯出到hdfs，將hdfs的資料get到本地，scp到測試環境的本地，put到測試環境的hdfs，再進行匯入；

hive表到處到hdfs：

export table table_name to '/home/path';

get到本地：

hadoop fs -get /home/get/table_name /localpath

scp到測試環境

scp /local_path/table_name test-cdh:/test_path

put到測試環境的hdfs

hadoop fs -put /test_path/table_name /test_hdfs_path

import表資料到hive

import table table_name from '/test_hdfs_path/table_name';

集群間hive資料表的遷移

方式一 此方法需要建庫建表 在原集群hive上檢視遷移表的建表語句及所在庫，然後在新集群hive上建庫建表 show create table tb name create database db name create table tb name hadoop fs get user hive w...

集群間 Hive 資料 遷移 問題

1 從hive中匯出資料至本地目錄 insert overwrite local directory export tmp select from test1 where create time 2013 11 25 列資料之間預設以 a隔開。2 將本地資料上傳另乙個集群的hdfs usr loca...

Hive資料在Hadoop集群間的遷移

環境說明 136.64.69.10 e3base02 原集群hive服務端 136.64.69.49 e3base49 目標集群hive服務端 136.64.69.75 e3base55 目標集群hive客戶端 weixh test hive測試庫 原集群匯出資料臨時目錄 hdfs dfs mkdi...