資料遷移export跨集群匯出方案
根據遷移的實際情況，由於資料量大、重要、迫切性，因此實施方案每一步都需嚴謹執行，並且當出錯時清楚缺少的資料和補救的辦法。
確保兩集群的mapreduce可以正常執行
開通源集群各個節點到目標集群namenode通訊
大的步驟分為2步，即export、import。
在export匯出資料時，以時間戳作為引數，如將三個月的資料為乙個單位匯出，出錯時，重複執行。命令案例：
sudo -u hdfs hbase org.apache.hadoop.hbase.mapreduce.export ship_historical_trace hdfs: 1 0 1514736000000
注釋：1514736000000
為2018-01-01 00:00:00的時間戳
sudo -u hdfs hbase org.apache.hadoop.hbase.mapreduce.export ship_historical_trace hdfs: 1 1514736000000
1522425600000
注釋：1514736000000
為 2018-01-01 00:00:00的時間戳
1522425600000
為 2018-03-31 00:00:00的時間戳
………import匯入資料的效能：
原資料表已存在key，不會修改
原資料沒有資料，做插入操作
命令案例：
sudo -u hdfs hbase org.apache.hadoop.hbase.mapreduce.import ship_historical_trace /ship_historical_trace0
sudo -u hdfs hbase org.apache.hadoop.hbase.mapreduce.import ship_historical_trace /ship_historical_trace1
………根據yarn或mapreduce的節點埠8088檢視job任務的進度。根據job的id得知哪些操作失敗，將操作失敗命令做再次嘗試。
根據namenode節點埠50070檢視具體檔案的個數情況，粗略判斷是否成功。
使用命令檢視hdfs具體資料夾大小
sudo -u hdfs hadoop fs -du –h /ship_historical_trace0
操作成功後，使用hbase shell命令隨機檢視兩集群幾組資料，進行比較
檔案大小
export用時
distcp用時
import用時
632.7g
24小時 13
小時（跨集群）
（期間磁碟滿了，操作失敗）
44.53 gb
（沒做）
615秒（集群內）
1小時8分（跨集群） 4
小時 32.11 kb
16秒(跨集群匯出) (
匯入操作與前兩條數一致，可參考時間)
Redis資料遷移 鍵遷移
有時候我們想將乙個redis的資料遷移到另乙個redis中，redis提供了三種方式來滿足資料遷移的需求，分別是move dump restore migrate redis支援多資料庫，多資料庫之間彼此在資料上是隔離的。move key db就是把指定的鍵從源資料庫遷移到目標資料庫中。由於多資料庫...
mysql資料遷移框架 mysql資料遷移
本文總結各種場景下的資料複製 遷移 轉換。1 匯入 匯出 資料匯出 mysqldump uroot p dbname dbname.sql 包含表結構和表資料 資料匯入 mysql uroot p dbname dbname.sql 注意 匯出的sql檔案包含舊表資訊，請修改其中的create ta...
mysql資料遷移 Mysql資料遷移方法
mysql遷移通常使用的有三種方法 1 資料庫直接匯出，拷貝檔案到新伺服器，在新伺服器上匯入。2 使用第三方遷移工具。3 資料檔案和庫表結構檔案直接拷貝到新伺服器，掛載到同樣配置的mysql服務下。第一種方案的優點 會重建資料檔案，減少資料檔案的占用空間，相容性最好，匯出匯入很少發生問題，需求靈活。...