筆者2023年接了乙個資源管理諮詢專案，負責該項目的實施管理，其中有幾個月是組織幾個開發廠家寫遷移指令碼，做資料遷移（從原有的多個系統中把資料同步過來），僅分享當時的經驗。
前期先做基礎資料梳理和對映確認，組織所有的廠商一起梳理區域、標準位址、局站等資訊，並梳理統一命名原則，確認需要採集的資料**及存在的關係（從資源系統、網管系統、號線系統、手工台賬等獲取）。
然後做欄位確認，和哪個系統字段匹配，字段格式是否一致，新系統的資料格式是否可以更改。
然後寫遷移指令碼，對幾個開發廠商簡單分工，每個廠商負責寫幾個專業的遷移指令碼，過程中有疑問，再做字段確認和答疑。
遷移指令碼彙總與驗證檢查，讓他們首先驗證自己的遷移指令碼是否可以遷移資料，然後再做交叉驗證，對出現的問題進行討論總結。
遷移指令碼的更新與備份，平時都在客戶提供的環境中進行資料驗證及備份。但有一次使用者伺服器儲存損害導致所有的指令碼及備份資料丟失，後面費了很大功夫才從每個開發人員手裡彙總遷移指令碼，並又重新做了多輪驗證。後期要求所有的開發廠商做異處備份，在多台伺服器上進行備份，如有可能，在本地也儲存乙份。
做資料清洗時，資料的關聯關係也被清洗掉，需要資料遷移後，在資料庫中重新建立關聯關係。
資料遷移後的核查，培訓使用者利用自定義匯出功能，把需要核查的資料匯出，按照一定的順序進行核查確認，讓他們對重複資料、殘缺資料進行修改。
遷移資料方案
我們在做系統的時候，有時候會遇到遷移資料或者處理任務 任務量又比較大 比如把redis的資料取出來做一些操作，然後處理完的資料在存到hbase 我們需要考慮到資料處理過程中失敗情況，需要處理高併發去執行，具體怎麼設計，怎麼做呢，有一種簡單的方式如下 1我們先把任務資料存到redis任務佇列裡 2定義...
oracle遷移資料
往本地oracle的 user使用者遷移資料，生成遷移日誌 imp user user 127.0.0.1 orcl file f user 20191203.dmp statistics none fromuser user touser user log d user.log建立使用者 user...
redis migrate 遷移資料
從源redis例項原子的傳送乙個key到目標例項。成功後，刪除源例項中的key，在目標例項中生成。如果目標例項中已經存在將要傳送的鍵，會報鍵已存在錯誤。命令的格式為 migrate host port key destination db timeout keys key1 key2.具體的例子 m...