通過ssis的「查詢」元件進行不同資料來源之間資料的合併操作
為了協助開發還原生產環境中的某些bug,需要將將生產環境的某些特定表資料匯入到測試環境做測試,
之前一直都是暴力地truncate測試環境的表,然後用ssis將生產環境對應的整張表資料匯入測試環境,簡便快捷
後來開發提出來,保留測試環境已有的資料,只同步差異的資料(根據主鍵),於是就嘗試使用ssis中的「查詢」元件進行不同伺服器之間的「存在則更新,不存在則插入」資料合併操作,
實際操作的時候只執行插入操作,達到同步資料的目的。
嘗試之後覺得還是挺好使的,看起來跟簡單,操作起來步驟還是挺多的,記錄一下。
首先最主要的乙個元件就是如下截圖的查詢元件。
完整的測試結果如圖所示,最主要的目的就是讓源資料「兵分兩路」,以不同的方式(更新或者插入)去同步到目標伺服器中,當然資料來源與資料目標可以是不同的伺服器,不同型別的資料庫或者檔案,關鍵是一種實現方式。
開始操作步驟
新建ssis任務什麼的就不說了,操作一遍就回了,微軟的ide還是比較好用的。
首先是最基本的資料流任務,拖乙個資料任務流到ssis設計器中
雙擊進入源編輯介面,設定資料來源的伺服器和表
新增查詢元件,設定查詢元件的伺服器和表(匯入資料的目標伺服器和表)
根據這裡的需求,常規選項中一定要將設定為「將行重定向到無匹配輸出」,因為這裡是要執行「不存在就插入」的操作,因此「源」與「目標」中的資料進行匹配,匹配到的與沒有匹配到的都要輸出,只不過是處理方式不同
注意有對於目標中的資料有三種快取模式,這裡選擇預設的方式,不多說,有興趣的可以上網搜
繼續編輯列對映屬性
分別拉乙個ole db 命令 和 ole db目標,位置盡量擺放的好看一點
分別設定個ole db 命令 和 ole db目標的屬性資訊
列對映選項卡中編譯對映資訊,可用目標列中的parama_0和param_1分別代表兩個上述sql語句中的兩個引數,
因為sql語句是update test_table1 set name = ? where id = ?,這裡的引數的順序要與佔位符的?順序表示的意義相同
「左邊」更新的操作分支屬性編輯完成之後,編輯「右邊」的插入分支的屬性,這一步就簡單了,設定好資料來源與目標表即可。
接下來就可以執行了,將源資料「兵分兩路」,分別執行「存在則更新,不存在則插入」的操作,因為這裡已經示例的是源與目標匹配到了5999行,進行更新,沒有匹配的是4999行,執行插入
執行完成後,源伺服器與目標伺服器資料一致。
一邊測試一遍截圖,比較亂,中間還是有一些細節的。
對於類似小眾化或者說是平時用的不是太頻繁的工具,時間久了可能會生疏,只要多實踐,多摸索,多看報錯資訊,還是可以使用起來提高工作效率的。
SSIS元件轉換 查詢轉換
查詢轉換功能和模糊查詢轉換功能類似。只不過查詢轉換相比模糊轉換容易的多。相當於模糊查詢轉換中的完全匹配設定,查詢轉換包含以下屬性 在常規選項卡中我們可以看到如圖的一些設定 圖中的具體含義如下 屬性說明 完全快取 在執行查詢轉換前,生成引用資料集並將其載入到快取中。部分快取 在執行查詢轉換的過程中生成...
SSIS 元件使用 2
1介紹元件 1 foreach loop container 2 execute sql task 2.功能介紹 1 foreach loop container 是乙個迴圈遍歷的容器,類似於c 中的foreach 2 execute sql task 就是一條sql命令。3.使用操作 foreac...
SSIS 調式指令碼元件
ssis比dts的日誌架構更加強大,你再也沒有必要寫入乙個msgboxes來獲得你所需要的日誌資訊 因為你的指令碼元件是繼承於乙個有log方法的script ponent元件,這個方法允許你返回乙個訊息到ssis包的日誌中,它會觸發script ponentlogentry的呼叫,例如下面 vb d...