例項學習SSIS(五) 理論介紹SSIS

2021-09-21 21:15:43 字數 2037 閱讀 9831

一、概述

integration services 是用於生成高

效能資料整合和

工作流解決方案(包括針對資料倉儲的提取、轉換和載入 (etl) 操作)的平台。

integration services 包括:

a)生成並

除錯包的圖形

工具和嚮導;

b)執行如 ftp 操作、sql 語句執行和電子郵件訊息傳遞等工作流功能的任務;

c)用於提取和載入資料的資料來源和目標;

d)用於清理、聚合、合併和複製資料的轉換;

e)管理服務,即用於管理 integration services 包的 integration services 服務;

f)用於對 integration services 物件

模型程式設計的應用程式介面(

api)。

二、ssis體系結構

ssis由四大部分組成:服務、物件模型、執行時和資料流。

下面這張大圖顯示了各部分之間的關係:

服務在configuration manager中可以看到ssis的服務:sql server integration services。

1、設計和執行is包不需要啟動該服務,可以使用 sql server 匯入和匯出嚮導、ssis 

設計器、執行包實用工具以及 dtexec 命令提示實用工具執行包。

2、如果要通過sql server management studio監視包,則需要啟動該服務。

使用ssms監視時,可以看到兩個頂級資料夾:「正在執行的包」和「已

儲存的包」。

在「正在執行的包」資料夾下可以停止某個執行的包。

物件模型

物件模型包括用於訪問 integration services 工具、命令列實用工具以及自定義應用程式的本機和

託管應用程式程式設計介面 (api)。

工具介紹:

business intelligence development studio(bids)

建立和除錯包。

bids中的設計器

如下圖:

命令dtexec:執行現有的包;

如執行包:dtexec /f "c:\pkgone.dtsx"

dtutil:可以對包進行訪問,複製、刪除、移動和 簽名等;

如複製包:dtutil /file c:\mytestedpackage\package.dtsx /destserver myserver /copy sql;newpackage

執行時包的執行時,為日誌記錄、斷點、

配置、連線和事務提供支援。

資料流資料流任務封裝資料流

引擎。資料流引擎提供將資料從源移動到目標的記憶體中的緩衝區,並且呼叫從檔案和關聯式資料庫中提取資料的源。

三、典型用途

合併來自異類資料儲存區的資料

合併儲存在不同資料儲存系統中的資料,提取這些資料合併到單個一致的資料儲存系統中。        

填充資料倉儲和資料集市

資料倉儲和資料集市中的資料具有更新頻繁和載入量大的特點,ssis專門提供了乙個從平面檔案大容量載入到 sql server的任務。

清除資料和資料標準化

integration services 包含一些內建轉換,可將其新增到包中以清理資料和將資料標準化、更改資料的大小寫、將資料轉換為不同型別或格式或者根據表示式建立新列值。

將商業智慧型置入資料轉換過程

integration services 提供了用於將商業智慧型置入 ssis 包的容器、任務和轉換。

可能需要根據資料值對資料進行彙總、轉換和分發,ssis 包中的邏輯可能需要執行以下型別的任務:

a)合併來自多個資料來源的資料。

b)計算資料並應用資料轉換。

c)根據資料值將乙個資料集拆分為多個資料集。

d)將不同的聚合應用到乙個資料集的不同子集。

e)將資料的子集載入到不同目標或多個目標。

使管理功能和資料載入自動化

管理功能自動化,例如備份和還原資料庫等,可以使用 sql server **作業安排ssis 包。(文/青羽)

例項學習SSIS(二) 使用迭代

目標 迴圈地連線某資料夾下的每個檔案,不需要為每個檔案都建立連線管理器。在這個例項中,我們將某資料夾下的 userinfo1.txt 和userinfo2.txt 的內容都寫入資料表userinfo中。步驟 準備工作 把第乙個例子中的 userinfo.txt 複製兩份,放到同乙個資料夾下。把內容改...

例項學習SSIS(二) 使用迭代

目標 迴圈地連線某資料夾下的每個檔案,不需要為每個檔案都建立連線管理器。在這個例項中,我們將某資料夾下的userinfo1.txt和userinfo2.txt的內容都寫入資料表userinfo中。步驟 準備工作 把第乙個例子中的userinfo.txt複製兩份,放到同乙個資料夾下。把內容改一下 us...

一 shiro學習 許可權理論介紹

許可權管理 使用者認證 授權管理 按照一定的安全規則與策略控制使用者可以訪問而且只能訪問自己被授權的部分資源。使用者認證 判斷使用者是否屬於合法使用者的過程 人像核查 指紋核查 刷卡核查 使用者口令等等 使用者認證流程 關鍵物件 suject 主體 使用者 程式 principal身份資訊 身份認證...