ssis 提供一系列支援業務應用程式開發的內建任務、容器、轉換和資料介面卡，方便我們建立解決方案來解決複雜的業務問題，除了可以管理 sql server 資料庫以及在 sql server 例項之間複製 sql server 物件，我們還可以對oracle、mysql、excel等不同的異構資料來源進行抽取和載入。下面我們將簡單的說明一下其典型的應用場景。
合併來自異構資料儲存區的資料
很多單位資料通常儲存在很多個不同的資料儲存系統中，很多時候需要從這些源中提取資料並將其合併到單個一致的資料集中。這個過程面臨早期系統繁多、資料儲存格式複雜多樣、合併可能需要複雜多樣的預處理等問題。
ssis可以使用 .net 和 ole db 訪問介面連線到關聯式資料庫，還可以使用 odbc 驅動程式連線到多個早期資料庫，還可以連線到平面檔案、excel 檔案和 analysis services 專案。同時ssis也包含一些源元件，可以從不同的資料來源中提取資料。
ssis提供的轉換功能對資料進行轉換。資料轉換為相容格式後，就可以將其物理合併到乙個資料集中。
資料在合併成功且應用轉換後，ssis可以將資料載入到平面檔案、原始檔案和關聯式資料庫。資料也可以載入到記憶體中的記錄集中，供其他包元素訪問。
填充資料倉儲和資料集市
資料倉儲和資料集市中不僅需要抽取的資料量很大而且通常需要頻繁更新。
可以用 ssis 包載入資料庫中的維度表和事實資料表。如果維度表的源資料儲存在多個資料來源中，包可以將該資料合併到乙個資料集中，並在單個程序中載入維度表，而不是為每個資料來源使用單獨的程序。
更新資料倉儲和資料集市中的資料可能很複雜，因為這兩種型別的資料儲存區通常都包含可能難以通過資料轉換過程管理的漸變維度。由於能夠動態建立用於插入和更新記錄、更新相關記錄以及向表新增新列的 sql 語句，因此，漸變維度嚮導可自動支援漸變維度。
清除資料和將資料標準化
由於眾多的資料來源使用不同的約定和標準、載入中需要執行不同的業務處理，無論資料是載入到聯機事務處理 (oltp)、聯機分析處理 (olap) 資料庫、excel 電子**還是載入到檔案，都需要在載入前將資料進行清理和標準化。
ssis 包含一些內建轉換，可將其新增到包中以清理資料和將資料標準化、更改資料的大小寫、將資料轉換為不同型別或格式或者根據表示式建立新列值。例如，包可將姓列和名列連線成單個全名列，然後將字元更改為大寫。
資料轉換過程支援複雜商業邏輯處理
資料轉換過程需要內建邏輯來動態響應其訪問和處理的資料。可能需要根據資料值對資料進行彙總、轉換和分發。根據對列值的評估，該過程甚至可能需要拒絕資料。
支援管理功能和資料載入自動化
ssis提供了相關的元件實現管理的自動化，例如備份和還原資料庫、複製 sql server 資料庫及其包含的物件、複製 sql server 物件和載入資料等。同時還可以使用 sql server **作業來安排 ssis 包。
SSIS典型應用場景分析
ssis 提供一系列支援業務應用程式開發的內建任務 容器 轉換和資料介面卡，方便我們建立解決方案來解決複雜的業務問題，除了可以管理 sql server 資料庫以及在 sql server 例項之間複製 sql server 物件，我們還可以對oracle mysql excel等不同的異構資料來源...
ZooKeeper典型應用場景
zookeeper 是乙個開源的高可用的分布式資料管理與系統協調框架，基於對 paxos 演算法的實現，保證了分布式環境中資料的強一致性。發布與訂閱模型 發布者發布資料到 zk 節點上，供訂閱者動態獲取資料。在資料量很少，但是資料更新快的場景下 訊息中介軟體中的發布者和訂閱者的負載均衡，linked...
Alluxio及其典型應用場景
一 簡介 alluxio號稱是世界上第乙個記憶體級虛擬分布式儲存系統，是計算與儲存間的橋梁。二 典型應用場景 1.計算層需要反覆訪問遠端 比如在雲端，或跨機房 的資料 2.計算層需要同時訪問多個獨立的持久化資料來源 比如同時訪問s3和hdfs中的資料 3.多個獨立的大資料應用 比如不同的spark ...