什麼是 ELT 和 ETL?

2021-10-19 13:48:58 字數 1197 閱讀 9911

**:

資料處理機制可以採用兩種方法來檢索引入的資料,處理這些資料以進行轉換和生成模型,然後儲存轉換的資料和模型。 這些方法稱為 etl 和 elt。

etl 表示提取、轉換和載入。 原始資料會在儲存之前進行檢索和轉換。 提取、轉換和載入步驟可以作為持續操作管道來執行。 它適用於只需要簡單模型的系統,專案之間幾乎不存在依賴關係。 例如,此型別的過程通常用於基本資料清理任務、刪除重複資料以及對單個欄位的內容重新設定格式。

另一種方法為 elt。 elt 是提取、載入和轉換的縮寫。 此過程與 etl 的不同之處在於,資料在轉換資料之前進行儲存。 將轉換的資料和模型寫回到儲存之前,資料處理引擎可以採用迭代方法,從儲存中檢索和處理資料。 elt 更適合於構建依賴於資料庫中多個專案的複雜模型,通常使用定期批處理。

elt 是適用於雲的可伸縮方法,因為它可以利用所提供的廣泛處理能力。 etl 更加面向流的方法更側重於吞吐量。 但是,etl 可以在儲存資料前對它進行篩選。 通過這種方式,etl 可幫助實現資料隱私和合規性,在資料到達分析資料模型之前消除敏感資料。

azure 提供了多個可用於實現 elt 和 etl 方法的選項。 例如,如果將資料儲存在 azure sql 資料庫中,則可以使用 sql server integration services。 integration services 可以提取和轉換來自多種源(如 xml 資料檔案、平面檔案和關係資料來源)的資料,然後將這些資料載入到乙個或多個目標。

這是乙個簡單的**,顯示了 etl 和 elt 在大多數情況下的優勢。

另一種更通用的方法是使用 azure 資料工廠。 azure 資料工廠是基於雲的資料整合服務,使你可以建立資料驅動型工作流,以便大規模協調和轉換資料。 可以使用 azure 資料工廠建立和計畫資料驅動型工作流(稱為管道),以便從不同的資料儲存引入資料。 可以構建複雜的 etl 過程,以通過資料流或使用計算服務(例如 azure hdinsight hadoop、azure databricks 和 azure sql database)直觀地轉換資料。

ETL的兩種架構(ETL架構和ELT架構)

etl etl,是英文 extract transform load 的縮寫,用來描述將資料從 端經過抽取 extract 轉換 transform 載入 load 至目的端的過程。etl一詞較常用在資料倉儲,但其物件並不限於資料倉儲。etl是構建資料倉儲的重要一環,使用者從資料來源抽取出所需的資料...

ETL與ELT的區別與聯絡

etl與elt的區別與聯絡 其實資料整合不算乙個很新的概念,可能20年前就有資料整合的工具,大家經常會使用talent,informatica,kettle,data stage這樣一些工具。這些工具有乙個共性,就是它的資料計算和轉化功能是非常強大的。而elt從功能上來說沒有差異,只是換了乙個順序。...

ETL學習筆記之一 ETL是什麼?

對於資料倉儲以及etl的知識,我基本上是個門外漢。一切都得從頭開始,記個筆記,方便自已了解學習進度。首先,我們來了解最基本的定義 嗯,也有人將etl簡單稱為資料抽取。至少在未學習之前,領導告訴我的是,你需要做乙個資料抽取的工具。其實呢,抽取是etl中的關鍵環節,顧名思義,也就將資料從不同的資料來源中...