Loader技術原理

loader技術原理

1.什麼是loader

1.2.基於開源sqoop研發，做了大量優化和擴充套件。

1.4.loader是實現fusioninsight hd與關係型資料庫、檔案系統之間交換資料和檔案的資料載入工具。提供視覺化嚮導式的作業配置管理介面；提供定時排程任務，週期性執行loader作業；在介面中可指定多種不同的資料來源、配置資料的清洗和轉換步驟、配置集群儲存系統等。

2.loader的應用場景

2.2.loader實現fusioninsight與關係型資料庫、檔案系統之間交換資料和檔案，可以將資料從關係型資料庫/檔案伺服器匯入到fusioninsight hdfs/hbase/hive中，或者反過來從hadoop hdfs/hbase匯出到關係型資料庫/檔案伺服器中。

2.3.loader提供了本集群內部hdfs和hbase之間的資料匯入/匯出。

2.4.rdb，relational data base，關係型資料庫。

2.5.customized data source:支援外掛程式式，擴充套件外部資料來源。

2.6.注：當前不支援hive匯出。

3.loader在fusioninsight中的位置

3.2.loader是實現fusioninsight hd與關係型資料庫、檔案系統之間交換資料和檔案的資料載入工具。

4.loader特點

4.1.高效能

4.1.1.利用mapreduce並行處理資料

4.2.安全

4.2.1.kerberos認證

4.2.2.作業許可權管理

4.3.高可靠

4.3.1.loader server採用主備雙機

4.3.2.作業通過mapreduce執行，支援失敗重試

4.3.3.作業失敗後，不會殘留資料

4.4.圖形化

4.4.1.提供圖形化配置、監控介面，操作簡便

4.6.loader提供ui介面對作業進行管理，同時也提供了命令列介面，以滿足客戶排程程式或自動化指令碼的需要。

4.7.loader使用mapreduce進行並行處理。但是在loader的作業中，有引數會影響mapreduce分片，為了達到最高匯入效能，需要選擇合適的引數配置。

4.8.loader的安全版本是在fusioninsight統一配置的。

5.loader模組架構

8.1.loader轉換原理：

8.2.讀取源端資料，通過輸入運算元將資料按規則一一轉換成字段，再通過轉換運算元，對這些欄位做清洗或轉換，最後通過輸出運算元將處理後的字段，輸出到目標端。

8.3.loader運算元包括以下型別：

8.4.輸入運算元：資料轉換的第一步，負責將資料轉換成字段，每次轉換有且只能有一種輸入運算元，涉及hbase或hive匯入匯出時，必須填寫。

8.5.轉換運算元：資料轉換的中間轉換步驟，屬於可選型別，各個轉換運算元可任意搭配使用。轉換運算元是針對字段而言，必須先使用輸入運算元，將資料轉換成字段。

8.6.輸出運算元：資料轉換的最後一步，每次轉換有且只能有一種輸出運算元，用於輸出處理後的字段。涉及hbase或hive匯入匯出時，必須填寫。