Mapping設計優化技術

lookup transformation優化技巧

1．當資料來源很大的時候，並且lookup表在50w行以下的時候，設定為cache方式的lookup，這將明顯的提公升效能10-20個百分點。

operations and expression optimizing tips

1．數字操作比字串快

2．優化字元型的比較（比如，在比較前用trim去掉空格）

3．操作符比函式快（比如，|| vs concat）

4．優化iif表示式

5．在lookup裡面避免使用date型別的條件。用string型別代替。

6．test expression timing by replacing with constant. 用常量代替什麼？

7．使用平板檔案

使用伺服器上的平板檔案快於該伺服器上的資料庫

定長的文字檔案快於裝載分隔符的檔案，因為分隔符需要花額外的解析成本。如果處理複雜的tansformation，可以考慮先把檔案裝載到關係型資料庫，這樣可以利用filter過濾和也可以自定義的合適的select語句

8．如果不方便從源資料取得已經排序的資料(例如，weblogs)，可以使用sorter advanced extenal procedure.

9．用router分離資料流，從而避免使用多個filter。

10．為了優化彙總的過程，可以在aggregator之前使用sorter或者採用hash-auto keys的分割槽方式。即使資料來源不能排序，也可以使用sorter transformation，就可以開啟sorted ports選項。

11．用normalizer transformation可以實現行到列

12． update strategy會把不符合條件的行儲存到乙個檔案中(bad file)。如果這些記錄不是必要的，可以在update strategy之前就過濾掉，因為保留這些記錄需要花費額外的成本。這時候在設定update strategy的引數為discard rejected rows.

13．當使用joiner transformation時候，確保master的資料量相對較小

14．在裝載到資料庫的過程中，如果必須要用update覆蓋的這種方式，可以在target之前用lookup transformation取得主鍵，根據主鍵的update大大快於沒有索引的lookup override。