通過將近一周的學習時間,我大致掌握了powercenter
的基本架構和設計開發過程中的一些方法和技巧。
powcercenter
也是屬於典型的
c/s架構,分為伺服器元件和客戶端元件,服務端有三個服務:
informatica service
、integration service
和repository service
,客戶端主要就是
rdwm
四個元件。客戶端主要用於設計開發
workflow
,而伺服器則用於執行
workflow
。以下是我整個學習過程中的一些心得體會:
powercenter和
datastage
一樣,都是一款強大的
etl工具,這在我的學習中我深有體會。很多人說技術強的人根本不用工具,但我覺得不完全如此,我覺得只要工具用的恰到好處,那能達到事半功倍的效果。比如,如果你想對乙個異構的資料來源進行關聯查詢,那你不得不把異構的資料匯入到同乙個資料庫中,然後再進行關聯查詢,這是多費神的一件事啊!然而,如果懂得使用
powercenter
工具,那麼這型別的工作將很容易得到解決,你只要使用
powercenter
中的joiner
元件或是
lookup
元件就可以了。此外,
powercenter
還為etl
過程提供很多有用的元件:
source qualifier
元件實現把源資料抽取出來,它相當於
etl的抽取的過程;
expression
元件、filter
元件、aggregator
元件等實現資料的清洗轉換,相當於轉換的過程;
update stategy
元件則是乙個比較高階的元件,能根據更新策略進行目標表的載入,相當於載入的過程。可以說,只要你想要在
etl過程中實現的操作,都能在
powercenter
中實現。
以上說了一些powercenter
在etl
過程中會使用到的一些重要元件,而對這些元件的使用又有許多要注意的地方和技巧性的東西。比如,
active
元件和passive
元件使用上的注意;
n個同構資料來源只需用1個
source qualify
元件關聯,關聯時建議將在
source
analyzer中
將需要關聯的源表
,設計區刪除各個源所帶的
source qualify
元件,用乙個新的
source qualify
元件包含所有源的字段內容
;n個異構資料來源需用
n-1個
joiner
元件關聯,關聯時建議將資料量少的設定為
master
; lookup元件中如果要
lookup
的次數少且
lookup
表的資料量很大的話就沒必要設定
cache
;sorter
元件的使用可以提高
joiner
元件和aggregator
元件的效率,但要注意
sorter
元件排序的順序要與彙總的順序一致,
joiner元件和
aggregator
元件中的
屬性sort
記得鉤上
;update strategy
有多種資料操作:
dd_insert
、dd_update
、dd_delete
和dd_reject
,用update strategy
對目標表進行操作時一定要記得在
target designer
中設定主鍵值;不連線的
lookup
元件的使用
時要記得選中相應port
的返回值選項"r";
target load type
設定中當目標表沒有索引約束時可選bulk
型別,資料量大時效率較明顯
,因為它跳過資料庫的日誌操作。
對於元件的使用,還是有很多需要注意的和技巧性的東西。實際上,這些都是比較細的地方,但是,要想真正使用powercenter
進行設計開發工作,更必需清楚它的六大開發步驟(定義源、定義目標、建立
、定義任務、建立
workflow
、workflow
的排程監控),特別是當出現問題時如何通過監控日誌進行排錯的能力尤其重要,還有就是通過
debugger
對進行除錯以及一些調優的操作,這些都是乙個設計開發工作成功的關鍵。不過,這就需要在平時的學習和專案中進行積累和掌握了。
在這次powercenter
的學習過程中,還得到了同事的一些幫助和指導。在此,我感謝謝他們!因為有了他們的幫助,才有了我的進步!
PowerCenter基礎心得
心得學習 通過將近一周的學習時間,我大致掌握了powercenter 的基本架構和設計開發過程中的一些方法和技巧。powcercenter 也是屬於典型的 c s 架構,分為伺服器元件和客戶端元件,服務端有三個服務 informatica service integration service 和 ...
學習心得 python學習心得
自從來了深圳工作以後,尤其是屢屢面試碰壁以後。發現其實自己的知識面很窄,做筆試題的時候絞盡腦汁還是漏洞百出,並不是不會做,而是出現一大堆不該有的失誤。每次被問道,對資料庫了解嗎?說一大堆看起來很高階的東西 好啊,那我們寫幾個sql語句吧。馬上完蛋了,沒了手冊關鍵字都記不起。了解哪幾種指令碼語言,sh...
學習心得 我的學習心得
我是乙個已經步入中年的70後,離開校園已經20年了,因為當年的政策因素而未能圓我的大學夢,在20年的工作過程中總是因為缺少一張大學文憑而失去了很多機會,曾經也考慮過自考,但是乙個人去面對的時候總感覺心有餘而力不足。2018年3月份偶然讓我認識了尚德,原來自考還可以這樣學習。一直懷疑自己年紀大了記憶力...