使用workflow monitor
可在執行session時，通過在workflow monitor檢視cpu, 記憶體, 及分頁情況
cpu：系統執行時的cpu使用率，包括執行其他task
記憶體：
系統執行時的記憶體使用率，包括執行其他task
如果記憶體使用率接近95%，檢測一下系統中執行的task是否都在workflow monitor，或者是否記憶體洩露
可使用系統工具檢測session執行前後的記憶體使用率的變化來判定問題是否出現在記憶體
分頁：
分頁表示可能的記憶體洩露，及大批的多工並行處理
使用系統工具
windows環境
可以在task manager中通過檢視屬性了解系統情況
percent processor time：如果有多個cpu，請監視每個cpu的處理器時間百分比
pages/second：如果pages/second超過5，則可能存在過大的記憶體壓力，稱為"抖動"
physical disks percent time：物理磁碟忙於執行讀或寫請求的時間百分比
physical disks queue length：等待訪問同一磁碟裝置的使用者數
server total bytes per second：伺服器從網路傳送及接收的總位元組數
unix/linux環境
可使用如下工具檢視系統情況
top/iostat/vmstat/sar
如何解決system的效能瓶頸
1) 如果cpu使用率超過80%，請檢查併發執行任務的數量。考慮更改負載或使用網格將任務分發到不同的節點。如果無法減少負載，請考慮新增更多處理器
2) 如果發生分頁，請增加物理記憶體或減少磁碟上記憶體密集型應用程式的數量
3) 如果記憶體壓力過大(不穩定)，請考慮新增更多物理記憶體
4) 如果時間百分比較高，請調整powercenter的快取以使用記憶體快取，而不是寫入磁碟
如果優化快取，則請求仍在佇列中，並且磁碟忙百分比至少為50%，請新增另乙個磁碟裝置或公升級到更快的磁碟裝置
還可為session中的每個分割槽使用單獨的磁碟
5) 如果物理磁碟佇列長度大於2，可考慮新增其他磁碟裝置或公升級磁碟裝置
還可為reader、writer和transformation執行緒配置使用不同的磁碟
6) 可考慮提高網路頻寬
7) 在優化unix系統時，請為主要資料庫系統優化伺服器
8) 如果i/o等待的時間所佔比重很高，可考慮使用其他未充分利用磁碟
例如，如果source，target，lookup，rank以及aggregate元件的快取檔案都在同乙個磁碟上，可考慮將它們放在不同的磁碟上
返回informtaica彙總
效能瓶頸之Target
最常見的效能問題都發生在向目標資料庫寫資料的時候 常見的與目標資料庫效能有關的問題有 1 資料庫的checkpoint間隔太小 2 資料庫網路包太小 3 在進行大批量資料載入時的問題 如何判斷目標的效能瓶頸 1 將session複製乙份，然後將複製session的目標從資料庫修改為檔案，如果效能有了...
效能瓶頸 MEM（swap）
記憶體的效能瓶頸主要集中在兩點，乙個是記憶體不足，乙個是沒有充分的利用buffer cache 這裡先介紹記憶體資源不足吧，畢竟應用程式不在 buffer cache 裡讀寫的可能性不大，除非程式設計師自己設定直接i o。否則至少也用的是快取i o。當然一些動態鏈結庫也有自己的快取。當有記憶體資源不...
效能瓶頸概覽
關於效能瓶頸 請按照下列順序依次排查效能瓶頸使用如下方式判斷效能瓶頸 1 執行測試session 建立乙個測試session，從原始檔讀取資料並將資料寫入到目標檔案，以此判斷源和目標的效能瓶頸 2 分析效能相關細節 分析效能相關細節，如效能相關的計數器 3 分析執行緒統計資訊 分析執行緒統計資訊，以...