fme日誌非常重要,記錄了fme轉換的每個過程及錯誤詳細資訊,以及讀入寫出資料總計,在使用fme進行資料轉換和資料處理分析時,我們需要根據分析日誌去分析模板是否成功並達到預期效果,同時查詢執行失敗原因和及相關記錄。
眾所周知,fme workbench在執行乙個模板時,會在模板的路徑下自動生成日誌,但是當遇到多資料處理、轉換時,一般我們通過新增多個資料或者資料夾來進行批處理操作。
這樣可能會發生在執行到中途時,程式執行失敗,部分轉換成功。這時程式已經中斷,我們只能通過當前日誌分析出錯誤,然後還需要去想辦法執行剩下的資料。並且日誌檔案由於未對每個資料進行分類扇出,資訊量很大,難於分析,檢查。
因此,我們應該利用fme實現處理批量資料時,按檔名來批量生成日誌檔案。
首先我們必須了解以下兩個引數: 1
、log日誌檔案路徑:
該工作空間引數用於指定我們txt日誌檔案生成的路徑,我們可以將其發布為公用引數,對日誌生成路徑進行賦值。
2、ffs
日誌檔案路徑:
當遇到幾何圖形由於拓撲、屬性錯誤等情況無法轉換時,也會生成相應的.ffs日誌檔案報錯,我們可以在寫模組的高階引數中進行設定(例如上圖中為mdb寫模組)。同樣我們可以將其發布為公用引數,對日誌生成路徑進行賦值。
詳細實現模板如下:
首先製作乙個資料轉換的模板,並發布相關引數。
之後在製作乙個模板,利用workspacerunner轉換器呼叫之前的模板進行批處理
若對文章有疑問,可傳送郵件至
提問或討論。
海量日誌資料處理
對不能完全載入到記憶體中處理的海量資料,考慮 分而治之 hash的演算法思想 1.按照標識欄位的hash ip 1024 根據具體情況設定 值,把海量日誌分別儲存到1024個小檔案中 每個標識所有資料只會儲存到1個小檔案中 2.對於每乙個小檔案,可以構建乙個標識欄位為key,出現次數為value的h...
海量資料處理 (top K問題)
前兩天面試3面學長問我的這個問題 想說teg的3個面試學長都是好和藹,希望能完成最後一面,各方面原因造成我無比想去鵝場的心已經按捺不住了 這個問題還是建立最小堆比較好一些。先拿10000個數建堆,然後一次新增剩餘元素,如果大於堆頂的數 10000中最小的 將這個數替換堆頂,並調整結構使之仍然是乙個最...
海量資料處理問題
一 給乙個超過100g大小的log file,log中存著ip位址,設計演算法找到出現次數最多的ip位址?該題目要求的是出現次數最多的乙個,有時候題目也會變成求出現次數排名前k的ip位址,兩個問題的解題思路是一致的,只是求前k個會多乙個小步驟,就是建堆,所以現在學習一下,求前k個的思路。100g記憶...