網銀系統卸數
概念
etl中文名為資料抽取、轉換和載入。etl負責將分布的、異構資料來源中的資料，如關係資料、平面資料檔案等抽取到臨時中間層後進行清洗、轉換、整合，最後載入到資料倉儲或者資料集市中，成為聯機分析處理、資料探勘的基礎。etl是乙個長期的過程，只有不斷發現問題並解決問題，才能使etl執行效率更高，為專案後期開發提供準確的資料。而銀行系統的網銀etl卸數，是將網銀系統的全部資料抽取、清洗、轉換並最終載入到資料整合平台倉庫中以供資料團隊提數分析等工作。
卸數框架方法流程
卸數效果
可迴圈抽取資料、可進行異常檢查、能實現定時和人工觸發方式抽取資料。
資料倉儲與資料庫比較，Hive資料倉儲與資料庫比較
hive是乙個翻譯工具，將sql翻譯為底層mr程式的，它不是資料庫，只不過在表現形式上和資料庫有很多類似而已 比如表 database 欄位等 資料庫可以增刪查改，資料倉儲只可以增刪查 資料倉儲支援很大規模的資料 資料庫支援的資料規模較小 資料倉儲沒有索引，資料庫有 資料倉儲可擴充套件性強，資料庫弱...
資料庫與資料倉儲
簡而言之，資料庫是面向事務的設計，資料倉儲是面向主題設計的。資料庫設計是盡量避免冗餘，一般採用符合正規化的規則來設計，資料倉儲在設計是有意引入冗餘，採用反正規化的方式來設計。資料庫是為捕獲資料而設計，資料倉儲是為分析資料而設計，它的兩個基本的元素是維表和事實表。維是看問題的角度，比如時間，部門，維表...
資料庫與資料倉儲
簡而言之，資料庫是面向事務的設計，資料倉儲是面向主題設計的。資料庫設計是盡量避免冗餘，一般採用符合正規化的規則來設計，資料倉儲在設計是有意引入冗餘，採用反正規化的方式來設計。資料庫是為捕獲資料而設計，資料倉儲是為分析資料而設計，它的兩個基本的元素是維表和事實表。維是看問題的角度，比如時間，部門，維表...