etl是將業務系統的資料經過抽取、清洗轉換之後載入到資料倉儲的過程，目的是將企業中的分散、零亂、標準不統一的資料整合到一起，為企業的決策提供分析依據。 etl是bi專案重要的乙個環節。 通常情況下，在bi專案中etl會花掉整個專案至少1/3的時間,etl設計的好壞直接關接到bi專案的成敗。
etl的設計分三部分：資料抽取、資料的清洗轉換、資料的載入。在設計etl的時候我們也是從這三部分出發。資料的抽取是從各個不同的資料來源抽取到ods(operational data store，操作型資料儲存)中——這個過程也可以做一些資料的清洗和轉換)，在抽取的過程中需要挑選不同的抽取方法，盡可能的提高etl的執行效率。etl三個部分中，花費時間最長的是「t」(transform，清洗、轉換)的部分，一般情況下這部分工作量是整個etl的2/3。資料的載入一般在資料清洗完了之後直接寫入dw(data warehousing，資料倉儲)中去。
etl的實現有多種方法，常用的有三種。一種是借助etl工具(如oracle的owb、sql server 2000的dts、sql server2005的ssis服務、informatic等)實現，一種是sql方式實現，另外一種是etl工具和sql相結合。前兩種方法各有各的優缺點，借助工具可以快速的建立起etl工程，遮蔽了複雜的編碼任務，提高了速度，降低了難度，但是缺少靈活性。sql的方法優點是靈活，提高etl執行效率，但是編碼複雜，對技術要求比較高。第三種是綜合了前面二種的優點，會極大地提高etl的開發速度和效率
核心亮點(億信華辰abi）
1 程式設計人性化，操作更易用
一般情況下，etl過程設計需要用到大量的**，且重複利用率較低。億信abi中的etl功能充分結合大量專案人員實施習慣，操作敏捷易用，可以快速的建立起etl工程，遮蔽複雜的編碼任務，提高速度，降低實施難度。
億信abi的etl過程支援批量建立，資料抽樣，開發過程支援多人協同定義，共享資料庫，使得資料處理過程更高效。在此基礎上，系統內部封裝大量清洗轉換規則，極大程度的降低技術門檻，只需簡單的拖拽配置，即可玩轉資料處理。
2 豐富的資料處理元件
億信abi中的etl元件豐富多樣，面向資料分析師精心打造，滿足各種各樣的資料處理場景。之前的乙個簡單的資料處理需求，前期在技術人員這裡可能徘徊2，3天的樣子，更何況還有後期的修改，有了豐富的視覺化etl元件，復用率高，操作簡單，資料處理更高效。
億信abi中內建元件包括：輸入輸出元件，轉換元件，流程元件，統計元件，數倉元件、指令碼元件、大資料元件、其他元件。
以轉換元件裡面的清洗元件為例，清洗元件支援記錄級清洗和字段級清洗，內建50多種規則，支援在乙個元件中完成多次清洗轉換設定。支援清洗前後結果預覽。
3 靈活的排程任務
使用者只需簡單操作，即可實現複雜的排程任務。億信abi的etl排程導向，深度考慮各使用場景，在便捷易用的同時，滿足資料處理時不同的使用者需求。
支援基於時間或事件的排程機制,如:任意事件週期、檔案到達、指令碼事件等；
排程設定支援crontab表示式；
排程設定能指定到月份、星期、日期、小時、分鐘的粒度；
支援設定排程的時間視窗，重調時間間隔等；
4 隔離設計，應用更穩定
為保證執行環境的穩定可靠，提供了設計區與執行區隔離的機制，所有作業的修訂和更改通過在設計區完成除錯和試執行後，通過發布機制，發布到穩定的執行環境，保證開發和執行兩不耽誤。
總結：億信華辰的億信abi成功將兩者合在一起，節省人力物力，提高工作效率。
大資料分析工具
新 指數 清博大資料 新 指數 www.gsdata.cn 是新 大資料第一平台，為運營新 利器 現已開通賬號分鐘級監測服務，打擊粉絲造假賬號，支援使用者自主監測新 資料 定製各類榜單，並提供資料api等各類增值服務。資料視覺化工具 cytoscape 圖表秀 資料觀 微博足跡視覺化 bdp個人版 ...
資料分析工具簡介
1 numpy numpy是python的乙個擴充套件程式庫，支援處理大量的維度陣列和矩陣，也針對陣列提供大量的數學函式庫，主要用於陣列計算。包含 1 乙個強大的n維陣列物件ndarray 2 廣播功能函式 3 整合c c 的工具 4 線性代數 傅利葉變換 隨機數生成等功能 2 pandas 提供了...
python 資料分析工具
如果安裝的是anaconda 發行版，已自帶numpy.scipy,matplotlib,pandash,sckit learn,kreas 和gensim 等，下面簡單介紹下這邊擴充套件包的，便於使用相關功能時快速查詢。numpy python 沒有提供陣列功能，numpy提供了真正的資料功能，以...