一.etl(其實也就是對源資料的清洗)
1.etl定義:
將業務系統的資料經過抽取、清洗轉換之後載入到資料倉儲。
2.etl作用:
企業中的分散、零亂、標準不統一的資料整合到一起,為企業的決策提供分析依據。
3.etl設計步驟:
資料抽取、資料的清洗轉換、資料的載入。
①資料抽取:從各個不同的資料來源抽取到ods,期間將髒資料和不完整資料過濾掉。
②資料清洗和轉換:清洗(不完整,錯誤,重複等資料),轉換(行不一致的資料轉換、資料粒度的轉換,以及一些商務規則的計算).
③資料載入:清洗完的資料直接寫入dw層期間進行業務規則的計算和聚合。
二.數倉
1.什麼是資料倉儲?
主要研究和解決從資料中獲取資訊的問題,為企業所有級別的決策制定過程,提供所有型別資料支援的戰略集合。
2.資料倉儲的本質?從操作型系統到決策支援系統的資料流架構模型
3.建設數倉的原因?解決多重資料複製帶來的高成本問題。
4.資料倉儲的特性
①面向主題:圍繞功能性應用來組織資料的。
何為主題:戶使用資料倉儲進行決策時所關心的重點方面。
②整合&
尬聊機械人
具體的使用方法可以參考官方的教程 itchat itchat的安裝,傻子步驟 pip3 install itchat 圖靈,這位偉大的任務,我們都知道,判斷和你對話的是人還是機械人的第一關就是反覆問他同乙個問題,也就是我們所熟悉的圖靈測試 當然,現在為止,還沒有能通過圖靈測試的機器 今天我們需要用到...
資料倉儲 資料倉儲部署
1 首先用下面的語句查詢是否有要建立的表空間 hospdw tab 和 hospdw idx 如果沒有,則把d database zyhip改為對應的路徑,有的話直接建立使用者 select tablespace name,file name,round bytes 1024 1024 0 size...
資料倉儲,什麼是資料倉儲?
資料倉儲,英文名稱為data warehouse,可簡寫為dw或dwh。資料倉儲是為企業所有級別的決策制定過程提供支援的所有型別資料的戰略集合。它是單個資料儲存,出於分析性報告和決策支援的目的而建立。為企業提供需要業務智慧型來指導業務流程改進和監視時間 成本 質量和控制。資料倉儲是決策支援系統 ds...