20170923資料倉儲學習總結

2021-08-08 16:21:58 字數 3266 閱讀 1806

mysql中事務:

事務是邏輯上的一組操作,組成這組操作的各個單元,要不全都成功要不全都失敗,這個特性就是事務。

事務的四大特性(acid):

1.資料倉儲

定義1:資料倉儲是一種資訊系統,它能給乙個組織或機構提供商務智慧型(business intelligence)以支援管理決策的制定。

定義2:資料倉儲是面向主題的整合的穩定的隨時間增量的資料集合,用以支援管理決策。

定義3:為給資料集市裝載資料提供基礎元件, 並用資料集市為終端使用者提供資料。

2.資料倉儲和資料庫有什麼區別?

3.什麼是olap,有什麼用途?

聯機分析處理olap(on-line analytical processing)

olap是一種自上而下、不斷深入的分析工具:使用者提出問題或假設,olap負責從上至下深入地提取出關於該問題的詳細資訊,並以視覺化的方式呈現給使用者。與dm相比,ogap更多地依靠使用者輸入問題和假設,但使用者先入為主的侷限性可能會限制問題和假設的範圍,從而影響最終的結論。因此,作為驗證型分析工具,qlap更需要對使用者需求有全面而深入的了解。

4.什麼是維度、度量值/指標?

維度:維度用於描述使用者及其會話和操作的特徵

度量值/指標:是量化衡量標準

5.什麼是緩慢變化維(有的會直接叫scd)?有什麼解決辦法?

(1)緩慢變化維(slowly changing dimensions):維度表裡面的資料並非是始終不變的,總會隨著時間發生變化

(2)解決方案:

6.星型模型和雪花模型的差別是什麼?

(1)星型模型是由單個事實資料表和一些維度表組成的構架模型。在這種模型中每個維度表均聯接到事實資料表上。

(2)雪花型架構比星型模型增加了次要維表,有乙個或多個維表是聯接到其它維表上,而非事實資料表上。

7.etl是什麼,一般怎麼做?

etl(extract/transformation/load)—使用者從資料來源抽取出所需的資料,經過資料清洗、轉換,最終按照預先定義好的資料倉儲模型,將資料載入到資料倉儲中去。

8.元資料

(1)定義:關於資料的資料,指在資料倉儲建設過程中所產生的有關資料來源定義,目標定義,轉換規則等相關的關鍵資料。同時元資料還包含關於資料含義的商業資訊。

(2)元資料:資料倉儲的核心。關於資料的資料,可理解為資料倉儲的資料字典。儲存資料模型、定義資料結構、轉換規則、倉庫結構和控制資訊等。

(3)功能

好的元資料是資料倉儲開發成功的關鍵因素

9.粒度

定義:資料倉儲的資料單位中儲存資料的細化或綜合程度的級別。細化程度越高,粒度級別就越小;相反,細化程度越低,粒度級別就越大。

10.資料集市

(1)定義:是一種具有特定應用的更小/更集中的資料倉儲

(2)兩種資料集市: 依賴型和非依賴型

依賴型資料集市中的資料來自於資料倉儲; 非依賴型資料集市中的資料來自業務應用環境。

依賴型資料集市在建造和結構上是合理、可靠的; 非依賴型資料集市還存在一些問題。

(3)特點

11.kimball多維度體系結構的三個重要概念:

(1)匯流排結構:多維體系結構(匯流排架構) 資料倉儲領域裡,有一種構建資料倉儲的架構,叫multidimensional architecture(md),中文一般翻譯為「多維體系結構」,也稱為「匯流排架構」(bus architecture)。

(2)一致性維度:同乙個集市內,一致性維度的意思是兩個維度如果有關係,要麼就是完全一樣的,要麼就是乙個維度在數學意義上是另乙個維度的子集。

(3)一致性事實:一致性事實是指事實表一般不會在多個資料集市間複製,主要需要保證兩點。第乙個是定義及計算方法要一致,第二個是事實的單位要一致性。

12.ods定義及其特點

定義:ods是用於支援企業日常的全域性應用的資料集合

四個基本特點

13.資料倉儲的結構

(1)資料倉儲的邏輯結構:資料倉儲從傳統資料庫或其他資料來源獲得原始資料,先按輔助決策的主題要求形成當前基本資料層,再按綜合決策的要求形成綜合資料層(又分為輕度綜合層和高度綜合層)。隨著時間的推移,由時間控制機制將當前基本資料層轉為歷史資料層。

(2)資料倉儲的物理結構:資料倉儲的物理儲存基於多維資料模型(所以在邏輯上資料倉儲就是乙個多維資料庫)

在實現中一般有兩種途徑:基於多維陣列的資料庫/基於關聯式資料庫的星型模式(由關係型事實表和維表組成)

三種變型:雪花模式,多層分維結構,事實表族

(3)資料倉儲系統(dws)的體系結構

倉庫管理:在確定資料倉儲的資訊需求後,首先進行資料建模,然後確定從源資料到資料倉儲的資料抽取、清理(淨化)和轉換過程,最後劃分維數及確定資料倉儲的物理儲存結構;

資料倉儲:包括對資料的安全、歸檔、備份、維護、恢復等工作,這些工作需要利用資料庫管理系統,即dbms的功能;

分析工具:用於完成實際決策問題所需的各種查詢檢索工具、多維資料的olap分析工具、資料探勘(dm)工具等,以實現決策支援系統(dss)的各種要求。

資料倉儲學習

3.資料倉儲的設計始於資料模型。企業資料模型用於操作型環境的設計。企業資料模型的 一種變型用於資料倉儲的設計。資料倉儲以反覆開發的形式建立。對於資料倉儲的需求是不 可能預先知道的。資料倉儲的構造是在與傳統操作型系統完全不同的開發生命週期中進行的。資料倉儲開發者面臨的基本問題是管理大量資料。為此,資料...

資料倉儲學習

資料倉儲 第二章 資料倉儲環境 1 1.1資料倉儲的特性介紹 資料倉儲是乙個面向主題的,整合的,非易失的,隨時間變化的用來支援管理人員決策的資料集合。面向主題 對於乙個保險公司,公司的主題域可能是顧客 保險單 保險費 與索賠。而對於乙個生產商,主題域可能是產品 訂單 銷售商 材料單與原貨物等。不同型...

資料倉儲 資料倉儲部署

1 首先用下面的語句查詢是否有要建立的表空間 hospdw tab 和 hospdw idx 如果沒有,則把d database zyhip改為對應的路徑,有的話直接建立使用者 select tablespace name,file name,round bytes 1024 1024 0 size...