該部落格主要介紹資料探勘的一些其他的相關知識,包括但不限於資料庫、資料倉儲、olap模型等。
olap
多維資料模型
資料倉儲的維度建模
w.h.inmon把資料倉儲定義為「乙個面向主題的、整合的、穩定的、隨時間變化的資料的集合,以用於支援管理決策過程」。
資料倉儲
操作型資料庫
面向主題
面向應用
容量巨大
容量較小
資料是綜合提煉的
資料是詳細的
儲存歷史的資料
儲存當前的資料
資料一般不可更新
資料可更新
操作需求是臨時決定的
操作需求是事先可知的
乙個操作訪問乙個資料集合
乙個操作訪問乙個記錄
資料倉儲系統通常指乙個資料庫環境,而不是指一件產品。資料倉儲系統的一般體系結構如圖所示。整個資料倉儲系統分為源資料層、資料儲存與管理層、olap(聯機分析處理)伺服器層和前端分析工具層。
資料集市
元資料
批處理→
\rightarrow
→即席查詢→
\rightarrow
→分析建模→
\rightarrow
→持續更新和流程互動→
\rightarrow
→基於事件的觸發
olap是旨在處理發現企業趨勢和影響企業發展的關鍵因素而提供的進行資料組織和查詢的工具。
比較項olap
oltp
特性資訊處理
操作處理
使用者高層管理人員
操作人員
功能支援決策需要
支援日常操作
面向資料分析
事務處理
驅動分析驅動
事務驅動
資料量一次處理的資料量大
一次處理的資料量小
資料歷史資料
當前資料
彙總綜合提煉性資料
細節性資料
檢視匯出資料
原始資料
多維資料模型是將資料看作資料立方體形式,滿足使用者從多角度多層次進行資料查詢和分析的需要而建立起來的基於事實和維的資料庫模型。
維和維表
維層次、維屬性和維成員
度量或事實
多維資料集
切塊 旋轉
旋轉(又稱轉軸,pivot)是一種檢視操作,即改變乙個報告或頁面顯示的維方向,可以得到不同視角的資料,即轉動資料的視角以提供資料的替代表示。
上捲上捲操作通過維的概念分層向上攀公升或者通過維歸約在資料立方體上進行聚集。
下鑽下鑽是上捲的逆操作,它由不太詳細的資料到更詳細的資料,使使用者在多層資料中能通過導航資訊而獲得更多的細節資料。
下鑽可以沿維的概念分層向下或引入新的維或維的層次來實現。
資料倉儲的建模首先要將現實的決策分析環境抽象成乙個概念資料模型。
然後將概念模型邏輯化,建立邏輯資料模型。
最後,將邏輯資料模型向資料倉儲的物理模型轉化。
構建資料倉儲概念模型主要有e-r(實體-關係)建模和多維建模兩種方法。
常用的基於關聯式資料庫的多維資料模型有星形模型、雪花模型和事實星座模型。
比較專案
星形模型
雪花模型行數多
少可讀性易難
表數量少
多搜尋維的時間快慢
在乙個多主題的複雜資料倉儲中可能存放多個事實表,此時就會出現多個事實表共享某乙個或多個維表的情況,這既是事實星座模型(fact constellations schema)。
MySQL必知必會之1 4
1.了解資料庫 資料庫 database 儲存有組織的資料的容器 表 table 某種特定型別資料的結構化清單 模式 schema 關於資料庫和表的布局及特性的資訊 列 column 表中的乙個字段。所有表都是由乙個或多個列組成的 資料型別 datatype 所容許的資料累心。每個列表都有相應的資料...
python note 14 其他函式及遞迴應用
1 repr用法 print 你好 使用者看著舒服 print repr 你好 真實的字串表示形式 正式的 print 我叫 r 周潤發 r 實際上呼叫的是repr print repr 你好,我 叫周潤發 程式中內部儲存的內容,這個是給程式設計師看的 2 lambda匿名函式用法 普通的正常的函式...
第 14 章 結構和其他資料形式(函式指標)
1 2func ptr.c 使用函式指標 3 4 5 include 6 include 7 include 8 9 define len 81 1011 char s gets char st,int n 12 char showmenu void 13 void eatline void 讀取至...