olap (on-line analytical processing) 聯機分析處理,這一概念是由關係型資料庫之父e.f.codd於2023年提出的。20世紀60年代末codd提出關係型資料模型以後,關係型資料庫與oltp(on-line transaction processing)得到了快速的發展。隨著關係型資料庫的快速發展,全球的資料量急劇膨脹,越來越多的資料被生產出來,同時人們對資訊的需求也在快速的提公升;而資訊**的最主要途徑便是已掌握的海量資料,於是管理人員對資料的查詢需求變得越來越複雜,他們貪婪的希望能夠快速的盡可能多的從gb、tb甚至pb級資料中直觀的了解到隱藏在這些資料背後的資訊。通俗的oltp技術越來越力顯得不從心。於是資料倉儲體系結構與olap技術應運而生。資料倉儲體系結構不是我在這裡說的重點,這裡我旨在從olap技術的特性(總體把握),olap技術的常用操作(前台分析操作),olap技術中資料儲存方式(後台資料儲存)三個角度全面介紹介紹olap技術。
一、 olap技術的特性
olap技術不同於oltp技術,有非常多的特性,概括起來主要有如下幾點特性:olap技術是面向分析人員、管理人員的;olap技術對資料訪問通常是唯讀的,並且一次訪問大量資料;olap技術是面向主題的多維資料分析技術。
ø olap技術是面向分析人員、管理人員的
區別於oltp面向操作人員,olap技術主要面向分析人員、管理人員,他是提供分析人員、管理人員快速直觀訪問資料的一種途徑。使分析人員、管理人員能直觀的從海量資料中獲得有用資訊以提供決策依據。
ø olap技術對資料訪問通常是唯讀的,並且一次訪問大量資料。
olap技術主要是針對海量資料的查詢,通常不對資料做修改。這種資料訪問有別於oltp中不斷的對資料進行增刪改操作。同時這種查詢不是簡單的記錄屬性的檢索,而是為了從海量資料中獲取有用資訊的針對大量資料的查詢,通常一次需要查詢會涉及到上百萬條以上資料。
ø olap技術是面向主題的多維資料分析技術。
主題涉及業務流程的方方面面,是分析人員、管理人員進行進行決策分析所關心的角度。分析人員、管理人員使用olap技術,正是為了從多個角度觀察資料,從不同的主題分析資料,最終直觀的得到有效的資訊。
二、 olap技術提供給分析人員的常用操作
olap技術是面向主題的多維資料分析技術。那麼這種多維分析技術提供哪些操作輔助分析人員進行決策分析呢?常用的操作有:普通鑽取(roll up、drill down)、穿透鑽取(drillthrough)、切片和切塊(slice and dice)、以及旋轉(pivot)等。
ø 普通鑽取
普通鑽取是改變維的層次,包括上捲(roll up)與下鑽(drill down)。這兩種操作不改變觀察的角度(維度),而是改變觀察資料的顆粒大小。上捲是從維的細節層向顆粒較大高層鑽取,以便巨集觀把握資料的彙總情況;下鑽是從維的高層向顆粒較小的細節層鑽取,以便觀察資料明細情況。舉例來說:某電信運營商在分析2023年總體話務量時發現全年話務量為100億分鐘,這除了說明全年的總體話務量情況,不能說明任何問題。現在分析人員想進一步了解2023年各個月份的話務量情況,就必須針對時間維度進行下鑽操作,以看到顆粒較細的月份資料。反之就必須進行上捲鑽取。
ø 穿透鑽取
穿透鑽取是指從乙個模型鑽透到另乙個模型。舉例來說:某電信運營商發現本月通話時長下降5%,經過下鑽發現是ip的本月通話時長下降了20%帶動了整個通話時長下降3%,為了找到ip的通話時長下降的具體原因就需要鑽取到面向ip業務的分析主題,詳盡分析通話時長下降原因。這種跨越模型的鑽取就稱為穿透鑽取。
ø 切片與切塊
ø 旋轉
旋轉是指分析人員為了根直觀的觀察資料集在不同維之間的關係,改變其顯示的維方向,以對多維資料集中不同維進行交換顯示。
三、 olap技術中資料儲存方式
分析離不開資料,如何有效的組織資料對分析的效率與靈活性至關重要,而效率與靈活性正是olap技術要提高的兩個最主要指標。主流的資料組織方式有3種:基於關係型資料庫的;基於多維資料庫的;基於關係型資料庫與多維資料庫的混合方式。針對不同的資料組織方式這些olap技術相應的稱為rolap(基於關係型資料庫的)、molap(基於多維資料庫的)、holap(基於關係型資料庫與多維資料庫的)。
ø rolap
rolap(relationalolap)表示基於的資料儲存在傳統的關係型資料庫中。每乙個rolap分析模型基於關係型資料庫中一些相關的表。這些相關的表中有反映觀察角度的維度表,有含有指標值的事實表,這些表在關係型資料庫中通過外健相互關聯,典型的組織模型有星型模型與雪花型模型。星型模型的組織形式是一張包含指標項與維度編碼的事實表與一些維度表,事實表在中間通過維度編碼與周圍的維度表關聯;雪花型模型較星型模型更規範,將維度表中非主屬性健碼分離出來形成一張新的維度資訊表關聯到維碼資訊表(精減後的維度表),在通過維碼資訊表關聯中間事實表。雪花型模型是星型模型的擴充套件。
ø molap
molap(multidimensionalolap)表示基於的資料儲存在多維資料庫中。多維資料庫有時也稱資料立方體。多維資料庫可以用乙個多維陣列表示。舉例來說:包含時間維度、地區維度、品牌維度、銷售指標的資料模型通過多維資料集合可表示成(時間維度、地區維度、品牌維度、銷售指標)。通過這種方式表示資料可以極大提高查詢的效能。
ø holap
holap表示基於的資料儲存是混合模式的(hybrid olap)。rolap查詢效能較molap慢,儲存卻較molap節省。這兩種方式的olap技術各有利弊,為了同時兼有molap與rolap的優點,提出一種holap將資料儲存混合,粒度較大的高層資料儲存在多維資料庫中,粒度較小的細節層資料儲存在關係型資料庫中。這種holap具有更好的靈活性。
以上我從總體上(olap技術的特性),分析人員前台分析操作(olap技術的常用操作),後台資料儲存(olap技術中資料儲存方式)三個層面描述了olap技術,希望能對感興趣的讀者有一些幫助。
OLAP技術的特點
根據 olap 委員會的定義,olap 是 使分析人員 管理人員或執行人員能夠從多種角度對從原始資料中轉化出來的 能夠真正為使用者所理解的並真實反映企業維特性的資訊進行快速 一致 互動地訪問,從而獲得對資料的更深入了解的一類軟體技術。其特點如下 1 快速性 使用者對 olap 的快速反應能力有很高的...
OLAP和OLTP的介紹
資料處理大致可以分成兩大類 聯機事務處理 oltp on line transaction processing 聯機分析處理 olap on line analytical processing oltp 是傳統的關係型資料庫的主要應用,主要是基本的 日常的事務處理,例如銀行交易。olap 是資料...
OLTP與OLAP的介紹
oltp與olap的介紹 資料處理大致可以分成兩大類 聯機事務處理oltp on line transaction processing 聯機分析處理olap on line analytical processing oltp是傳統的關係型資料庫的主要應用,主要是基本的 日常的事務處理,例如銀行交...