隨著大資料技術的不斷更新和迭代,資料管理工具得到了飛速的發展,相關概念如雨後春筍一般應運而生,如從最初決策支援系統(dds)到商業智慧型(bi)、資料倉儲、資料湖、資料中颱等。今天多變的市場競爭環境,企業也正在尋找具備創新性、靈活性的中颱能力。
什麼是資料中臺?
資料中颱最核心的是onedata體系。這個體系實質上是乙個資料管理體系,包括全域性資料倉儲規劃、資料規範定義、資料建模研發、資料連線萃取、資料運維監控、資料資產管理工具等。資料倉儲是為企業所有級別的決策制定過程,提供所有型別資料支援的戰略集合,出於分析性報告和決策支援目的而建立。 資料中颱是乙個資料整合平台,它不僅僅是為資料分析挖掘而建,它更重要的功能是作為各個業務的資料來源,為業務系統提供資料和計算服務。資料中颱的本質就是「資料倉儲+資料服務中介軟體」。中臺構建這種服務時是考慮到可復用性的,每個服務就像一塊積木,可以隨意組合,非常靈活,有些個性化的需求在前台解決,這樣就避免了重複建設,既省時、省力,又省錢。
資料倉儲資料中臺區別在哪?
我覺得首先要從概念上區分一下,資料中颱不單單指系統或者工具,而是乙個職能部門,通過一系列平台、工具、資料、流程、規範來為整個組織提供資料資產管理和服務的職能部門。
資料中臺負責全域資料採集、資料資產加工和管理、並向前臺業務部門和決策部門提供資料服務的所以數 據中颱的核心應該是資料資產管理和資料賦能。通俗的講就是資料彈藥庫。
把資料開放給前台業務人員直接使用,快速響應,這才是資料中颱的核心價值。也是區別系統級資料中颱和概念性資料中颱的要點。
資料中颱從某個意義來說屬於數倉的一種,都是要把資料抽進來建立乙個資料倉儲。但是兩者的資料**和建立數倉的目標以及資料應用的方向都存在很大差異。
先從資料**上來說,資料中颱的資料**可以是結構化資料或者非結構化的資料。而傳統數倉的資料**主要是業務資料庫,資料格式也是以結構化資料為主。
資料中臺不僅僅是匯聚企業各種資料,而且讓這些資料遵循相同的標準和口徑,對事物的標識能統一或者相互關聯,並且提供統一的資料服務介面。就像做菜一樣,按照標準化的菜名,先把所有可能用到的材料都準備好。
傳統的資料倉儲不能滿足資料分析需求。
企業在資料分析應用方面呈現「五大轉變」(從統計分析向**分析轉變、從單領域分析向跨領域轉變、從被動分析向主動分析轉變、從非實時向實時分析轉變、從結構化資料向多元化轉變),並且對統一的資料中臺平台訴求強烈,對資料中颱的運算能力、核心演算法、及資料全面性提出了更高的要求。傳統的資料倉儲主要用來做bi的報表,目的性很單一,只抽取和清洗該相關分析報表用到基礎資料,新增一張報表,就要從底層到上層再做一次。
1,資產化的角度看,資料中颱和資料倉儲都能算是資料資產化,區別是資料中臺能夠進行全域資料的整體規劃和資料全生命週期管理,資料倉儲就很難實現;
2,從資料能力服務化的角度來看,資料中臺通過one data、one id、one service的理念,以及儲存治理,計算治理的方式,可以讓更多的前台應用共享資料中臺提供的資料能力(比如資料api,資料標籤,資料監控等等)。
資料倉儲通常是為了分析某些業務指標,或分析某個主題資料而搭建,目標更明確,輸出更多的是資料結果,而不是資料能力;
3,從投資回報率來看,資料中臺輸出的是資料能力,在建設資料中颱的時候,是預估使用方對資料能力的需求,所以需要考慮roi;資料倉儲通常是有明確需求才會建設,一般不會考慮roi;
事實上,企業中的資料部在做的事情,都是加工資料,讓資料轉變成資訊。加工資訊,讓資訊轉變成知識。利用知識,撬動變現的槓桿。只要用資料做有利於企業發展的事情,那就是正確的,就是有意義的,不要在乎你在做的到底是資料倉儲還是資料中臺。
在目前的資訊時代,借助類似於smartbi的這些工具,可以讓企業加速融入企業資料分析的趨勢。備受市場認可的軟體其實有很多,選擇時必須要結合實際的情況。一般的情況下,都建議選擇市面上較主流的產品,比較容易達到好的效果,目前企業資料分析bi軟體市場占有率前列的,就是思邁特軟體——smartbi。
資料中颱和大資料資料倉儲的區別
看了很多資料中颱的介紹,感覺和傳統數倉有一些區別,但是和大資料資料倉儲的幾乎無區別。1 從用途上看 都是為了,資料分析,資料探勘,ai,資料視覺化等等 2 從儲存上看 都是解決大資料量的問題 3 從技術上看 要解決質量問題,規範問題,標準問題,元資料管理,主資料管理,等資料治理,再到資料分層,資料建...
資料中颱與資料倉儲比較
從三個點來說 1 提供服務的物件 2 業務域 3 層次的劃分 1 提供服務的物件 a 資料倉儲的服務物件基本上是人。明細資料,聚合指標,轉化率模型,他們的目前使用者都是人 b 資料中颱的服務物件變成 人 機器。使用者標籤 機器學習模型,資料探勘模型,他們的目標是系統。比如說廣告系統,推薦系統,風控系...
資料中颱與傳統資料倉儲對比
1 傳統資料倉儲的特點 2 資料中颱的優點 1.存檔海量資訊,歷史資料隨時可查。例如十年前的資料,如果沒有資料庫,想要找到是不容易的,可能存檔的紙質資料或者電腦資料早就丟失了。2.提高記錄和檢索資訊的效率。試想,如果是在一堆存檔了幾年的紙張合同裡找到一張合同是很麻煩的事,尤其是如果你僅僅知道某產品的...