資料湖和資料中臺

2021-10-09 16:21:40 字數 1117 閱讀 8768

中臺概念的鼻祖——阿里巴巴的資料產品部總經理朋新宇表示:「資料中颱是資料+技術+產品+組織的組合,是企業開展新型運營的乙個中樞系統。具象的說,它是一套解決方案,抽象的理解,它是一種新的公司運營理念」。

數瀾科技cdo付登坡表示:「資料中颱是讓資料用起來持續的一套機制,經過業務資料化、資料資產化、資產服務化,並在有許可權管理的情況下以 api 的方式開放出去 」。

袋鼠雲ceo 拖雷認為:「資料中臺可以理解為企業的最核心的資料大腦……是一種理念,一種思維,是一種面向未來的架構」。袋鼠雲將其總結為「5+1」模式,5是建設資料中颱的五步法,即:諮詢、規劃、建設、應用、運營,1是是指乙個大資料平台,提供大資料的處理、計算、分析、應用。

雲徙首席架構師陳新宇表示:「資料中颱與業務中颱的一體化,其核心作用便是業務中臺天然打通、統一了各個渠道的資料,所有資料都是高質量的,而這些資料通過分析能夠反哺到業務本身,業務本身又將資料留給資料平台,從而形成良好的正向反饋」。

網易嚴選的魏文慶給出了網易嚴選對資料中颱的定義:「資料中颱是高質量、高效賦能資料前台的一系列資料系統和資料服務的組合」,無論是資料中臺、業務總台、技術中臺,核心都是「標準化」,實現流程都是先「規範化」,然後把規範「產品化工具化」。

大資料時代,資料量越來越多,資料形式日益複雜,而以資料倉儲為代表的、現有的資料儲存和處理技術無法滿足海量、多樣的資料處理需求的背景下產生的。「資料湖」是將複雜的事物具象化,偏技術一些,以乙個形象的名字,反應了它在大資料儲存和大資料處理方面的優勢和能力。

資料湖作為乙個集中的儲存庫,可以在其中儲存任何形式(結構化和非結構化)、任意規模的資料。在資料湖中,可以不對儲存的資料進行結構化,只有在使用資料的時候,再利用資料湖強大的大資料查詢、處理、分析等元件對資料進行處理和應用。因此,資料湖具備執行不同型別資料分析的能力。

資料中颱從技術的層面承接了資料湖的技術,通過資料技術,對海量、多源、多樣的資料進行採集、處理、儲存、計算,同時統一標準和口徑,把資料統一之後,以標準形式儲存,形成大資料資產層,以滿足前台資料分析和應用的需求。資料中颱更強調應用,離業務更近,強調服務於前台的能力,實現邏輯、演算法、標籤、模型、資料資產的沉澱和復用,能更快速的相應業務和應用開發的需求,可追溯,更精準。

的資料湖 資料湖 VS 資料倉儲 VS 資料中臺

資料行業的名詞越來越多,其中,資料湖 資料倉儲和資料中颱是比較熱門的詞彙,他們都與資料有關,他們之間又有什麼區別呢?資料湖 資料倉儲和資料中臺,他們並沒有直接的關係,只是他們為業務產生價值的形式有不同的側重。作為乙個集中的儲存庫,可以在其中儲存任意規模的所有結構化和非結構化資料。在資料湖中,可以儲存...

辨析BI 資料倉儲 資料湖和資料中臺內涵及差異點

資料倉儲 資料倉儲平台逐步從bi報表為主到分析為主 到 為主 再到操作智慧型為目標。圖1.資料倉儲發展階段劃分 1.1資料倉儲基本定義 資料倉儲 data warehouse 是乙個面向主題的 subject oriented 整合的 integrated 相對穩定的 non volatile 反映...

資料倉儲和資料湖的區別

在實際專案開發中,需要和資料倉儲以及資料湖那邊的開發同事進行對接,頭一次聽到這兩個名詞,自己也是一頭霧水。下面我就以我自己的理解,簡單的向大家介紹一下。資料庫 就是儲存當前的業務資料,集中儲存的是公司經常使用到的資料 儲存的是公司近50年的資料 資料倉儲 也是儲存的公司的各種業務資料,主要集中儲存的...