大資料的核心是什麼

2021-09-02 07:04:38 字數 754 閱讀 3025

資料的核心是雲技術和bi。關於大資料和雲計算的關係人們通常會有誤解,而且也會把它們混起來說,分別做一句話直白解釋就是:雲計算就是硬體資源的虛擬化;大資料就是海量資料的高效處理。如果做乙個更形象的解釋,雲計算相當於我們的計算機和作業系統,將大量的硬體資源虛擬化之後再進行分配使用;大資料則相當於海量資料的「資料庫」。

整體來看,未來的趨勢是,雲計算作為計算資源的底層,支撐著上層的大資料處理,而大資料的發展趨勢是,實時互動式的查詢效率和分析能力,當前的大資料處理一直在向著近似於傳統資料庫體驗的方向發展。

大資料的4v特性,即型別複雜,海量,快速和價值,其總體架構包括三層,資料儲存,資料處理和資料分析,三層的相互配合,讓大資料最終產生價值。

資料儲存層,從儲存層的搭建來說,關係型資料庫,nosql資料庫和hdfs分布式檔案系統三種儲存方式都需要。從使用者來講並不關心底層儲存細節,只關心資料的儲存和讀取的方便性,通過共享資料儲存層可以實現在儲存上的應用和儲存基礎設定的徹底解耦。

資料處理層核心解決問題在於資料儲存出現分布式後帶來的資料處理上的複雜度,海量儲存後帶來了資料處理上的時效性要求,這些都是資料處理層要解決的問題。

資料分析層重點是真正挖掘大資料的價值所在,而價值的挖掘核心又在於資料分析和挖掘。那麼資料分析層核心仍然在於傳統的bi分析的內容。包括資料的維度分析,資料的切片,資料的上鑽和下鑽,cube等。

由此可以看來大資料兩大核心為雲技術和bi,離開雲技術大資料沒有根基和落地可能,離開bi和價值,大資料又變化為捨本逐末,丟棄關鍵目標。簡單來說,就是大資料目標驅動是bi,大資料實施落地式雲技術。

大資料的理解,大資料是什麼,大資料能幹什麼?

一種規模大到在獲取 儲存 管理 分析方面大大超出了傳統資料庫軟體工具能力範圍的資料集合,具有海量的資料規模 快速的資料流轉 多樣的資料型別和價值密度低四大特徵。大資料的本質就是一大堆結構化的和非結構化的資料。因為資料量太大,你沒辦法使用,你需要從中抓取出有價值的內容或你想要的資料,這就是大資料應用。...

大資料是什麼和大資料技術十大核心原理詳解

一 資料核心原理 從 流程 核心轉變為 資料 核心 大資料時代,計算模式也發生了轉變,從 流程 核心轉變為 資料 核心。hadoop體系的分布式計算框架已經是 資料 為核心的正規化。非結構化資料及分析需求,將改變it系統的公升級方式 從簡單增量到架構變化。大資料下的新思維 計算模式的轉變。例如 ib...

EDM資料之大資料是什麼

在edm營銷大資料 bigdata 是什麼?ibm公司把大資料概括成了三個v,即大量化 volume 多樣化 variety 和快速化 velocity 目前關於大資料的定義大致是這樣 大資料是指業務中流動的非結構化資料在規模 速度 格式和複雜性四個維度上達到了全新的高度。什麼是大資料?這是一種文化...