001 大資料概念

大資料（big data）：指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量『高增長率和多樣化的資訊資產。

主要解決海量資料資料的儲存和海量資料的分析計算問題

按順序給出資料儲存單位：bit、byte、kb、mb、gb、tb、pb、eb、zb、yb、bb、nb、db。

volume（大量）

截至目前，人類生產的所有印刷材料的資料量是200pb，而歷史上人類總共說過的話的資料量大約是5eb。當前，典型計算機硬碟的容量為tb量級，而一些大企業的資料量已經接近eb量級。

velocity（高速）

這是大資料區分與傳統資料探勘的最顯著特徵。根據idc資料宇宙的報告，預計到2023年，全球資料使用量將達到35.2zb。在如此海量的資料面前，處理資料的效率就是企業的生命。

variety（多樣）

value（低價值密度）

價值密度的高低與資料總量的大小成反比。比如，交通實時監控過程中，車輛穿紅燈被視為有價值的資訊，價值資訊資料佔比低，如何快速對有價值資料提純成為目前大資料背景下待解決的難題。

物流倉儲：大資料分析系統助力商家精細化運營、提公升銷量、節約成本。

零售：分析使用者消費習慣，為使用者啊購買商品提供方便，從而提公升商品銷量，經典案例-啤酒尿布

旅遊：深度結合大資料能力與旅遊行業需求，共建旅遊產業智慧型管理、智慧型服務和智慧型營銷的未來。

保險：海量資料探勘及風險**，助力保險行業精準營銷，來提公升精細化定價能力。

交通：根據**量資料，車輛交通資料，依靠大資料處理分析能力，來規劃交通出行方案，打造智慧型交通、智慧型城市等。

Hadoop系列001 大資料概論

大資料 big data 指無法在一定時間範圍內用常規軟體工具進行捕捉 管理和處理的資料集合，是需要新處理模式才能具有更強的決策力 洞察發現力和流程優化能力的海量 高增長率和多樣化的資訊資產。最小的基本單位是bit，按順序給出所有單位 bit byte kb mb gb tb pb eb zb yb...

2020 11 15 大資料概念

大資料主要解決兩個問題 海量資料的儲存問題，海量資料的計算問題 volume variety value velocity veracity 大 資料量大 資料體量賊大 多 資料種類多 結構化，非結構化的資料 值 需要在海量資料中撈取有價值的資料 快 離線處理 實時處理 信 資料準確 資料質量高 電...

大資料概念

在網際網路技術發展到現今階段，大量日常 工作等事務產生的資料都已經資訊化，人類產生的資料量相比以前有了 式的增長，以前的傳統的資料處理技術已經無法勝任，需求催生技術，一套用來處理海量資料的軟體工具應運而生，這就是大資料！換個角度說，大資料是 1 有海量的資料 2 有對海量資料進行挖掘的需求 3 有對...