大資料介紹

一、什麼是大資料

大資料是指無法在一定時間內用常規軟體工具對其內容進行抓取、管理和處理的資料集合。大資料技術，是指從各種各樣型別的資料中，快速獲得有價值資訊的能力。適用於大資料的技術，包括大規模並行處理（mpp）資料庫，資料探勘電網，分布式檔案系統，分布式資料庫，雲計算平台，網際網路，和可擴充套件的儲存系統。

二、大資料的定義

大資料由巨型資料集組成，這些資料集大小常超出人類在可接受時間下的收集、庋用、管理和處理能力。大資料的大小經常改變，截至2023年，單一資料集的大小從數太位元組（tb）至數十兆億位元組（pb）不等。

在乙份2023年的研究與相關的演講中，麥塔集團（meta group，現為高德納）分析員道格·萊尼（doug laney）指出資料增長的挑戰和機遇有三個方向：量（volume，資料大小）、速（velocity，資料輸入輸出的速度）與多變（variety，多樣性），合稱「3v」或「3vs」。高德納與現在大部分大資料產業中的公司，都繼續使用3v來描述大資料。高德納於2023年修改對大資料的定義：「大資料是大量、高速、及/或多變的資訊資產，它需要新型的處理方式去促成更強的決策能力、洞察力與最優化處理。」另外，有機構在3v之外定義第4個v：真實性（veracity）為第四特點。

大資料必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。美國在2023年就開始著手大資料，歐巴馬更在同年投入2億美金在大資料的開發中，更強調大資料會是之後的未來石油。資料探勘（data mining）則是在**用以解析大資料的方法。

速度（velocity）：指獲得資料的速度快；資料處理遵循「1秒定律」，可從各種型別的資料中快速獲得**值的資訊；

大資料的作用

第一，對大資料的處理分析正成為新一代資訊科技融合應用的結點。移動網際網路、物聯網、社交網路、數字家庭、電子商務等是新一代資訊科技的應用形態，這些應用不斷產生大資料。雲計算為這些海量、多樣化的大資料提供儲存和運算平台。通過對不同**資料的管理、處理、分析與優化，將結果反饋到上述應用中，將創造出巨大的經濟和社會價值。

大資料具有催生社會變革的能量。但釋放這種能量，需要嚴謹的資料治理、富有洞見的資料分析和激發管理創新的環境(ramayya krishnan,卡內基·梅隆大學海因茲學院院長)。

第二，大資料是資訊產業持續高速增長的新引擎。面向大資料市場的新技術、新產品、新服務、新業態會不斷湧現。在硬體與整合裝置領域，大資料將對晶元、儲存產業產生重要影響，還將催生一體化資料儲存處理伺服器、記憶體計算等市場。在軟體與服務領域，大資料將引發資料快速處理分析、資料探勘技術和軟體產品的發展。

第三，大資料利用將成為提高核心競爭力的關鍵因素。各行各業的決策正在從「業務驅動」轉變「資料驅動」。

對大資料的分析可以使零售商實時掌握市場動態並迅速做出應對；可以為商家制定更加精準有效的營銷策略提供決策支援；可以幫助企業為消費者提供更加及時和個性化的服務；在醫療領域，可提高診斷準確性和藥物有效性；在公共事業領域，大資料也開始發揮促進經濟發展、維護社會穩定等方面的重要作用。

第四，大資料時代科學研究的方法手段將發生重大改變。例如，抽樣調查是社會科學的基本研究方法。在大資料時代，可通過實時監測、跟蹤研究物件在網際網路上產生的海量行為資料，進行挖掘分析，揭示出規律性的東西，提出研究結論和對策。

四、大資料分析

眾所周知，大資料已經不簡簡單單是資料大的事實了，而最重要的現實是對大資料進行分析，只有通過分析才能獲取很多智慧型的，深入的，有價值的資訊。那麼越來越多的應用涉及到大資料，而這些大資料的屬性，包括數量，速度，多樣性等等都是呈現了大資料不斷增長的複雜性，所以大資料的分析方法在大資料領域就顯得尤為重要，可以說是決定最終資訊是否有價值的決定性因素。基於如此的認識，大資料分析普遍存在的方法理論有哪些呢？

大資料介紹

大資料介紹

大資料介紹

1，大資料介紹

相關推薦