大資料技術與應用學習日誌

2021-09-11 22:01:45 字數 1060 閱讀 8161

大資料定義

大資料需要特殊的技術,以有效地處理大量的容忍經過時間內的資料。適用於大資料的技術,包括大規模並行處理(mpp)資料庫、資料探勘、分布式檔案系統、分布式資料庫、雲計算平台、網際網路和可擴充套件的儲存系統。最小的基本單位是bit,按順序給出所有單位:bit、byte、kb、mb、gb、tb、pb、eb、zb、yb、bb、nb、db。

1 byte =8 bit

1 kb = 1,024 bytes = 8192 bit

1 mb = 1,024 kb = 1,048,576 bytes

1 gb = 1,024 mb = 1,048,576 kb

1 tb = 1,024 gb = 1,048,576 mb

1 pb = 1,024 tb = 1,048,576 gb

1 eb = 1,024 pb = 1,048,576 tb

1 zb = 1,024 eb = 1,048,576 pb

1 yb = 1,024 zb = 1,048,576 eb

1 bb = 1,024 yb = 1,048,576 zb

1 nb = 1,024 bb = 1,048,576 yb

1 db = 1,024 nb = 1,048,576 bb

大資料特點

容量(volume):資料的大小決定所考慮的資料的價值和潛在的資訊

種類(variety):資料型別的多樣性

速度(velocity):指獲得資料的速度

可變性(variability):妨礙了處理和有效地管理資料的過程

真實性(veracity):資料的質量

價值(value):合理運用大資料,以低成本創造**值 趨勢

資料的資源化

與雲計算的深度結合

科學理論的突破

資料科學和資料聯盟的成立

資料洩露氾濫

資料管理成為核心競爭力

資料質量是bi(商業智慧型)成功的關鍵

資料生態系統複合化程度加強 問題

大資料未來會應用到什麼領域

啟發大資料目前對人類社會影響巨大,與日常生活息息相關。要應用好大資料帶來的便利與機會

大資料應用技術學習日誌

一.學習內容 這是學期第一堂課,對本學期的大資料應用進行了簡介,主要是說明了大資料的概念,並列舉了一些例項。大資料 big data 我們用常規額工具是不好統計的,或者說我們在一定的時間範圍內是處理不了的,它是龐大的,海量的一種資料集合。同事它也是一種有用的資訊資產,它很多樣化。我們知道的比如說 的...

大資料技術與應用 Redis

1.基礎知識 redis是用c語言開發的乙個開源的高效能鍵值對 key value 資料庫。它通過提供多種鍵值資料型別來適應不同場景下的儲存需求,目前為止redis支援的鍵值資料型別如下字串 列表 lists 集合 sets 有序集合 sorts sets 雜湊表 hashs wget步驟如下 將r...

雲南農業大學大資料技術與應用學習日誌(1)

學習內容 對大資料應用有初步認知,展望未來科技和社會,了解到部分與大資料有關的軟體及公司。1.大資料定義 大資料是在可接受的時間內,對相關資訊或者資料進行捕獲,儲存,搜尋,共享,傳送,分析和視覺化的大型資料集。2.大資料的優勢 更好的了解目標客戶,業務流程的變革。通過大資料技術的發展,會推進人工智慧...