開啟大資料門的敲門磚 資料思維

2021-10-25 03:48:29 字數 1947 閱讀 6593

大家都在談論的dt時代,資料為王,一切即資料,那麼海量資料對無感知的人來說真的是空談。

資料是真實存在的,既不是資料庫儲存的資料也不是資料包表的資料,那麼大資料該是什麼樣子?大資料該以何種形式存在?如果才是資料思維該有的樣子?

論證:everything is data

馬克思主義告訴我們:唯物主義-世界的本質是物質組成的。

-->物質是資訊的載體-->資訊是由資料構成的-->所以世界由資料組成。

顯然在資料思維的邏輯和論證下,一切都是資料,對於海量的資料,不僅需要龐大的資料庫來儲存原始資料,還要儲存經過簡化、彙總和分析的資料,作為生成mis和其他分析報告的**,以供最高管理層決策。

大資料的廣泛**和量級

l歷史角度

第一次資訊革命:語言的創造;

第二次資訊革命:文字的出現;

第三次資訊革命:印刷術的發明;

第四次資訊革命:無線電的發面;

第五次資訊革命:電視的出現;

第六次資訊革命:計算機與網際網路的使用;

l哲學角度

1.   解決日益增長的大資料探勘需求與落後的資料處理與分析能力之間的矛盾

2.   人類認識客觀世界三種方法:

a.   基於模型的方法(白盒模型)

b.   基於經驗的方法(灰盒模型)

c.   基於大資料的方法(黑盒模型)

l技術角度

大資料特徵:大雜全多塊,久活簡稀聯。

我國網民的基礎數量居世界之首,每天產生的資料量也位於世界前列:

1.   ****:單日資料產生量超過5萬gb,儲存量4000萬gb。

3.   乙個8mbps的攝像頭:一小時能產生3.6gb資料,乙個城市每月產生的資料達上千萬gb。

4.   醫院:乙個病人的ct影像資料量達幾十gb,全國每年需儲存的資料達上百億gb。

大資料產生的原因

l  硬體成本降低。

l  網路寬頻的提公升。

l  雲計算的興起。

l  智慧型終端的普及。

l  電子商務,社交網路。

l  電子地圖的全面應用。

l  物聯網。

大資料提公升的能力:

l  解決"坐井觀天"問題

l  解決"一葉障目"問題

l  解決"瞎子摸象"問題

l  解決"城門失火,殃及池魚"問題

l  提公升"一葉知秋"能力

l 提公升"運籌帷幄,決勝千里"能力

資料庫的敲門磚

學習資料庫 首先要先學習如何匯入匯出資料檔案,不然就是做好了資料的編輯統計,也無法正常運用哦 下面給大家講解一下如何匯入匯出資料庫。方法一 使用圖形化輔助工具 首先需要安裝mysql gui tools v5.0,它是乙個視覺化介面的mysql資料庫管理控制台,提供了四個非常好用的圖形化應用程式,方...

資料探勘敲門磚 Python爬蟲入門

python爬蟲.jpg 資料探勘是一門綜合的技術,隨著ai的興起,在國內的需求日漸增大。資料探勘的職業方向通常有三個,順便概要地提一下所需的技能 不僅於此 但是看完簡介,好像和爬蟲沒什麼關係?接著往下看。要開始資料探勘之路,可以先從培養資料分析能力開始。資料分析的常見步驟是 資料準備資料觀察 找規...

大資料時代的思維變革

拜讀了 大資料時代 的第一部分,作者維克托 邁爾 捨恩伯格揭示了大資料所需的 三大思維變革 1 分析事物相關資料,而不是取樣。也可以這麼認為,取樣 總體。大資料是指 不用隨機化分析法這樣的捷徑,而採用所有資料的方法。這裡所指的大資料是相對意義而不是絕對意義,不是指該資料量達到了多少多少 數量級,而是...