《一》大資料概述
在第三次浪潮的革命來臨後,「大資料」一詞從原本陌生的專業領域一躍進入公眾眼簾,並作為時髦的熱詞寫入各級**工作報告中。它所掀起新的資料技術革命,正深刻地改變著我們這個時代的生產、工作和生活樣式,並推動著人類認識、理解世界的方式轉變。為此,必須全面準確把握大資料所揭示的深刻內涵及其走勢,積極適應大資料風暴帶來的思維方式的轉變及觀念變革。
大資料(bigdata)又稱為巨量資料、海量資料,是由數量巨大、結構複雜、型別眾多資料構成的資料集合,是基於雲計算的資料處理與應用模式,通過資料的整合共享,交叉復用形成的智力資源和知識服務能力。與傳統資料相比,大資料具有**廣、規模大,更容易發現事物之間的關聯性,實現對未來的合理**的新特點。早在2023年,美國著名的未來學家阿爾文·托夫勒在《第三次浪潮》一書中,就將大資料熱情地讚頌為「第三次浪潮的華彩樂章」。近日,阿里巴巴董事局主席馬雲更是放言「資料可以讓機器像人一樣地運轉,這是人類第一次創造的可以持續使用的資源,而且越用就會越有價值」。
由此觀之,相較於傳統的煤、石油等物質性資源不可再生、很難共享,大資料作為一種新興的戰略資源,既可以重複使用,還能在共享的前提下,產生新的價值,製造共贏,因而也被人們賦予更多的期待。
毫無疑問,大資料正以極速方式嵌入經濟社會生活的方方面面。資料驅動發展已成為時代主題,大資料正在開啟乙個嶄新時代。它不僅為新一代資訊科技產業提供了核心支撐,正成為經濟增長和社會發展的高速引擎、科技創新的新動力和新源泉。
《二》大資料與物聯網、雲計算之間的區別與聯絡
在網際網路迅速發展的時代下,逐漸劃分國各大分支:物聯網、雲計算、大資料。網際網路(ioi)與物聯網(iot)負責將所有的事物及資訊聯絡起來,網際網路雲腦的架構也逐步清晰起來。各大分支的區別與聯絡如下:
1.物聯網是網際網路大腦的感覺神經系統
因為物聯網重點突出了感測器感知的概念,同時它也具備網路線路傳輸,資訊儲存和處理,行業應用介面等功能。而且也往往與網際網路共用伺服器,網路線路和應用介面,使人與人(human ti human ,h2h),人與物(human to thing,h2t)、物與物( thing to thing,t2t)之間的交流變成可能,最終將使人類社會、資訊空間和物理世界(人、機、物)融為一體
2.雲計算是網際網路大腦的中樞神經系統
在網際網路虛擬大腦的架構中,網際網路虛擬大腦的中樞神經系統是將網際網路的核心硬體層,核心軟體層和網際網路資訊層統一起來為網際網路各虛擬神經系統提供支援和服務,從定義上看,雲計算與網際網路虛擬大腦中樞神經系統的特徵非常吻合。在理想狀態下,物聯網的感測器和網際網路的使用者通過網路線路和計算機終端與雲計算進行互動,向雲計算提供資料,接受雲計算提供的服務。
3.大資料是網際網路智慧型和意識產生的基礎
隨著部落格、社交網路、以及雲計算、物聯網等技術的興起,網際網路上資料資訊正以前所未有的速度增長和累積。網際網路使用者的互動,企業和**的資訊發布,物聯網感測器感應的實時資訊每時每刻都在產生大量的結構化和非結構化資料,這些資料分散在整個網際網路網路體系內,體量極其巨大。這些資料中蘊含了對經濟,科技,教育等等領域非常寶貴的資訊。這就是網際網路大資料興起的根源和背景。
《三》大資料對人類的影響
在大資料的時代潮流下,人類想謀求發展,必須牢固樹立大資料思維,積極適應大資料帶來的整體觀念變革。
一、是推動從樣本思維向總體思維轉變。
以往,由於諸多客觀條件限制,人類無法獲得所研究物件的總體特徵和資料資訊。因而,在決策時只能通過取樣手段來獲取資料進行分析或推理,其結論往往是一葉障目,不見泰山;在大資料時代,人們可以更加方便、快捷、動態地獲得所研究物件的所有資料,並具備全樣本資料分析能力,更能從海量資訊中尋求客觀真理。這就要求我們對資料的思維方式,也應該從樣本思維轉向總體思維,從而能夠更加全面地把握全域性。
二、是推動從區域性思維向全域性思維轉變。
過去,人們在決策時,往往只有基於視野範圍之內,在極為有限的區域性資訊中尋求次優決策,不異於是井底之蛙;而依據大資料則可將整個大千世界盡收眼底,更加系統地把握客觀物件,從而實現最優決策。
三、是推動從精確思維向容錯思維轉變。
在小資料時代,由於收集的樣本資訊量少,必須確保記錄的資料盡量結構化、精確化。否則,分析得出的結論在推及總體上就會南轅北轍。然而,在擁有海量即時資料時,絕對的精準已不再是主要目標,適當忽略微觀層面上的精確度,容許一定程度上的錯誤與混雜,反而更能在巨集觀層面擁有更好的洞察力。
四、是推動從因果思維向相關思維轉變。
過去,人們在對小樣本資料進行分析時,往往執著於現象背後的因果分析,試圖通過有限樣本資料來剖析其中的內在機理。但小資料的乙個極大缺陷就是有限的樣本資料無法反映事物之間普遍性的相關關係。而在大資料時代,通過相關技術可以挖掘出事物之間隱蔽的相關關係,可以準確地獲得更多的認知和洞見,從而幫助人們捕捉現在和更好地**未來。
五、是推動從自然思維向智慧型思維轉變。
大資料時代的到來,為提公升機器思維由自然思維向智慧型思維轉變帶來了大好契機,特別是隨著物聯網、雲計算、社會計算、視覺化技術的突破發展,使得大資料系統也能類似人腦一樣,自動搜尋所有相關的資料資訊,進而主動、立體、邏輯地分析資料、做出判斷、提供洞見,從而具有類似人類的智慧型思維能力和**未來的能力。
《四》大資料時代下,我的角色
在第三次浪潮的推動下,「大資料」一詞從原本陌生的專業領域一躍進入公眾眼簾,並作為時髦的熱詞寫入各級**工作報告中、滲透進了各大行業各大頂尖公司的專案發展戰略中,在這樣的時代潮流下,我將積極牢固樹立大資料思維,積極適應大資料所帶來的整體觀念變革,成為該時代潮流下優秀的一員。
網際網路的大資料神話 NoSQL
本文摘抄於 縱橫大資料 雲計算資料基礎設施 何小朝著 chapter5.newsql 關聯式資料庫聯邦 聯合 5.4.2 網際網路的神話 對強一致性的要求放鬆,是因為 網際網路的分布式特性,使資料一致性的要求水平不得不降低,而對於使用者來說是可以接受的。更重要的一點 知名的網際網路企業,除了其業務經...
網際網路思維PK大資料思維
我們在o2o時代做營銷,到底哪種趨勢和戰略更加有效?這裡有兩種不同的思維方式,乙個是網際網路思維,另乙個是大資料思維。網際網路思維與大資料思維有交集但又不重合。目前熱炒的網際網路營銷案例,基本上剝離了大資料,更多是題材炒作和傳播方式炒作。而大資料營銷也不侷限於網際網路,它還包含了線下營銷。營銷藝術與...
網際網路金融 大資料要用好
真正的網際網路金融,一定是用網際網路手段來分析資料,提煉有效資訊並分析,從而更好地對風險和信用進行度量和管理 這幾年網際網路金融行業出現很多亂象,比如不少p2p平台發生問題。我認為,這些亂象背後的網際網路金融,並不是真正的金融創新。因為這些金融詐騙在網際網路出現之前就已經存在,現在無非是因為網際網路...