大資料應用的未來挑戰和發展趨勢

2022-04-08 06:27:12 字數 1894 閱讀 2795

過去需要用百年才能走完的乙個時代現在可能用幾十年、十幾年就完成了,英國的工業革命從發芽到在全世界生根用了一百年,美國的資訊高速公路從一項絕密計畫到讓世界變成乙個村落用了二三十年,而移動網際網路、雲計算、大資料現在正席捲全球,讓各國的**、企業都在將其視為乙個金礦,希望能從中占得先機。大資料的理論研究應該有十幾年的歷史,隨著研究的進行,相關的應用也已經投入到無論是實驗室或者是尖端企業的內部,而離我們的日常生活還很遙遠。我想在不久的將來最重要的是將大資料應用到我們的日常生活中,讓每個人都成為大資料的貢獻者、管理者和獲利者。但是,大資料正在經受已有制度、規則以及傳統思維模式的挑戰,我們需要的是變革,從思維上建立與大資料的一致性。

當硬碟等儲存裝置的**變得越來越便宜了,當資料中心在全球部署得越來越密集,當伺服器的運算速度越來越快的時候,我們可以儲存所有的資料,儲存若干年,幾十年的資料,從這些資料當中無論是橫向角度還是縱向角度都可以去分析潛在的規律。這種分析方式是對取樣分析的挑戰,取樣分析在過去很長一段時間為我們分析資料帶來了便利,並且有一定的準確性。然而隨著時代的變更,細分在社會中佔的比重越來越大。例如問卷調查「對就業城市的選擇」,過去可能在大街上隨便發上千份調查問卷,然後回來做個統計就算分析出大家的喜好了,然而在以前大家會認同這個資料。然而這個資料可靠嗎?太不可靠了,因為接受問卷的人都是同一地域的人,都是同一年齡層次的人,都是同一行業的人,不能代表更廣大人群的心聲。這就是取樣分析的弊端,無法從細分的角度去詮釋資料樣板的規律,給出靠譜的解釋。大資料的做法將顛覆傳統,它不會是當需要進行一次問卷調查的時候就去蒐集樣板資訊,這樣無論是從時間、地域、人群都輸在了起跑線上。假設企業的招聘錄用資訊都已經做了電子化處理,大資料應用將對這個整體樣板進行分析從年齡層面、從行業層面、從地域層面給出就業城市選擇的不同答案。

從古至今,我們都一直在精益求精,這讓我們取得 了很多舉世矚目的成就,例如我們研究物質,我們探尋到物質是由原子組成的,而後原子這個最小單位被打破了,它的內部還有質子和電子,又過了多少年,質子和電子也被認為不是最小單位,還有夸克。這是一種態度,需要堅持,這個方向有利於我們能懷著追求極致的情懷繼續在科學的道路上前行。然而現在有了另外乙個方向,這個方向要求我們放棄精準,我們需要把注意力專注到事物的發展方向上即可,這個發展方向就是一種可能,可能就代表一種**。快餐化的生活讓我們對未來會怎麼樣,對下一步會怎麼樣的需求越來越大。海量的資料不應該被塵封,應該發光發熱,為我們**未來,**變化。不知道大家注意到沒有,現在qq已經開始做影象識別方面的工作了,當你瀏覽好友相簿的時候,qq應用程式會掘取其中的人臉,讓你填寫該人臉的真實名字,如果每個人都在做這項工作,隨著歲月的積澱,有一天qq就可以直接告訴你相片中的每個人是誰了,同時也可以想其他好友推薦美好的瞬間。這就是一種精準的**,雖然不可能是100%,但是能告訴我們願意得到的資訊。我們的國家也在定期蒐集衣食住行方面的資料,不斷的優化計算cpi的模型,為有效控制和**通脹提供參考。

中國人歷來講究因果,不僅知其然,更要知其所以然。如果在大資料面前,我們仍喋喋不休,那麼將喪失很多可能性,放在商業,就會浪費商機,放在醫療,就會讓病人錯過某些疾病**的良機。大資料之所以不關注因果關係,那是因為大資料發現相關關係更能說明問題,而且這種解釋就是理所當然的。大資料分析發現當某一種資料增加時,另外一種資料也會跟著增加,如果將二者結合看,在現有認知下並不能發現二者的因果關係。我們為什麼不擱置因果,先應用這種得出的結論,看這個結論是否能產生效益。零售業巨頭沃爾瑪在這方面的研究走在了前列,通過記錄每位購物者的購物清單,還記錄當天的天氣,經過長時間的研究,發現當颶風來臨時,手電筒和蛋撻的銷量劇增,手電筒的需求是源於如果發生停電,手電筒可以支撐照明,但是每個人都不明白為什麼這個時候大家都愛吃蛋撻。沒有必要糾結為什麼,以後颶風來臨,就把手電筒和蛋撻放在一起賣吧,這樣銷售量果然大增。

大資料在未來面臨的挑戰主要是兩方面:一是思維和制度的變革;二是記錄資訊的方式需要全面的電子化。未來,隨著政企網、智慧型城市、智慧型交通這些新興事物在城市裡面變得習以為常,人們都願意採用電子化的方式記錄和管理我們的資訊,那麼大資料一定會有更大的用武之地,產生更大的商業價值和社會效應。

大資料發展趨勢前瞻

近日,包括ccf 中國計算機學會 大資料專家委員會 idc公司 internet data center 網際網路資料中心 和gartner公司等多家國內外知名資訊科技研究機構均發布報告,對2019年乃至未來若干年的大資料產業發展趨勢做出 並對大資料令人矚目的應用領域進行樂觀而謹慎的推斷。ccf大資...

大資料發展趨勢之我見

隨著我國進入大資料時代,很多人對大資料的發展趨勢還處於懵懂的狀態,充分提公升大資料的應用對於我國各行業,都會有非常重要和有效的指導性作用。那麼,大資料的發展趨勢到底是怎樣的呢?下面,就讓我們一起來了解一下吧。突破科學理論 大資料的發展十分快速,對於目前已經飛速發展並且極具影響力的網際網路一樣,對於社...

資料至上 未來儲存發展趨勢

隨著網際網路 雲計算 移動終端和物聯網的迅猛發展,全球資料量每兩年翻倍的速度增長,在2010年已經正式進入zb時代,到2020年全球資料總量將達到44zb。除了資料量增長,企業同樣面臨裝置數量 應用數量 交易量等方面成倍增長的局面,未來企業所面對的挑戰仍具有很多的不確定性,大資料 雲計算 移動化 社...