認知公升級 如何正確看待大資料與雲計算技術?

2022-01-31 20:37:24 字數 2561 閱讀 9112

戰國《風賦》:「夫風生於地,起於青蘋之末,侵淫溪谷,盛怒於土囊之口,……」

dt時代,未來已來——資料「大**」

首先要明白大家為何從前幾年開始談大資料了?這是乙個基本問題,包含著對當下資料現實的基本認識。乙個不可忽視的事實是,隨著網路和資訊科技的不斷普及,人類產生的資料量正在呈指數級增長。大約每兩年翻一番,這意味著人類在最近兩年產生的資料量相當於之前產生的全部資料量。

資料「大**」

對於如此巨量資料(而且單純的增量資料都是乙個巨量),與之相關的儲存、分析、流轉、使用到交易等等環節產生了一系列關聯的問題,而在當下的時間節點,我們不得不明確面對,而不僅僅是先找個地方把資料存起來。

國家資訊中心專家委員會主任寧家駿表示:大資料是指無法在一定時間內使用傳統資料庫軟體工具對其內容進行抓取、管理和處理的資料集。大資料不僅僅是大,還有它的複雜性和沙裡淘金的重要性。

以上是寧家駿從技術分析角度對資料與大資料做的區分,傳統軟體處理的數量主要是結構化資料,而且數量上相對小。當規模大到需要新的技術方案的時候,那正是我們重新認識它的時候。

一般來講,更多智慧型硬體和這能裝置的加入,更多資料實時產生,於是就需要大資料技術來實現對資料資訊的價值挖掘。大資料技術包括了資料採集,資料訪問,基礎架構,資料處理,統計分析,資料探勘,模型**,結果呈現等八個方面。

而以上幾個方面都離不開雲平台和雲計算能力,比如說資料採集之後的資料儲存,現在很多非核心敏感資料都可以儲存在雲端;資料探勘也是需要通過雲計算和機器學習才能實現。那什麼才是雲計算呢?

雲計算——低成本部署、隨需使用的計算大腦

所謂雲計算,非常教科書的說法是「能通過網路訪問可擴充套件的、靈活的、可共享的物理或虛擬資源池,並按需自助獲取和管理這些資源的模式。其中資源例項包括伺服器、作業系統、網路、軟體、應用和儲存裝置等。 」

從以上概念可以看出其包括軟體、硬體等資源,簡單說雲計算有三層雲平台,第乙個是iaas(infrastructure as a service),基礎設施即服務,以前這些資源都是企業固有資源,現在可以不再擁有,通過平台服務商提供,減輕部署成本;

第二個是paas(platform as a service),平台即服務,開放式的api可以由合作方提供行業和內容的服務;

雲計算有乙個很重要的特點和優勢就是資源池化,就是把iaas,paas,saas層的資源(cpu、儲存、網路等)放入到資源池中(雲伺服器),由雲伺服器進行集中管理。雲計算裡所有的服務都是通過資源池裡的資源而提供的。

我們已經進入了新一輪技術驅動的時代

那如何理解大資料與雲計算的關係?

在中國計算機學會大資料專家委員會副主任車品覺看來:人工智慧、深度學習,這些都是二十年前就有的技術,但是二十年前沒有大資料,沒有可以關聯的資料。所以大資料的故事從有了關聯才真正開始。

那如何應用大資料?車品覺表示:首先要了解資料的生命週期。「布點」、「收集」、「儲存」,這些是前端,之後需要對資料做「識別」、「關聯」、「分析」。還有乙個能把整個過程包起來的,就是「實時重新整理」。這就是資料的生命週期,它是乙個閉環。不管你怎麼使用大資料,你首先要了解這個週期。

車品覺阿里巴巴集團首席技術官王堅在一次小型論壇上分享到:「雲計算是工業時代的電,大資料就是福特生產線,雲儲存就是鋼鐵工業。也就是說,沒有鋼鐵,就沒有電,就不會有大規模工業化生產。沒有雲計算,大資料不會出來,如果雲計算沒有解決雲儲存的問題,也不會出來。」

王堅如果簡單來講,我們可以通過乙個圖來進行標識:

中國科學院院士、西安交通大學教授徐宗本在剛剛結束的工業大資料大會·錢塘峰會上介紹,大資料是新一代資訊科技的基礎性技術,被普遍認為是繼網際網路之後,能對全球社會、經濟、工業產生重大影響的技術。

面對一股面向大資料的市場狂熱,徐院士講到兩點基本觀點:

第一,我不認為大資料對近一兩年gdp的貢獻有那麼大,但肯定的說對於三年、五年之後的gdp貢獻巨大。換句話說,只有沉得下心,願意扎扎實實打好基礎的**和企業,才能從大資料技術上獲益。

第二,大資料技術並不是已經成熟的技術,是乙個正在從應用中逐漸走向成熟的技術,目前的挑戰多於成熟。

所以,要從整體視角來觀察大資料和雲計算,而不能因為其中乙個而偏廢其他,總體來講,大資料技術與雲計算都是很有效的工具手段,有待人們去不斷挖掘。

我們用叢龍峰博士的話來作結:「歷史規律告訴我們,任何一次大型技術革命,早期人們總是高估它的影響,會有一輪一輪的泡沫;中期又會低估它的影響,覺得不過是些概念而已;當你覺得它是概念的時候,它已經開始生根發芽,開始茁壯成長。」

如何正確看待需求文件

今天中午吃飯,老師主動講了一下對於需求的看法。首先,最好是在迭代啟動會之前,就把需求看清楚,對於其中的問題有自己的看法,並在啟動會上提出自己的問題 可能多數人並沒有看需求,因此在迭代會上問題不多,甚至並沒有發問 其次,對於需求,老師認為,應該是我們引導業務部門,而不是業務完全引導我們。換言之,我們需...

如何正確看待手機的續航

這些年在智慧型手機的續航問題應該是飽受爭議的,或者說不是爭議,是詬病。一台號稱智慧型手機能正常使用上2天已經算的上是牛逼,完完全全的大賣點了吧。就算是蘋果也沒有在這個方面有任何的重大突破,只是在平衡了效能和續航的方向上做著努力。而android的那就像乙個戰國時期,亂的不行。在解決續航的問題上,目前...

如何看待大資料 殺熟 ?

科技帶給人類的福音,總會多出一些附產品!大資料無疑給人們的生活帶來了巨大的便利,但是硬幣的另一面確是使用者資料濫用帶來的 失控 科技界的熱詞更新日新月異,在區塊鏈霸屏的今天,沒想到 大資料 又殺回來了。隨著微博使用者 廖師傅廖師傅 的一條控訴微博,指出某旅行 和某叫車平台會針對老使用者選擇性提價,一...