聊聊大資料的三重門

2021-08-20 05:24:42 字數 2010 閱讀 5242

人類實現了資訊的儲存,就像time machine一樣,回到任意乙個點,通過已有的資料重新構建過去的影像,也能夠**未來,模擬乙個虛擬而準確的未來環境。兄弟連雲計算培訓就跟大家聊聊這大資料的三重門

大資料第一重

這是大資料的第一階段,也是大資料當前所處的階段。這個階段的表象是:

大資料部門在大部分公司遍地開花,

大家一擁而上

這一階段的必然結果是:

大家發現耗費了大量人力物力,

終究是收效有限

雖然大部分企業的消耗了大量的資金,卻沒有帶來應有的價值,但帶來的乙個副產品是

企業花的錢給工業界和學術界

積累了大量的大資料人才

這些人才會在第二重階段時產生巨大的價值。

為什麼雲計算培訓會做出上面的結論?我先說個例子吧,光是搭建乙個像樣子的資料平台,就需要5-6個熟練的大資料工程師折騰大半年,還不包括真正基於之上的多維分析,機器學習(**)等產品,而這些產品的難度也是很大的,需要大量的人力,關鍵是還不一定能做好。要達到高效的計算,以及系統的穩定,機器的數量也有不少要求,因為大部分大資料元件都是分布式的。

與此同時,很多人已經意識到了大資料的實施難度,一些專門服務於大資料產業的公司也開始慢慢誕生成長,這些公司覆蓋了從大資料元件開發,到大資料平台構建,再到基於大資料平台的上層解決方案,並且在各個行業慢慢伸出了自己的觸角。

譬如:當前比較火熱的網際網路金融,其實就是依託於大資料,做各種原先金融行業很看重的信徵,欺詐檢測,自動放貸等。這些基於大資料而帶來的技術變革大大提高了金融行業的效率,為資金更快的流轉提供了基礎,從而對所有行業都會產生深遠影響。

然而這些公司在當前階段還沒有形成主流,各個公司依然是偏向於選擇自建資料平台。

大資料第二重

進入到第二重時,會有明顯的四個特徵:

在大量的中小企業碰壁之後,他們意識到,自己做大資料並不是最明智的選擇,轉而尋方案解決提供商。

大量的大資料服務公司開始已經做好原始積累。在技術和行業經驗上得到充分的發展,並且在行業形成較好的口碑,其行業觸角也已經覆蓋大部分產業。

大公司發現畢竟自己的主業不是去做大資料,而是基於大資料的結果更好的幫助自己已有的產品或者導向做好新的產品。這個時候大公司本身也開始慢慢尋求一些第三方大資料公司的支援。

更好的資料法規支援,保證行業內的資料隱私,安全等(很重要)。

此時,整個大資料行業開始慢慢恢復到理性成熟階段,大家各司其職。bat依然會以自己的主業為主,大資料雖然是乙個產生變革的技術,然而終究是為了產品服務的,應該讓擁有大資料基因的公司去做更好些。這也是人類分工體系下必然產生的。

這個時候由於有了第一重階段的人才積累,很多人會出來創業,大資料創業會成為潮流,並且枝繁葉茂,漸漸覆蓋各個行業的各個領域。隨著時間推移,一些公司在各自的領域深耕,漸漸形成一些領域內的重量級解決方案公司,而不管是中小型企業,還是大企業,慢慢都會將大資料業務慢慢轉移到更專業的大資料公司。

此階段,可能私有部署依然是主流。

大資料第三重

到第三重的時候,也會有幾個特點:

1.大資料企業也會形成三極,類似現在的bat,擁有了產業裡的哥斯拉。

2.雲計算的發展已經到了:

中小型公司,絕大多數都已經在雲端

大型公司,已經完全普及混合雲架構

這個時候,大資料領域的幾家巨頭公司,慢慢將自己的業務場景抽象和覆蓋的差不多,慢慢成為了大資料雲服務公司。

此時可能會產生如下的幾個有意思的情況:

這幾家大資料公司會在幾家主流雲平台搭建各自的大資料平台,方便企業的資料接入

大部分企業內部可能只有分析師,不再有資料平台架構師,演算法工程師等。具體情形和現在使用公有雲相似,一些做基礎運維的崗位慢慢都被淘汰。

對應的大資料公司,產生的效益應該要遠遠好於使用者自己搞,因為他們積累的大量的行業共通經驗。應該可以節約了大量的企業和社會成本。

後話雲化是整個it產業的趨勢,而在其上的各個產業,譬如大資料產業,也終究是逃不掉這個大趨勢的。 大資料,還有雲計算,是整個新的資訊革命的基礎,願大家乘著這巨浪,到達屬於自己的彼岸。

大資料三重門

這是大資料的第一階段,也是大資料當前所處的階段。這個階段的表象是 大資料部門在大部分公司遍地開花,大家一擁而上 這一階段的必然結果是 大家發現耗費了大量人力物力,終究是收效有限 雖然大部分企業的消耗了大量的資金,卻沒有帶來應有的價值,但帶來的乙個副產品是 企業花的錢給工業界和學術界 積累了大量的大資...

軟體開發的三重門

軟體開發的三重門 第一重門是業務功能,在這重門裡,的確是會程式設計就可以了 第二重門是業務效能,在這一重門裡,技術的基礎就很管用了,比如 作業系統的檔案管理,程序排程,記憶體管理,網路的七層模型,tcp udp的協議,語言用法 編譯和類庫的實現,資料結構,演算法等等就非常關鍵了 第三重門是業務智慧型...

推開革命的三重門(《程式設計師》第八期卷首語)

推開革命的三重門 對於旁觀者來講,沒有什麼比目睹一場革命更過癮,然而對於捲入其中的人來說,革命 是乙個充滿著惶恐無助的 的殘酷的蛻變過程。曾 經得意忘形的既得利益者被掀翻在地,苦澀地目送著新得利益者走向得意忘形的廟堂,那是怎樣的一種刺激!在某些領域裡,這樣的刺激來得太少,來得太慢,讓人 總也學不聰明...