面對奔湧而來的海量資料,你需要乙個大資料基礎設施

2021-09-27 06:12:23 字數 2862 閱讀 2046

it平台的演進正隨著5g、ai和iot等新技術的到來而發展到第四平台階段。與前三個平台階段不同的是,第四平台將以資料為核心,以大資料基礎設施為基礎,而各行各業在提公升其資料能力的過程中,無不面臨著資料巨量化、資料多樣化和資料服務化的挑戰。近日,中橋調研諮詢公司與愛數公司合作發布了大資料基礎設施***《數位化時代的大資料基礎設施》,力圖幫助行業使用者應對數位化轉型過程中,打造企業資料能力所面臨的挑戰,從而釋放資料潛力,實現行業智慧型。

當全球主要國家的經濟增速呈現出明顯放緩態勢時,只有一種經濟的規模卻在持續增長,那就是數字經濟。資料顯示,2023年,全球數字經濟規模已經達到12.9萬億美元,一些主要國家的數字經濟的增速都明顯高於總體經濟的增速,數字經濟對gdp的平均貢獻也呈**趨勢,單就中國數字經濟對gdp的增長貢獻率,就已經達到55%。毫無疑問,數字經濟是全球各國經濟共同面臨的可持續發展的難得機遇。

數字經濟的發展加快了全球化的數位化轉型趨勢。對於企業來說,數位化轉型直接關係到企業的生死存亡。2023年的調查顯示,65%的財富500強企業ceo都將數位化轉型列為企業的業務戰略重點,更有70%的財富500強企業還設立了專門機構,以推動企業數位化轉型的程序。

對於傳統企業來說,數位化轉型是企業以資料為核心的重構,包括企業商業模式的重構、企業業務流程的重構、企業產品和服務的重構,以及客戶體驗的重構,實現企業從管理層的思維、組織架構到資料能力的轉型,使企業具有更強的創新能力,更加敏捷,最終提公升企業的核心競爭力。而對於數位化原生企業來說,數位化的基因與生俱來,資料更是企業的「命脈」,企業通過釋放資料的潛力,挖掘資料的價值,從而提公升企業的核心價值。因此,無論是傳統企業還是數字原生企業,資料對於企業的意義如同生命,而大資料基礎設施必將發揮其巨大的能量,成為企業數位化轉型的基礎。

5g、iot和ai等智慧型新技術的發展驅動it平台演進到第四平台階段。利用這些新技術,企業要實現從商業智慧型、資料智慧型到行業智慧型的蛻變,就要充分利用生產資料、使用者資料、終端資料、感測資料、第三方資料,以及歷史資料、監控管理資料,實現全業務智慧型化。通過有效利用大資料分析,提高服務價值,優化使用者體驗。在這一過程中,各行業需要面對資料量的爆發性增長、各種資料型別的出現,以及對資料從以往的僅僅是採集和儲存,到現在從資料中得到業務價值等資料挑戰,打造數位化的資料能力,最大化資料價值,釋放資料潛力,從而提公升其創新能力和業務敏捷性。

企業在打造資料能力的過程中面臨三大挑戰:

(1)資料巨量化:在第四平台下,ai、5g、iot、ar/vr等新技術的快速發展,以及數位化轉型日益深入,資料量呈現**式增長。據分析機構**,到2023年,全球資料總量將達到44zb,僅iot所產生的資料量就將達到4.4zb。如此海量資料的採集、計算、儲存、傳輸及資料分析,每一步都將是巨大的挑戰。

(2)資料多樣化:新技術不僅帶來資料量的激增,同時還帶來資料的多樣化。一是資料**的多樣化,例如來自不同終端裝置的資料、生產資料、裝置日誌、辦公資料、檔案系統等;二是資料型別也呈多樣化發展,不但有結構化資料、非結構化資料,還有日誌資料。資料的多樣性使資料的儲存和大資料分析變得更加複雜,帶來了新的挑戰。

(3)資料服務化:在以資料為核心的第四平台下,資料成為重要的生產要素。資料不但需要儲存和備份,更需要最大限度地利用資料,將資料從成本變成服務能力,才能釋放資料潛能,創造業務價值。例如,如何利用裝置日誌資料,分析系統存在的隱患及故障**,提高運維管理水平;如何充分利用閒置的備份資料進行應用研發和測試等。因此,將資料作為服務輸出是數字時代面臨的挑戰。

大資料基礎設施正是為了應對資料巨量化、多樣化和服務化帶來的挑戰,通過為結構化資料、非結構化資料、日誌資料匯聚原生資料的資料湖,提高各行業在數位化時代的資料能力,釋放資料潛力,實現行業智慧型。

伴隨著5g、iot、ai的興起和全面普及,it系統架構將從以雲計算為基礎的第三平台邁進以大資料基礎設施為基礎的第四平台。

相對於第三平台以雲計算和移動社群為主要特徵,第四平台則以ai、iot和ar/vr和機器智慧型作為核心支撐技術。目前,大量的「獨角獸」公司已經將第四平台技術作為業務增長的引擎。隨著5g的商業化,更多的傳統行業使用者也將通過大資料基礎設施實現行業的智慧型化。

第四平台的核心毋庸置疑是資料,而各行各業則可通過構建全新的大資料基礎設施,有效應對資料巨量化、資料多樣化和資料服務化帶來的各種挑戰,從海量繁雜的資料中得到業務價值,挖掘資料潛力,實現向行業智慧型的公升級。

那麼,作為第四平台的基礎,大資料基礎設施應該具備什麼樣的核心能力?在這一點上,愛數認為,首先,大資料基礎設施要具有匯聚原生資料的資料湖的能力;其次,要具備匯聚及處理結果資料、過程資料和內容資料的能力;第三,要能利用人工智慧的分析技術,挖掘資料,形成洞察力。愛數認為,大資料平台與大資料基礎設施相比,在上述三點上有明顯不同。例如,大資料平台不是以原生格式儲存,也不完全支援結構化、非結構化、日誌資料這三種型別。這也正是大資料基礎設施與當前的大資料平台的主要區別。因此,愛數全新的大資料基礎設施可以為客戶在行業數位化轉型中提供豐富的資料服務。

日前,愛數發布了「大資料基礎設施」戰略規劃,並公升級了合作夥伴生態戰略,以三大資料服務平台、融合資料服務解決方案和人工智慧技術,與合作夥伴共同賦能行業數位化。

愛數大資料基礎設施將承載實現「資料即服務」的使命,在愛數的戰略規劃當中有以下三個階段:

(1)當前以專有資料雲為核心的商業模式:愛數打造的四種專有資料雲,能夠為客戶提供智慧型資料服務,落地資料即服務的戰略。

(2)2019~2023年的資料平台戰略:原先愛數產品基於雲原生的技術架構將全面公升級為基於平台化的產品架構,形成災備資料服務平台、非結構化資料平台和日誌資料服務平台三大資料服務平台。這三大資料服務平台將結合人工智慧技術,提供資料服務。

(3)2022~2023年的資料洞察力戰略:結合資料湖技術和人工智慧技術,進一步資料服務平台將公升級為三大資料湖,實現多模式資料融合和洞察,打造大資料洞察力平台,建立完整的大資料基礎設施,幫助客戶實現行業智慧型。

同時,基於三大資料服務平台,愛數將合作夥伴體系公升級為四大合作夥伴生態,包括基礎設施生態、行業生態、應用生態及服務商生態,攜手生態合作夥伴共同創新,幫助行業使用者實現數位化轉型。

中斷中需要面對的問題 一

中斷中有些問題需要面對。1 異常是什麼概念?在處理器執行到由於程式設計失誤而導致的錯誤指令 例如除數是0 的時候,或者在執行期間出現特殊情況 例如缺頁 需要靠作業系統來處理的時候,處理器就會產生乙個異常。對大部分處理器體系結構來說,處理異常和處理中斷的方式基本是相同的,x86架構的cpu也是如此。異...

面對大資料過分渲染宣傳,你需要了解的9件事

面對大資料過分渲染宣傳,你需要了解的9件事 大資料和開放資料不是一回事,但他們有著密切的聯絡 正如我在主題發言稿 未來的大資料將會開放到什麼程度?上寫到的 我們正在關注的大資料一些趨勢和話題與開放資料也有關係。按照這樣的脈絡,就出爐了這篇我在去哥倫布的路上學到的 了解大資料的九件事 在研討會的官網上...

你需要的不是大資料 而是正確的資料

本文講的是你需要的不是大資料 而是正確的資料 it168 編譯 大資料 這個術語是無處不在的。無論是大企業還是小企業,新興企業抑或是傳統企業,都正在參與著這個 遊戲 海量的使用者資料正在被各個 大規模收集利用,有的公司為了能與客戶交流,甚至不惜利用龐大的文字交流資料建立演算法。但實際上,我們對大資料...