「如果用過去傳統的處理方式,很難去處理如今規模如此龐大和複雜的資料集,基於資料的業務創新也無從入手。」江蘇省公路網管理與應急指揮中心工程師陳超如是說。
陳超所言正在當前使用者數位化轉型中的乙個縮影。在各行各業加速數位化轉型的程序中,資料的匯聚、整理、檢核等工作已經成為大多數使用者需要面臨的重要挑戰,而大資料的興起被認為是解決問題的一副良劑。
大資料概念雖然誕生多年,但大資料在各個行業之中的應用落地卻依然曲折與艱難。究其原因,固然與不同行業之間的數位化程度存在差異有一定關係,另乙個重要因素就是大資料的技術與產品如何與行業業務實現契合,真正讓大資料的技術與產品融入到業務決策之中。
在如今中國的大資料市場,誰走在大資料行業落地的最前沿?可能是高舉各種「大腦」的網際網路巨頭,也可能是打破融資記錄的大資料獨角獸。但歸根結底,真正能夠走在落地最前沿的是能夠做到持續技術創新、產品迭代、行業應用場景探索、強大交付與定製化開發的大資料公司。
中科曙光正是走在大資料落地最前沿的一員,如今的曙光在大資料技術創新與行業落地中深耕多年,在政務、醫療、教育交通等領域已經逐漸開花結果,走出了一條大資料落地的價值之路。
「現在來看,徐州經開區的『1630』智慧型工程規劃不僅在巨集觀和微觀層面與省級規劃吻合,而且走在了大資料應用落地的最前沿。」徐州經濟技術開發區大資料局局長李六如感嘆道。
徐州經濟技術開發區作為世界的工程機械之都,匯聚了大量工程製造及配套企業,其工業產值已經達到1000億元規模,未來三年的目標是實現1500億的經濟規模,並且希望借助雲計算、大資料、物聯網、人工智慧等新一代ict技術實現產業公升級。為此,徐州經開區與曙光共同繪製了「1630」智慧型工程規劃。李六如表示:「在整個規劃中充分體現了曙光公司的預見性。」
徐州經開區「1630」智慧型工程規劃是對機關部門單位進行統籌協調,推行「大系統、大平台、大資料」理念,依託淮海先進雲計算中心、大資料共享交換平台,打破「資料壁壘」,打通資料關鍵環節,構建30個重點智慧型應用平台,來建立起智慧型運營管理體系。
「經開區與曙光在規劃時做了幾件打破常規的事情。」李六如介紹到。所謂「打破常規」,即在政務貫通層面並沒有按照傳統的方式方法進行,而是根據徐州經濟開發區具體業務特性來進行針對性的規劃。「經開區的政務貫通層面並沒有採取從傳統的資料歸集層面入手,而是以行政審批流程入手,反向推導到各個業務部門,讓各個行政審批部門進入到乙個資料平台,形成貼近經開區業務流程的資料鏈路,從而讓資料活起來、動起來。」
眾所周知,大資料應用將會帶來資料的打通、疊加,為業務應用帶來了更多的創新可能。在徐州經開區,通過大資料已經開創了很多先河。根據李六如局長介紹,徐州經開區率先通過大資料平台將工商、質檢、食藥檢、物價、智財權五大部門的資料進行聯通,然後將資料整合到乙個平台上,基於資料對市場監管進行科學決策。
李六如表示:「大資料建設並沒有固定的模式,永遠都需要改進與迭代。徐州經開區與曙光緊密合作,已經利用大資料在推動行政審批制度改革和社會治理等方面的工作。」據悉,徐州經開區接下來還將借助先進計算和大資料,針對工程機械的應用場景,穩步探索和推進工程機械製造業的創新,融入更多智慧型元素,實現產業公升級轉型。
大資料的行業落地在於其需要不斷深入到行業之中,正所謂「隔行如隔山」,印證出行業之間業務差異之大。因此,這對於大資料公司的行業業務理解能力有著極高要求。以江蘇省智慧型公路建設為例,「十三五」期間普通國省道建成通車將達到2000公里,新改建農村公路道路1.8萬公里,新改建橋梁5800座。構建智慧型公路,通過大資料、人工智慧等技術讓公路的建設、管理和服務的決策更加科學已經成為大勢所趨。
當前,公路的養護與管理的決策大部分依然是通過人的經驗來進行,而基於資料的公路養護與管理科學決策,則需要充分考慮交通流量資料、天氣資料、地質資料、車輛資料等進行綜合建模分析,從而進行基於資料的科學決策。「當前,我們在泰州、無錫、鎮江等地進行了大資料研究試點,將各種交通資料收集過來,然後進行資料校驗、資料管控、資料整理,之後將資料匯入到大資料平台,然後通過份建模工具進行業務建模。目前來看,這種方式極大提公升了分析決策模型訓練的效率和效果。」陳超表示道。
據悉,江蘇省公路網管理與應急指揮中心之後希望利用曙光的大資料平台逐步將當前的試點成果深化,再構建更多應用平台,逐步提公升江蘇省公路建設的智慧型決策能力。
當前,大部分企業正處於向數字企業轉型的階段,經歷多年的資訊化建設之後,積累了較為豐富的資料,但是從「積累資料」到「用活資料」這個過程依然存在著很多挑戰與困難:資料標準不
一、資料採集與治理困難、資料資產體系有待建立、資料應用匱乏等等。
大資料平台被認為是企業數位化轉型和智慧型化的基礎。大資料平台可以圍繞資料鏈路完成資料的接入、清洗、加工和整合等工作,幫助企業構建起統一的資料標準、數字資產管理體系和完善的資料生態,從而加速基於資料的業務快速創新。
曙光在大資料平台產品上擁有多年的研發經驗,其中曙光xdata大資料智慧型平台近年來不斷迭代和創新,已經發展成一站式大資料平台,不僅能夠在已有的資料匯聚、儲存計算、資料治理、資料共享平台的基礎之上,解決資料質量不高、應用不完善等問題,而且還結合行業使用者的實際需求,推出「1+n落地模式」,通過智慧型治理、應用公升級來滿足使用者對於大資料的需求。
所謂「1+n落地模式」,即乙個平台+n個應用的模式,乙個平台指xdata大資料融合分析管理平台,該平台為使用者提供4大能力,包括資料匯聚能力、資料儲存計算能力、資料治理能力和資料安全能力,通過4大能力的支撐,向上為資料應用全方位賦能。
此外,更加智慧型化也是曙光xdata乙個重要方向。在大資料平台之中融入更加智慧型技術,讓資料處理環節更加智慧型化,不僅可以提公升大資料平台資料處理的效率,還能夠更加有效地支撐上層各種基於資料的應用創新。xdata已經融入了包括資料來源自動識別匹配技術、資料智慧型糾錯與批量清晰技術、資料流程一鍵治理、智慧型體檢等技術。曙光大資料智慧型研究院院長宋懷明表示:「曙光xdata可以為使用者提供全方位的資料治理能力和完善資料安全策略,還可以幫助使用者構建起完善的資料資產管理體系。」
在「1+n落地模式」中,n個應用指在曙光xdata大資料融合分析應用平台原有資料智搜、資料集市、介面服務、視覺化應用的基礎上,結合多年在大資料行業積累的經驗與需求,轉化為對應產品。為使用者提供超級檔案、資料資產管理、資料地圖、資料血緣、資料目錄等平台內建應用及基於客戶業務開展的定製化應用。
與此同時,針對其他第三方應用,曙光xdata可以向下對其遮蔽大資料複雜技術、向上對其賦能多個業務場景,形成內建應用+定製化應用+第三方應用的n個應用模式。
在大資料的落地之中,除了大資料平台之外,基於大資料的應用也格外重要。通常,大資料應用往往需要與業務有著緊密的聯絡,由於不同行業的業務存在著差異性,以及不同使用者之間對於資料的理解、運用的差別,決定了大資料應用往往具有一定的定製性,對於大資料應用產品的定製化和交付能力有著較高的要求。曙光公司高階副總裁沙超群透露,曙光已經建立起完善的大資料技術與產品研發體系,公司總部研發團隊聚焦在核心基礎技術的研發與創新,各個分公司的研發團隊則聚焦在大資料應用的創新與落地,以這種模式來加速大資料價值的落地。
近年來,曙光提出了「先進計算」理念,認為先進計算是數字經濟發展的重要基礎。
在曙光看來,先進計算包括e級計算、ai、大資料、雲計算等,是乙個逐步迭代、更新和融合的過程。這其中,大資料將會在先進計算中扮演越來越重要的作用。
曙光高階副總裁沙超群表示:「大資料是曙光公司重要戰略,也是先進計算中最重要的組成部分。大家可以看到,資料正在成為一種原材料,物聯網、智慧型城市、科學發現和科學分析都是以資料為依託。像高效能計算以前是單純的計算,現在更多是面向分析的計算;而像ai的應用則離不開資料和資料處理。因此,大資料在未來將會越來越重要。」
沙超群認為,先進計算融合了hpc、大資料、雲計算和ai等技術,並且未來還將融入更多新技術,曙光將基於自身在hpc和雲服務商的多年積累,逐漸封裝更多新技術,並且將底層進行池化,最終以雲的模式為使用者對外提供服務。
近年來,隨著在e級計算、大資料、人工智慧等領域的持續發力,曙光事實上已經具備了多項技術的能力,形成了組合拳,持續深耕政務、交通、教育、醫療等行業,真正推動了大資料等技術在行業之中的落地與應用,為多個行業的發展提供了創新驅動力。
大資料為何這麼重要,何為大資料?
大資料為何這麼重要,何為大資料?我們正在經歷一場由資料引發的社會革命,大資料已經廣泛應用於日常生活息息相關的諸多領域,並且正在成為經濟社會發展的新驅動力。大資料不僅是一場技術革命,它還是一場經濟變革。在資訊化發展的新階段,大資料已經成為世界各國競相發展及競爭的焦點。大資料正在改變各國綜合國力,重塑未...
大資料為何這麼重要?
在這10年中,幾乎所有行業都或多或少的受到大資料的影響。科技滲透到各個領域,並且已經成為每個處理單元的必要元素。談到it行業,具體來說,軟體和自動化是最基本的術語,並且用於處理迴圈的每個階段。毫無疑問,各行各業因為大幅爆發的資料而正變得蒸蒸日上。在這10年中,幾乎所有行業都或多或少的受到這一巨變的影...
大資料為何這麼重要?
在這10年中,幾乎所有行業都或多或少的受到大資料的影響。科技滲透到各個領域,並且已經成為每個處理單元的必要元素。談到it行業,具體來說,軟體和自動化是最基本的術語,並且用於處理迴圈的每個階段 毫無疑問,各行各業因為大幅爆發的資料而正變得蒸蒸日上。在這10年中,幾乎所有行業都或多或少的受到這一巨變的影...