業務中臺建設與應用 資料中臺建設是氣象業務的基石

2021-10-12 05:48:10 字數 2695 閱讀 3878

早就想聊聊這個話題,感覺說多重要都不過分!

按理說我們氣象部門的資料儲存、處理和應用相比其他行業具有先天優勢,無論觀測還是預報,每天能夠產生海量資料,並且有規範的資料格式和先進的資料儲存裝置。

可這麼多的資料,大都是死資料,並沒

有充分用起來,或者利用率很低,根本沒有發揮出氣象大資料的應有價值。

我覺得之所以出現這種問題,是我們並沒有重視氣象大資料的價值,或者是沒有找到更好的辦

法去進行資料價值的轉化。

應該說是先有大資料,再有雲計算,然後才是現在的人工智慧,氣象業務資訊化的發展也在追隨這樣的發展路徑,但其實第一步我們就沒有走好!

讓資料活起來,讓業務上雲,讓人工智慧滲透到氣象業務中,並不只是喊喊口號而已!

尤其是現在氣象部門也處在數位化轉型的程序中,要進行業務轉型和業務創新,首先要把氣象大資料用好,找到並挖掘出氣象資料的價值所在。

因為數位化轉型的目的與核心就是為了實現業務的轉型、創新與增長,資料和基於資料的數位化技術就是我們的基石。

說到這裡,不得不提資料中颱了

! 關於中颱的話題我在《中臺戰略與氣象業務系統建設之經驗分享》一文中討論過了,他的重要性不言而喻。

實施中臺落地首先要考慮的就是資料中臺,其次是業務中臺。

資料是業務的支撐,業務又產生資料,可以說氣象業務要適應新時代的發展要求,對氣象資料的挖掘能力一定程度上將決定我們氣象的服務水平。

相信很多的氣象部門,從**到地方,都在積極融入數位化轉型的浪潮,也都在嘗試中臺戰略在提公升氣象服務能力上的落地實踐。

在這裡簡單說明一下,我們氣象部門為什麼要進行數位化轉型呢?

我的理解是這樣的:

當前我們的氣象業務發展僵化,不斷的重複建設,陷入「系統煙囪」與「資料孤島」的資訊化困境之中,缺乏創新,無法適應網際網路時代的發展要求等等一些列問題,嚴重阻礙氣象業務的發展。

近期我的推文中討論過數位化轉型、中臺戰略、微服務架構等等,應該說都是為了解決業務轉型、創新以及業務增長問題,他們都是一脈相承的。

今天所討論的氣象資料中臺建設也是數位化轉型領域的乙個具體例項。

資料驅動業務增長,所以數位化轉型是基於對業務資料的充分而高效運用,及時洞悉內外環境變化並快速響應。

回歸主題,在氣象服務過程中,各業務部門基於發展需要都會提出大量的資料需求,並且在資料質量、資料共享、實時化方面的要求越來越高。

可以說,各業務部門對加快資料中臺建設有很強的訴求,都希望有乙個強大的資料中臺,從而賦能於我們的氣象業務,去快速響應氣象服務需求。

我曾經在《微服務架構在氣象業務系統建設之經驗分享》中聊過架構師的作用,並且越來越覺得架構師在我們氣象業務數位化轉型程序中的關鍵作用。

建造大廈之前都會有設計師對大廈的結構進行精心設計,並且一遍一遍的論證、評審,最終形成結構圖紙,描繪出大廈的建設藍圖。

對於氣象資料中臺這種要依靠各種電子裝置和軟體完成搭建的能力大廈,同樣也需要架構師的精心設計並且需要it、氣象兩個領域的專家進行充分的論證與評審之後才能開工建設。

氣象資料中颱是為氣象業務而服務的,架構設計上要從兩個方向上考慮:

一是要面向氣象業務的過去要解決的問題。

我們總在提業務重構,重構並不是丟掉過去的業務,而是為讓過去就存在的業務進入新的業務流程並提質增效。

這個過程的核心任務是規範和標準,讓整個氣象資料鏈路更清晰更標準,並且推動這套標準在現有氣象業務中落地應用;

二是要面向氣象業務的未來要解決的問題,也就是說這個氣象資料中臺能夠為今後的氣象業務提供什麼樣的驅動力。

這個過程要考慮以什麼樣的形式為業務提供資料服務,技術研發團隊應該選擇什麼樣的組織模式,資料服務和氣象業務之間應該採用什麼技術實現安全高效!

如果將整個資料中颱的能力大廈分層建設,我覺得至少需要四個層次【非架構師專業,如有不妥之處請見諒並指正,感謝!

】第一層是基礎設施層,這裡面主要包含資源環境和工具平台兩部分。

資源環境就是大資料集群、容器化環境(或虛擬機器環境)、網路裝置等;

工具平台主要是一些離線、實時、演算法等開發能力的大資料、雲計算的開發環境;

第二層是資料層,包含資料中心、標準化資料倉儲或資料湖、資料地圖、統一的標準體系、資料安全中心和資料流程監控的資料質量管理中心;

第三層是服務層,包含不同層級資料服務api,任務排程以及能夠面向不同業務應用人群的服務能力。

比如rpc框架、服務發現等;

第四層是產品層,針對氣象核心業務而搭建的資料產品,實現業務部門對資料產品需求的快速反應

關於中臺落地的技術實現我也在不斷的學習和理解中,希望有興趣的讀者加入進來共同討論與分享。

中臺建設隨筆

適用於發展中的大中型公司且有多條產品線,這樣才能更好的復用,避免做了很多沒用的,造成資源浪費。避免重複建設,讓系統盡量抽象,可配置,不依賴具體的業務,這樣有新的產品線成立可快速接入。1.歷史的資料的遷移 在抽象需求的時候要考慮歷史資料的相容,後期好做遷移。對於不需要的點要盡量精簡,避免做的太複雜,業...

資料安全中臺建設思路

隨著中臺建設理念不斷深入,各種 中颱 概念不斷進入人們視野,複雜化應用架構和多元化應用場景孕育出 中臺 業務中颱的興起,逐步帶動 安全中臺 發展。安全中臺發展包括以網路為中心傳統安全防護中颱和以資料為中心資料安全中臺 目前有多家安全廠商涵蓋網路和資料,但更加強調網路側 本篇文章主要是以資料為中心的安...

資料中臺建設五步法

以下為 資料中臺架構 企業資料化最佳實踐 讀書筆記 一 資料資源的盤點與規劃 資料化的基礎是資訊化或者是資訊化所產生的資料。資料資源的盤點與規劃需要達到以下目的 1 對現有資料資源盤點和統計。2 對企業可以擁有或者應該擁有的資料資源進行規劃。3 構建盤點體系並使用必要工具,保證盤點的成果能夠始終與真...