國家氣象資訊中心
cimiss
系統於2008
年建設，隨著資料量和需求越來越多，已不能滿足業務需求，迫切需要氣象大資料管理平台來滿足新一代海量氣象資料儲存管理需求。
需要接入cimiss的資料：利用前期資料處理標準化成果（資料資源標6大分體系，231項標準條目），構建新的資料處理流程。與各資料接入單位的資料交換系統對接，獲取國內外地面和高空觀測資料。入庫資料如下：
1> 歷史資料遷移入庫
2> 站點資料處理入庫
3> 雷達、衛星資料處理入庫
4> 數值預報和分析處理入庫
5> 新匯交資料處理入庫
需要構建氣象大資料儲存管理系統：採用分布式儲存技術對關係型資料、kv物件資料、檔案資料進行儲存，以滿足氣象中心，衛星氣象中心、氣候中心的業務需要，支援統一儲存管理和服務。
需要統一資料服務介面：作為儲存管理系統的出口，實現對氣象中心實時業務需求的亞秒級響應，遵循music標準，支援服務管理和服務發布。服務包括站點資料檢索介面，站點資料統計介面，格點資料解析介面，原始資料和處理後產品資料的寫入的介面等。介面對原有介面相容，能適配多種資料型別，效能好，擴充套件性好。
氣象衛星平台：總量3pb，大約1億檔案, 單個檔案大小在10m-500m之間。主要包括風雲系列衛星資料和美歐日衛星資料。
雷達資料：包括都卜勒天氣雷達，雷射雷達資料。
遺留**的整合，主要是利用已有的氣象業務邏輯，便於預處理和格式處理。
l 資料預處理：唯一性檢查、檔案過濾、檔案識別、解壓縮、格式轉換、資料解析。
l 解碼：衛星/雷達/模式解碼。
l 資料質量控制：物理和歷史極值檢查、內部一致性檢查，時間連續性檢查，空間一致性檢查，靜力學檢查等
預處理過程可以復用cimiss已有邏輯，可以在spark平台分布式並行執行以加速處理過程。
主要的四種格式的處理：
hdf4/5:
netcdf3/4: 或netcdf-c)
grib1/2和bufr3/4:
目前開源環境有一些格式支援，其他內部格式需要復用cimiss已有邏輯或者業務單位之前的處理邏輯。
cimiss： （有國、省、市、縣cimiss業務關係圖，未來的cimiss 2.0架構圖）
氣象資料平台的前台（依託cimiss）：
micaps4：氣象局分布式儲存和流資料接入平台和預報演算法系統，國家氣象中心預報系統開放實驗室micaps開發團隊開發
cipas2：演算法應用系統，國家氣候中心氣象災害風險管理室研發。
cimiss資料被micaps4和cipas2利用。
探秘「氣象大資料」
實況資料是氣象學科發展的最基礎資料，也是模式資料產生的源頭。如果沒有實況資料，計算機在運算 模式資料 時就少了初始值，即使是回歸到沒有計算機的人工預報時代，少了實況資料也無法進行天氣預報。有人說，在 大資料時代 這個概念出現前，最名副其實的大資料應該數氣象資料。氣象資料一貫以龐雜眾多資料量大而著稱，...
大資料和氣象的「聯姻」
我們每天都在看天氣預報，大家會發現天氣預報基本準確，但也有那麼幾天不靠譜。近年來，隨著技術水平的提公升，人們對氣象服務水平的需求越來越高，因此氣象的精準預報成為氣象部門追求的目標。氣象的精準預報需要行業內外的結合，而創新可能在行業之外，比如引入新思想和新方法。中國科學院自動化研究所研究員張文生告訴 ...
深圳活用大資料提公升氣象服務
對流層風廓線儀實時監測採集氣象資料。市氣象局預報員密切監測跟蹤天氣動態。氣象大資料時代來了，並成為一股勢不可擋的潮流。颳風下雨 高溫寒冷 電閃雷鳴 日常中獲取的各種氣象服務資訊都來自於海量氣象大資料，深圳氣象人就是 資料分析師 通過採集分析繁雜的氣象資料不斷提供氣象服務。在這科技發展的時代，龐雜眾多...