大資料市場，一看廠商軟體，二看行業落地應用。新技術的興起，總是由敏銳的廠商洞察需求、研發新產品和上台宣傳，再到使用者購買產品，最終技術落地產生實際效果，整個過程往往需要幾年時間。 所以，大廠宣傳的產品是技術風向標，落地的應用則是目前行業的流行趨勢。盤點2023年的大資料市場，筆者也從廠家在宣傳什麼，行業使用者都在做什麼為視角篩選出今年讓人眼前一亮的產品或技術案例， 期望能幫助大家看清目前大資料行業的技術方向和趨勢。
- 實時大資料
注：druid是乙個用於大資料實時查詢和分析的開源分布式系統。它在實時聚合方面非常有優勢，因此非常適合進行諸如topn，groupby，filter，count等即時查詢。感興趣的朋友可以參考其官方文件另外，通過flink引擎對訂單流和乘客軌跡流進行join，並將司乘的中間狀態進行快取，通過publisher系統實時將實時計算出來的狀態變化推送給司機，推送準確率達到94%。
- 式sql治理大資料交換
該平台除了統一資料讀取方式，還可以按業務不同，自動排程優先順序，智慧型調配資源。真正做到對大資料的治理和排程。
- 知識圖譜，大資料營銷的新方向
- 金融
金融服務業一向是國內新it技術應用的排頭兵。2023年9月平安科技推出了智慧型閃賠產品（圖5），在用大資料給ai賦能方面走在了前列。平安科技依靠多年海量真實理賠資料作為訓練樣本，運用機器學習演算法智慧型對車輛外觀損失自動判定，識別車輛受損部件。只需一鍵上傳**，秒級完成維修方案定價，識別精度高達90%以上。平安透露，基於「智慧型閃賠」技術，2017 年上半年平安產險處理車險理賠案件超過 499 萬件，客戶淨推薦值 nps 高達 82%，智慧型攔截風險滲漏達 30 億。
- 傳統行業
大資料在工業等傳統領域一直是只開花，不結果。其中乙個很大的原因是大資料在工業上的應用場景不多，大資料的價值更多的侷限於**和輔助決策。工業裝置的資料收集和利用計算機進行**，其實遠在大資料興起之前就已經是行業內廣泛研究的課題。由於監控裝置的相容性，資料傳輸實時性，**精準度等問題導致大資料在工業應用領域遲遲創造不出顯著的商業價值。今年中國電力科學研究院的張國賓分享了一篇《資料探勘與機器學習技術在電力領域應用》的文章，介紹了研究團隊通過大資料**解決電力裝置重重載引起故障停電的問題。電力科學研究院突破了以往**方法在**精度上的侷限，將配變點裝置重重載狀態和電廠實際記錄的過載或斷電故障時段關聯起來，並且：
從重重載發生時段、持續時長、發生相別、負載率水平等多個方面對重重載事件進行細分類；
從裝置和使用者屬性、自然環境、短期負荷特性中挖掘針對各類重重載事件的關聯規則；
通過採用基於深度學習方法建立重重載事件**模型，對重重載進行週期性**。實際**的準確率（**結果中實際發生數量/**發生數量）到達80%以上，命中率（**結果中的時間發生數量/時間發生數量）達到92%。**精度完全具備了生產級別的要求，給電力行業的大資料革新創造了實際價值。該應用也在2023年12月舉辦的中國大資料技術大會上被評選為top10大資料應用最近實踐案例之一。
- 醫療
大資料在醫療行業同樣進展緩慢。一方面是臨床資料獲取困難，另一方面大資料在決策上只能起到輔助角色，而不能提供完全高精度的自主決策。好在醫療行業可以細分的應用場景比傳統工業的要多，容易找到對精度要求不高的應用場景。湖南智超醫療科技****今年發布的cdss（clinical decision support system）臨床決策支援系統，充分利用了分診這個對精度要求相對不高的場景取得了突破。cdss系統的核心是乙個類似於知識圖譜的症狀樹體系。智超醫療團隊通過分析疾病名稱建立的經驗症狀庫（如：既往病史、家族病史、職業等，還包括一些偶發指標，如：午後低燒、晨起咳嗽、頭暈眼花等。）和理化指標庫（例如血糖儀、b超、ct等檢測所能得到的血壓、血糖、心率、紅細胞、血小板等）。（圖6）
大資料應用要創造出價值，很重要的一部分就是對資料分析結果的視覺化展現。這相當於軟體產品的使用者介面，乙個易懂易用的產品介面往往打敗了技術含量更高但是使用者介面醜陋的產品。 如何用不同的顏色，形狀來展現資料之間的區別，對於習慣了用標籤，屬性來標示資料的資料分析師們來說無異是另乙個世界，直接戳中了工科直男癌們的死穴。
來自清華大學的向帆在今年11月的一次網路演講中，把我們每年熟悉的春晚，用蚊香片一樣的形式做了視覺化化（圖8,9）。用色彩和形狀的展示了一種影象大資料的視覺化方式。
另乙個新聞是全球編輯協會（global editors network）評選的2023年「gen資料新聞獎」(datajournalism awards)最具期待的「年度資料視覺化獎」，授予了被一部剖析說唱**劇的視覺化作品（
該作品通過對歌詞的語音分析，給顏色編碼，給歌詞做注釋，來展示押韻結構，幫助使用者理解這些押韻之間的關聯。這也是非常有啟發性的文字分析類大資料結果展現方式。
盤點2017，大資料行業的相關廠商們紛紛把發展重點從大資料基礎設施，轉向用大資料給其相關行業賦能上。例如在人工智慧，iot物聯網等領域，國內外廠商都在發力推出大資料相關的產品。國內大資料的重點從方案落地轉向了價值創造。正所謂「躲進小樓成一統，管他冬夏與春秋。」 2023年的大資料沒有了往年**的喧囂，反而更顯成熟，湧現很多「挽起袖子，加油幹」給企業創造出實際的價值標桿應用。行業大資料應用在結合了其他領域的新技術（例如人工智慧，非結構化資料分析等）產生了積極的化學變化，在在各行業都取得了可喜的突破。
2023年10大資料視覺化專案
datafocus按 視覺化快發展成一項平民技術了，但是正如一句話說的 好看的皮囊千篇一律，有趣的靈魂萬里挑一 優秀的視覺化作品能直指內心，給你帶來視覺震撼。讓datafocus君帶你一起來欣賞2017年10大優秀視覺化作品吧。奧利維亞 瓦爾奇 olivia walch 用漫畫形式解釋了格里曼 ge...
2023年大資料領域的十大趨勢
文章講的是2017年大資料領域的十大趨勢，曾有 將2013年稱為 大資料元年 經過兩三年大資料依然熱度不減，但是也有專家認為前幾年大資料一直處於乙個很尷尬的局面，大資料不接地氣，人人都在談大資料，但真正應用大資料的人很少。2016年，各行各業的大資料應用都漸漸從空洞的理論落地，所以很多專家認為201...
2023年大資料發展十大新趨勢
2017年大資料發展的10大趨勢經由全球專業機構發布，希望可以為你所在機構的年的發展規劃提供戰略政策依據。1.資料量將持續增長 資料量的不斷增加意味著通過資料的快速分析獲取寶貴的市場洞察已經成為大資料業務運營的關鍵環節。機構和企業組織必須將其內部未被利用的每一位元組的大資料，也就是我們所謂的 黑暗資...