企業數位化轉型的戰鬥正酣,釋放資料價值成為企業當前的核心任務,大資料賽道上的選手們各出絕活,力求收穫自己的金角銀邊。7月26日,2019網易雲創峰會在杭州召開,網易大資料在會上發布了全鏈路大資料產品網易猛獁6.0,網易大資料總經理余利華表示,猛獁6.0通過整合全鏈路資料質量監控、全鏈路資產分析和全鏈路資料發現等一系列能力,解決了當前大資料實踐中的各種痛點,使得企業的工作重心能夠回歸到資料分析本身,從而快速汲取資料的能量實現高效增長。
圖:網易大資料總經理 余利華
網易猛獁6.0直擊大資料落地五痛點
五大系統構築全鏈路資料護城河
網易大資料此次發布的猛獁6.0,在此前的大資料平台產品基礎上,提供了指標系統、資料服務、資料地圖、資料質量中心、資產管理中心等全新的系統,所有這些系統形成了全鏈路大資料解決方案,能夠支撐企業資料中臺建設,保護企業的大資料之旅免受前述五大痛點的侵襲。余利華分別介紹了全鏈路「五大金剛」獨特的軟實力。
老大指標系統,猛獁6.0從業務口徑、計算口徑和資料**三個層面著手,採用統一的管理規範,並引入審批機制,最終實現100%消除指標口徑不一致,指標數量減少50%,同時理解乙個指標的含義時間縮短80%。
老二資料服務,通過資料api、訪問日誌、授權認證、支援多種查詢引擎、支援邏輯模型等加持,除了協助老大實現100%消除指標口徑不一致,還消除了資料字段變更與應用的強繫結,通過建立資料產品到指標的鏈路追蹤,明確了應用到表的訪問鏈路,避免底層表暴露給資料產品。使得資料接入效率提公升10倍以上。
老三資料地圖,是破解不知道哪些資料可用、不知道到**查資料、不知道資料含義這「三不知」的一把好手,通過資料地圖,企業可以告別取數低效的煩惱,快速搜資料、查資料,實現100%自助取數,取數效率提公升可達300%。
老四資料質量中心,則是規避錯誤資料導致錯誤決策的行家。余利華分享說,某客戶由於**bug導致部分商品交易資料缺失,客戶根據不完整的資料分析結果制定了背離實情的運營策略,造成了高達數百萬的損失。他斷言,70%的資料不可用都是由資料質量導致。猛獁6.0資料質量中心從資料稽查、質量度量,以及覆蓋資料產品完整資料鏈路的全鏈路監控三個方面的努力,實現了99.8%的資料可用率——也就是在規定時間正確地產出資料,同時70%的資料不可用都被監控提前發現,故障修復速度也提公升了100%——在此之前,90%的不可用是由資料使用方發現的,單次故障平均不可用時間則達到了6.5個小時。
老五資料資產中心,基於元資料中心的構建,通過資產分析、追蹤資料價值,消滅低價值的資產,將成本節約20%以上,有效幫助企業實現成本管控。在成本的增長速度超過業務增長速度的企業而言,老五的能力可謂不可多得的及時雨。
五大金剛的能力,已經在網易考拉等複雜業務場景中得到驗證。所以,五大金剛的發布,對於企業而言多了乙個粉碎大資料落地應用五大痛點的手段,而對於網易大資料的市場競爭而言,同樣也是構築了一道難以逾越的護城河。
全鏈路大資料產品助力數位化轉型
余利華強調,通過猛獁6.0,網易大資料完成了全鏈路打通能力,能夠幫助企業客戶實現全鏈路的資料質量監控、全鏈路的資料資產分析以及全鏈路的資料發現,從而讓企業較為輕鬆地構建統一的、安全的、共享的企業資料資產體系,實現一切業務資料化,聯通資料孤島,驅動一切資料業務化,助力數位化轉型,讓資料產生價值。
「有了全鏈路大資料產品,企業可以將80%的工作投入商業分析,直接產生業務價值,而資料開發、資料治理只需占用20%的工作量。」余利華總結說。
全鏈路壓測
2013年為了雙11提前預演而誕生,該服務已提供在阿里雲pts鉑金版。1.1.1 系統可用性問題 經常由下面一些不確定性因素引起 1.1.2 傳統線上單機與單系統壓測的四種方式 從流量分配的角度,將流量集中到某台機器 這兩種方式要求訪問流量不能太小 1.1.3 單系統壓測的問題單鏈路指乙個業務線。全...
全鏈路壓測
之前有和認識的同行聊過他們全鏈路壓測的一些技術實現方案,自己也看了很多相關的資料,這篇部落格,說說自己對全鏈路壓測的理解,以及整理的一些知識點。阿里全鏈路壓測 有讚全鏈路壓測 京東全鏈路壓測 餓了麼全鏈路壓測 一 什麼是全鏈路壓測 基於實際的生產業務場景 系統環境,模擬海量的使用者請求和資料對整個業...
全鏈路壓測筆記
公司業務發展,難有乙個量化的資料衡量核心鏈路的真實峰值。有助於提公升核心業務的穩定性。找出整個鏈路的瓶頸,優化少量的瓶頸部分提公升整體效能,以期達到用最少的資源達到最佳效果。認識誤區 不能單純認為壓測各個子系統後,整體系統沒有問題,因為涉及到業務訪問鏈路,多個業務可能有共用資源的瓶頸,主鏈路請求量增...