智慧型分析最佳實踐 指標邏輯樹

2021-10-07 14:25:06 字數 3049 閱讀 8048

所有業務都會面對「為什麼漲、為什麼降、原因是什麼?」這種簡單粗暴又不易定位的業務問題。為了找出資料發生異動的原因,業務人員會通過使用多維查詢、dashboard等資料產品鎖定問題,再輔助人工分析查詢問題原因,這個過程通常需要一天時間。幾乎每種業務角色的使用者都在做相似的分析,但在業務方分析人員發生工作變動時,分析方法難以得到較好傳承。因此我們需要一款自動給出分析結論的智慧型化資料產品來解決上面的問題,產品的基本功能如圖1所示。

圖1 產品架構圖

由上圖可知,指標邏輯樹就是我們抽象出來的智慧型異動分析資料產品的最佳實踐。它將固定的分析方法和業務場景抽象出來,套用靈活的資料來源(包含kylin、mysql、elasticsearch、druid等),自動生成符合各類使用者的異動分析報告;它能夠直接給出分析結論進而快速落實業務行動,降低分析成本和決策週期。選定兩個時間週期,指定指標順序,通過指標邏輯樹就可找出導致核心指標發生異動的關鍵指標,同時可對單一指標進行細分維度拆分,鎖定細分維度對整體的影響。

指標邏輯樹作為一款支援酒旅各業務線的異動分析資料產品,面臨的挑戰如下:

針對上面的挑戰,我們給出如下的解決方案。

圖2 指標邏輯樹體系架構

如圖2所示: 1. 指標計算,用於解決基礎指標多、維度多,且來自於不同資料來源的問題以及自定義計算指標的問題; 2. 分析演算法,用於支援多種異動分析演算法; 3. 計算服務,採用master-work的方式解決查詢效能的問題。

指標計算包含指標漏斗、基礎指標序列、指標分類,它們之間的關係如圖3所示。

圖3 指標計算

如圖3所示,指標漏斗為使用者自定義的有序指標序列,包含基礎指標和計算指標(如,b=(l+h)*y) ;基礎指標序列,是將指標漏斗中的計算指標按照順序拆分之後的指標序列;指標分類採取大聖魔方(可以參考大聖魔方: )配置的規則對基礎指標進行分類。

目前指標邏輯樹支援兩種異動分析演算法,後續可以根據需要進行擴充套件。 * 生成瀑布分析圖的連環迭代分析法。 * 根據指標下鑽維度方案,生成單個指標解釋度的基尼係數演算法。

下面分別介紹這兩種演算法在指標邏輯樹中的運用。

連環迭代分析法

連環迭代分析法,用於從使用者自定義的有序指標列表中找出導致核心指標發生異動的關鍵指標,如圖4可知,本期結果指標e產生的波動,主要由於a指標的波動影響。

圖4 瀑布分析圖

圖5 指標漏斗

如圖5所示,意向uv、訪購率、人均單量、連帶率、sku單價等幾個指標中的任意乙個發生資料波動,都可能引起支付gmv的波動。採用連環迭代分析法,可以確定某個具體指標在本期支付gmv的波動中產生的影響最大。演算法公式,支付gmv=意向uv*訪購率*人均單量*連帶率*sku單價。

基尼係數

基尼係數a/(a+b),用於計算各下鑽維度方案對單個指標波動的影響程度,橫軸用特徵分組基期累計佔比,縱軸用波動值累計佔比(可以為負值),基尼係數越大說明該特徵對波動的解釋效果越好。

圖6 基尼係數計算

如圖6所示,指標計算,用於獲取層級下鑽維度中各個維度的基礎資料,如各個城市等級的本期、基期值等資訊;分析演算法,根據維度基礎資料計算出排序因子,利用排序之後的排序因子計算各特徵分組的基期累積佔比及波動值累計佔比,進而獲取到基尼係數;最終選取基尼係數最大的特徵作為最終解釋。

隨著業務分析需求的增加,分析使用者自行配置的指標序列以及針對單個指標的下鑽維度方案將會急劇增加,隨之帶來的影響就是單個請求需要支援大量的查詢任務,因而提公升平行計算能力是提公升系統效能的乙個關鍵因素。如圖7所示,計算服務包括任務拆分、平行計算和結果合併。

圖7 計算服務

任務拆分

任務拆分分為如下幾個步驟: * 將指標漏斗中的計算指標拆分成基礎指標。 * 填充基礎指標的細化維度方案,記錄指標的各個維度方案及各方案下的層級下鑽維度。 * 對基礎指標按照資料模型和維度方案進行分類。

平行計算

平行計算提供分布式計算功能,主要處理的是任務拆分之後的細粒度查詢任務。

查詢任務主要有以下兩類: * 按照資料模型分類之後的指標序列查詢任務,需要分別查詢本期和基期值,查詢量相對較少。 * 按照資料模型和維度方案分類之後的查詢任務,需要分別查詢本期和基期值,涉及到細化維度,查詢量比較大。

結果合併

結果合併主要是針對計算指標來說的,計算指標是分析使用者自定義的針對基礎指標的一組計算公式。並行查詢的結果是針對基礎指標的,需要合併基礎指標的查詢結果資料,生成符合計算公式的指標資料。結果合併模組需要做兩部分的工作,一是解析計算公式,二是根據已有的資料,按照計算公式生成新的資料。

系統中用到資料組裝的模組主要有如下: * 如圖8所示,根據拆分之後的基礎指標資料,生成滿足計算公式的計算指標資料。 * 如圖9所示,根據拆分之後的下鑽維度基礎資料,分別計算出各個維度的資料,生成符合計算公式的下鑽維度資料。

圖8 計算指標資料組裝

圖9 指標下鑽維度資料組裝

指標邏輯樹在美團點評酒店旅遊各業務線中已經得到了一定的應用,並收穫了大量好評。本文只是指標邏輯樹的乙個總綱,目前產品尚處於初級階段,後續還有很多功能需要完善。

最後插播乙個招聘廣告,有對資料產品工具開發感興趣的可以發郵件給 [email protected]

智慧型分析最佳實踐 指標邏輯樹

所有業務都會面對 為什麼漲 為什麼降 原因是什麼?這種簡單粗暴又不易定位的業務問題。為了找出資料發生異動的原因,業務人員會通過使用多維查詢 dashboard等資料產品鎖定問題,再輔助人工分析查詢問題原因,這個過程通常需要一天時間。幾乎每種業務角色的使用者都在做相似的分析,但在業務方分析人員發生工作...

井蓋智慧型化公升級最佳實踐

1 為什麼要建設智慧型井蓋檢測預警平台?近年來,部分城市發生多起窨井吞人 傷人的事故,嚴重影響了人民群眾生命 財產安全。同時,隨著城市建設腳步進一步加快,井蓋作為城市資產的重要組成部分,反映著乙個城市的智慧型化水平,因此對井蓋實施數位化 智慧型化管理勢在必行。隨著我國城市化程序的加速,城市道路改 擴...

C 智慧型指標實踐

c 的只能指標有三種型別 shared ptr,unique ptr 和 weak ptr。weak ptr指向的是shared ptr物件,但不會增加物件的引用計數。classa 方式1 使用內建動態指標初始化智慧型指標 shared ptrp1 new a 方式2 使用make shared函式...