敏捷BI與資料驅動機制

2021-07-31 22:10:23 字數 2906 閱讀 6276

在個人層面,很多人對數字和計算並不敏感,通過經驗進行判斷很容易出現偏差,因為所知所感與真實世界之間有很大差別。資料驅動的首要條件是要針對業務痛點提出問題,層層深入且具備邏輯推理特性;這之後才是進一步轉化為資料問題,然後從資料角度去建立決策邏輯。如果是視覺化、動態的決策過程,那肯定是有助於提高效率,這也是目前智慧型化的乙個重要目標,更加smart。

在企業層面,建立資料驅動型決策機制是資料治理的最高境界,對傳統企業來說任重道遠,能夠發揮些許資料價值已然是最佳實踐了。資料治理的好不好,關鍵還是看用的效果如何。伴隨資料應用的發展趨勢,資料治理的目標物件也將由基礎資料逐步變成以資料探勘為核心的大資料資產化應用。換句話說,就是以前圍繞資料倉儲或bi系統完成的治理工作,目前可以很順暢的過渡到大資料智慧型化專案了,包括後面要討論的敏捷bi。

企業應當建立一套完整的從資料收集、整理、報告到轉化成行業洞見和決策建議的流程,當然最重要的是這些洞見和決策建議真正能夠被企業決策者使用,也就是資料價值變現。下面這張圖的每部分都可以展開,不再贅述,可以參考《創造資料驅動型企業》。後面主要聊的是資料驅動實踐中的一些經驗,從敏捷bi角度出發,討論相關概念、工具、組織、流程等內容。不是完整系統的闡釋,而是有所挑選的呈現。

商業智慧型(bi)描述了一系列的概念和方法,通過應用基於事實的支援系統來輔助商業決策的制定;商業智慧型技術提供使企業迅速分析資料的技術和方法,包括收集、管理和分析資料,將這些資料轉化為有用的資訊,然後分發到企業各處。

傳統bi系統,通常指企業內部大而全的統一報表或分析平台;多為固定週期性報表,開發部署流程繁瑣耗時長,主要靠科技部門出工出力。

敏捷bi,極速bi,或者說自助式bi,面向的更多是不具備it背景的業務分析人員,相比之下更靈活且易於使用,而且一定程度上能夠擺脫對it部門的重度依賴。資料分析工作,逐漸向「業務主導的自助分析模式」發展。敏捷bi需要提供便於互動分析的視覺化介面,快速響應使用者的探索式資料分析需求,同時能夠在企業內部分享和檢視分析結果。

工具層面國外以tableau和微軟的產品最佳,國內帆軟也是代表,其對應產品系列在功能上均能夠滿足敏捷bi的開發部署。也以desktop為例,tableau的視覺化分析更加方便,powerbi額外支援er關係構建,finebi的開發效能針對各種業務情況,可謂各有千秋。對銀行、電信等傳統企業來說,tableau更適合一些,因為基礎資料服務能力能夠支援tableau充分發揮視覺化分析的優勢。對個人來說,powerbi很厚道的提供了功能夠用的免費版本,且更新速度很快。

biu這個名詞是有的,dsu的概念是我自己瞎掰的。biu是business intelligence unit, dsu是data science unit。在目前的情況下,這兩個其實是等同的,個人更傾向於資料科學團隊的建立。

商業智慧型是對各項技術的綜合應用,其組織架構或者能力要求都包括了業務能力和資料開發能力,而資料科學更包括對機器學習、人工智慧等高階能力的配備。資料科學家的要求在於全能,高精尖,實際很多傳統企業並不需要這類人才。企業需要一支能夠快速響應業務需求的資料科學團隊,包括業務人員、資料分析人員和資料開發人員,湊在一起匹配資料科學家。

這個團隊能夠幫助資料部門從成本中心逐漸轉化為利潤中心,這不是隨便說說,大資料應用除了幫助獲得同業競爭優勢,顯然也有直接創造利潤的潛力。看看現在頂尖的fintech公司,都開始變成techfin了。

如何建立dsu呢?或者說構建dsu的基礎有哪些呢?我認為這個需要業務和技術兩方面的基礎條件,缺一不可。在業務關鍵流程中需要應用資料探勘模型以提公升能力,並且在主要業務條線均存在這種訴求,這就是業務上的基礎條件。在技術上需要積極且堅定不移的探索大資料分析挖掘應用,具備能夠將學術和產業界新成果轉化為實踐應用價值能力的團隊。

對傳統甲方來說,這個領域的自主可控至關重要;至少做到一點,那就是甲方人不動,乙方可以隨便更換。我們都是資料科學工程師,致力於將學術界和產業界資料探勘、機器學習領域先進成果轉化為企業生產力。探索性的工作中樂趣還是佔主導的,但創新任務多了有時候也會很頭痛,大量操心操力亞歷山卓。

之所以說是套路化,因為是直接從管理辦法裡面搬出來的,稍加改動。

首先是資料準備與開發,收集敏捷bi產品開發需求的相關企業內部、外資料,確定所需資料範圍、型別及資料量;針對所需企業內部資料,執行對應資料服務、資料呼叫等規範流程,完成資料採集準備;針對企業外部資料採集,記錄並整理相關資料資源資訊,進行集中儲存及管理;建立資料間的關聯關係,並檢驗資料質量情況;基於需求目標、資料質量及技術限制等情況,選擇敏捷bi產品開發使用的資料集合,並對資料進行清理轉換,並根據要求執行格式化等操作。

然後是分析挖掘模型孵化與開發,結合實際任務,進行資料分析模型或資料探勘模型的孵化;對模型進行開發,並持續優化以確定模型相關資料、特徵、演算法及引數;協同業務需求方共同驗證模型效果,同時在整個敏捷bi產品生命週期內對模型進行跟蹤,依據情況進行調整。

最後是視覺化設計與開發,選擇合適的視覺化方法對內容進行封裝,包括資料架構、頁面布局以及圖表各種功能設計;確定視覺化需求方案,並完成前端互動開發及後台對應資料開發;與業務需求方溝通,跟蹤反饋情況並對視覺化方案進行優化。

資料驅動應該是一種文化,不同於堅持增長黑客理念的網際網路企業,許多傳統行業似乎缺乏對應的目標及凝聚力,加上各種各樣的原因,資料驅動文化的構建過程異常緩慢。

大資料在持續發展,君不見3v、4v已經發展到了42個v。對處於業務轉型期的企業來說,見或不見,資料就在那裡;做或不做,雖然早晚都會被淘汰,但晚點可能就會鳳凰涅槃了呢。

事件驅動機制和訊息驅動機制

事件 按下滑鼠,按下鍵盤,按下遊戲手柄,將u盤插入usb介面,都將產生事件。比如說按下滑鼠左鍵,將產生滑鼠左鍵被按下的事件。訊息 當滑鼠被按下,產生了滑鼠按下事件,windows偵測到這一事件的發生,隨即發出滑鼠被按下的訊息到訊息佇列中,這訊息附帶了一系列相關的事件資訊,比如滑鼠哪個鍵被按了,在哪個...

C 事件驅動機制

用事件驅動還處理資料,你用了就會知道他的好處的。為了給大家看清事件驅動原理,我用小例子來說明 1.建立事件 public class alarmstateeventargs eventargs set 2宣告乙個委託的型別 public delegate void netservereventhan...

詳解事件驅動跟訊息驅動機制相比

事件驅動和非同步io 通常,我們寫伺服器處理模型的程式時,有以下幾種模型 1 每收到乙個請求,建立乙個新的程序,來處理該請求 2 每收到乙個請求,建立乙個新的執行緒,來處理該請求 3 每收到乙個請求,放入乙個事件列表,讓主程序通過非阻塞i o方式來處理請求 上面的幾種方式,各有千秋,第 1 中方法,...