BI 通用流程

2021-05-21 22:24:09 字數 2325 閱讀 7965

先看圖:

此圖是根據個人經驗總結出的乙個bi通用流 程,適用於報表方案,多維分析方案,但不適用於資料探勘的方案。

bi專案關鍵資源:業務專家,bi開發人員,業務開發人員。

業 務專家的參與有助於提高需求的準確性,bi開發人員主要負責bi過程相關資源的組織和管理,業務開發人員配合bi開發人員確認資料及業務的相關工作。

下 面對這個開發流程做乙個解釋:

首先,從報表下手可以很容易的掌握使用者所關注的東西,結合業務系統以及資料結構可以有助於對主題有個大體的 印象,同事對一些使用者比較關注的維度和度量才能有個概念。

但是理解業務是個需要經驗和理解能力的過程,不同行業都會有不同的特點,所以這 裡需求人員和業務專家的參與就比較重要。另外同樣也不可忽視掉包括專案相關的文件的重要性。

前四個步驟要求一定是有bi經驗人參與的。這 樣看過報表以及系統後,對主題,度量維度等才能有個大體的規劃。試想如果連主題,度量維度都不清楚為何物,那麼此處根本無法進行,包括後續的維度建模。

閒 話:相對國內的bi來說,報表是很容易獲得的,因為大多數專案都是上bi之前,先把使用者手頭上的報表給解決了------即使你不想要使用者也會塞給你,是 啊,一大堆報表看上去挺頭疼的,管它呢,還是看看能發覺出什麼先吧。

模型驗證,根據已建立的維度模型驗證是否能滿足所有的報表需求。同 上,此步驟必須要有bi經驗的人做。如果模型滿足不了統計的要求則重新建模。這裡是需要乙個反覆迭代的過程,每次迭代的結果都要沉澱下來並且形成文件。

反 向確認資料倉儲結構,手動或者系統自動均可,自動生成來說sqlserver從2005就已經支援了,不過為了命名規範,還是手動來生成資料倉儲比較有必 要。

分析資料**及ssis開發。最好是由相關模組的開發人員參與,因為開發人員是對資料結構比較了解的,並且有sql功底,而且還掌握 業務。這一步的目的是填充資料倉儲。可能需要適當ssis培訓。不過,這一步公認是最耗時的。同時,不是所有的統計項就是能從業務那邊解釋的了的,比如某 些統計概念,可能在業務系統從來就沒出現過,但是通過基本資料組合都可以計算出來。所以類似概念,確認計算公式等就需要bi人員承擔起需求的工作去確認。

同時,bi人員需要與業務開發人員協同製作開發資料增量的方案,以配合ssis的開發。還有一種比較好的方法就是開發人員寫sql然後 bi人員用bi的方法將其整合到方案中,總之方法很靈活,關鍵的就是跟開發人員的溝通。

ssas開發,生成多維資料集,確認分割槽,增量等 操作,建議這裡一定要符合ssas的規範,命名約定等,這樣會給後續工作減少很多麻煩。

ssrs等其它開發。這一步需要參與的人員可以靈 活來定,因為是需要一定的mdx經驗,而且有可能需要對團隊進行報表開發培訓。需要指出的一點是,即使到目前的sqlserver版本,用cube作為 ssrs的資料來源開發報表還不是很舒服,相關問題有時間會詳細闡述,同時也希望有些問題能在下乙個版本的sqlserver中解決。

資料 驗證,等同於測試的過程,觀察統計出的資料是否有異常,比如通過單個sql查詢的方式對報表資料進行驗證。如果出險問題,根據問題的實際情況再去確認是哪 個環節出的問題。

最後生產環境的部署,沒什麼好說的了,注意管理好ssrs的報表資源就ok了,比如為了避免相互覆蓋,我們可以要求報表 開發人員不使用共享資料來源等。

此方案還可擴充套件為ssas支援的多維分析專案,相信之前通過對報表等的分析各大主題已經成型了,所以完全可 以直接把cube拿過來用。相信多維分析的方式會吸引住客戶的眼球。前台分析工具很多,再次不一一做介紹。

至於是否可以繼續在此基礎上擴 展資料探勘的經驗,aspnetx認為,這裡會有資源可以繼承,但是能否滿足資料探勘的需求不好說,所以還得根據具體需要解決的問題來出發。

此 外,aspnetx總結的bi專案中四大「最」:

最關鍵的部分:維度建模,這裡準確與否將決定整個專案的成敗,這裡也最需要經驗。

最 有難度的部分:主題確認。對於業務複雜的系統來說,這是乙個需要時間的過程,而且需要反覆迭代。

最累人的部分:ssis開發。sql指令碼 工作比較多,很累人,而且也需要耐心。

最需要的支援:客戶最高領導,記住一定要是說話好使的,遇到問題能當機立斷的,否則會死得很慘。

這 個方案可能在不同人想法裡不太一樣,最常見的是認為應該先對報表進行分析,完後再針對報表內容直接分析資料**,然後根據資料**結果決定如何建模。個人 不建議這樣的方法,這樣的分析工作會變得很繁瑣而且重複勞動多,當然可以先對需要統計的東西彙總然後再一項一項的分析,但是你不認為按照維度建模的方式去 分析是乙個更好的彙總嗎。

總之,仁者見仁,智者見智。還請各位高人提出更好的實施意見。

最後,本人aspnetx四月也 將融入到北漂一族,藉此機會在這裡希望自己能在北京認識更多的朋友。

BI系統AWS雲遷移方案設計 通用

背景 為一家大型企業本地化bi系統做上雲遷移的總體方案。客戶對當前本地的bi系統不滿意,希望遷移到aws雲之後,能夠重新用tableau做新的bi報表設計。所以這不是本地系統的平滑遷移,而是需要在雲上重建bi系統的優化遷移。因此,主要內容是bi資料的遷移,利用aws原生服務和生態廠商服務重建資料倉儲...

演算法設計通用流程原理

第一章 介紹主要內容 核心知識點 課程涉及到的應用案例 深度學習演算法設計通用流程 適應人群 學習本門課程的前置條件 學習後達到的效果等 第二章 目標檢測演算法基礎基本概念 傳統的目標檢測演算法 目前深度學習目標檢測主流方法 one stage two stage 多工網路 相關演算法的基本流程 演...

通用開戶流程及測試重點

體驗了一下開戶流程大多是 輸入姓名 輸入證件號 聯網核查 輸入銀行卡號 輸入手機號 傳送簡訊驗證碼 銀聯資訊鑑權 開戶成功 輸入證件號 輸入證件號一般有兩種方式。一種方式是ocr掃瞄識別的方式,重點自然是針對ocr掃瞄及識別本身功能進行測試,保證能夠識別到並且準確,另外萬一不準確的補救措施。另一種方...