關於目前某遊戲直播平台數倉建設規劃的思考3

2021-09-11 11:25:01 字數 534 閱讀 5396

dwh層初始的想法是分主題後再按正規化及維度進行建模,但今天跟乙個同行【大搜車】聊到他們在這一層的做法是:先做基於明細級別的多維度寬表,這個寬表包含事務主鍵、維度、指標以及對應的屬性字段資料,然後再進行按天的資料粒度彙總。

現在回想起在蘇寧的數倉做法,及另一前同事在天源迪科的數倉建模描述,也是大致按這種方式進行的。所以,綜合考慮,可能要捨棄【思考2】中在dwh中兩種建模方式的表述,統一採用寬表的建模方式。

dwh層【正規化+維度】的方法,應該也是乙個不錯的方案,既能滿足資料整合的需要,使資料不至於太冗餘;也能夠滿足明細維度指標資料,提前預處理的需求。但目前了解到的大部分都是dwh層都是進行明細級別寬表建模,然後選擇性的再進行按日粒度的低級別彙總;對於寬表中屬性欄位就會產生很不必要的冗餘。但凡事都有兩面性,綜合考慮還是採用比較流行的這種簡單粗暴的dwh層寬表資料建模方法。

之前的文章【中提到的這一層建模方法,現引用如下:

關於目前某遊戲直播平台數倉建設規劃的思考2

阿里雲e mapreduce,主要啟用hive工具作為數倉的載體,熱資料儲存在hdfs上,冷資料及規模資料儲存在阿里雲oss上。etl採用python編碼及封裝hql sqoop datax,最後由airflow統一進行排程。結合傳統行業及移動網際網路行業的不同特點,及大資料平台下數倉建設的實際,分...

直播平台搭建中關於直播推流的三種常見協議

直播行業經過爆發式增長後 荷爾蒙經濟 逐漸減退,如今的直播行業商業模式已經趨於成熟,並開始進入發展的新階段。直播平台搭建專案也早已成為熱門開發專案,但是在進行專案開發之前,關於直播的推拉流也是需要進行了解的。而推流是直播的第一步,所以今天給大家簡單分享一下推流中都有哪些推送協議和他們的現狀及優缺點。...

遊戲直播平台鬥魚獲新一輪融資 騰訊獨家40億元投資

新浪科技訊3 月 8 日上午訊息,據雷帝觸網爆料,遊戲直播平台鬥魚獲騰訊 40 億元投資,與騰訊深度戰略繫結。鬥魚方面對外界傳聞不予評論。這也是此前獲得騰訊兩輪融資後,鬥魚再獲得騰訊融資。資料顯示,鬥魚直播最新一輪的d輪融資於 2017 年上半年完成,招銀國際領投,南山資本通過元禾母 跟投,也藉此引...