簡介：本次分享介紹客如雲如何利用阿里雲大資料產品來建設資料中臺。 客如雲是2023年成立的一家公司，覆蓋餐飲、零售、美業，還有其他的業態以及服務的一家綜合性的saas公司。到2023年為止，客如雲已經服務了60萬商家，幫助60萬商家實現了數位化、智慧型化的改造，接下來我們會覆蓋更多的商家。客如雲技術總監 李浩本次分享介紹客如雲如何利用阿里雲大資料產品來建設資料中臺。
客如雲是2023年成立的一家公司，覆蓋餐飲、零售、美業，還有其他的業態以及服務的一家綜合性的saas公司。到2023年為止，客如雲已經服務了60萬商家，幫助60萬商家實現了數位化、智慧型化的改造，接下來我們會覆蓋更多的商家。
目前客如雲是四中心的架構，我們的研發中心在成都，硬體研發中心在深圳，總部在北京，銷售中心在武漢。接下來主要介紹我們的業務範圍：客如雲是以軟硬一體的saas收銀服務為核心的，所以saas收銀系統的硬體和軟體是我們第一層，是我們的效率工具。第二層，我們和餐飲、零售的友商企業一起打造的人、財、物、客的生態系統。第三層，我們利用增值服務，比如營銷、**鏈、人效、商業智慧型、金融服務，還有大資料的應用，去滿足各層級的商家的需求。從s1到s5，所有的大小品牌我們是全覆蓋的。我們的願景是幫助客戶，幫助商家實現店開天下，客如雲來，而我們從中能夠更好的服務於商家，幫助商家提效降本，去獲得更多的營收，降低更多的成本。
目前客如雲整體的系統全部建設在阿里雲的服務之上，保證了在較少的資源的情況下，支撐我們現在成為平台級的公司。
接下來介紹一下，我們如何利用阿里雲的產品來進行資料中臺建設的。大家都知道阿里巴巴的資料中颱是3個one的核心，one id，one data，one service。在基礎設施的完善之上，首先我們要做到資料整合，所以我們利用了阿里雲的datahub、dataworks、dts等產品，把我們的業務資料統一到我們的hadoop集群裡面，然後我們現在再遷移到我們的maxcompute裡面，利用大資料的產品來進行整個資料倉儲的建設。maxcompute幫助我們實現了整個離線資料的計算和儲存，包括數倉空間的建設，然後我們利用pai建設了我們的演算法中心和機器學習的樣板，利用flink的技術打造了實時計算的平台。我們在這些實時計算和離線計算的基礎之上，建立了統一的查詢服務。利用阿里雲的hologres產品，實現了我們的一體式查詢的one service的理念。
在這個基礎上，我們保證了我們整個的資料應用，包含我們內部的資料應用，bi的產品，還有外部的資料應用，大屏，還有報表，還有整個的演算法，智慧型推薦、精準營銷等這塊的整個的實現，建立了我們客如雲的資料中臺，然後快速的滿足了我們的內部使用者和外部使用者的資料需求。
接下來我們再講一下，在這個過程中，我們如何利用阿里雲的產品來幫助解決我們的哪些痛點問題？
首先我們看到的是我們原先是自建的hadoop集群，難以維護，因為成本很高。我們經過了一年的努力，把整個hadoop集群換成了maxcompute，這樣的效果很明顯，我們的運維成本降低了1倍，計算速度增加了8倍，保證了我們快速交付etl等計算處理的能力，給到業務線來使用。
第二個問題，我們遇到了很多資料安全的問題，自建的hadoop集群沒辦法做資料審計，所以我們用到了阿里雲的敏感資料保護產品sddp，來進行資料的分級分類，保護我們的產品，實現資料的零洩漏。同時我們自建的presto集群做互動式查詢時和我們的maxcompute又不能相互融合，我們調研了以後發現hologres的產品，相對來講比presto效能更好一些，所以我們用hologres的產品代替了presto，保證了我們可以直接從maxcompute裡查詢，使整個互動實現了無縫對接。接著我們遇到了一些資料模型，資料建模的產品，目前還在調研dataphin產品，實現整個的資料模型的建設。
我們最大的痛點是實時大屏的效能問題，這個時候我們發現用flink的技術，再加上quickbi能解決我們的前端和後端的問題。接下來我們以實時大屏為核心，來介紹一下我們怎麼樣應用的，然後怎麼樣解決掉這個問題的。
資料大屏我們遇到的難點第乙個是我們的資料來源太多了，我們用到了mysql、 rds、mongodb、redis、es等多種資料**，我們要把這些資料**統一的匯聚，解決掉我們的資料來源多的問題。第二個是我們的大屏效能方面，現在我們資料量特別大，然後樣式又特別多，需求特別複雜，這個時候怎麼樣去解決掉這個問題。接著是看到這些需求，生成這些資料後，如何快速的在前端展示，這也是乙個很大的問題。所以我們在調研quickbi產品的時候，發現確實是能夠解決我們這方面的問題。
我們再來看一下我們是如何解決掉問題的。第乙個問題，我們其實主要還是要做資料的治理，源資料的管理，血緣關係，甚至是一些多資料來源的處理，減少我們的現有的集群。第二個問題，因為資料量大，現在各類企業其實有著海量的資料，需要解決快速查詢的問題，方案就是我們利用阿里雲的實時計算平台，基於flink開源技術，解決了我們整個的查資料速度的問題。我認為整個的阿里雲的flink技術確實是能夠更快的查詢到想查詢的海量的資料，它的效能和高擴充套件性我們確實是得到了體驗，我覺得在這塊領域阿里雲還是名列第一的。而在整個大資料前端這塊，我們發現的問題是渲染慢。但是我們用quickbi自定義拖拽，快速地去定義資料源，匯入到不同的框標裡面，可以快速的查詢出來。
上面是解決了一些問題，接下來介紹客如雲的實時計算平台是怎麼樣的架構。我們通過4個層，基礎資料層，實時計算層、介面層和展示層來架設我們的實時計算平台。重點講一下我們的實時計算層，計算層這塊其實我們有一些需求，不單是當天的資料，比如說商家要看這個月現在為止我們的營業額是多少，他不但需要當天的資料，還需要從8月1號到現在為止，所有的資料。所以它會體現到我們不但要有流表的接入，還要有維表的接入，還要有聚合計算，從而形成了乙個資料流。多流的匯聚，實現了我們在介面層的呼叫的情況下，展示層能夠展示到我們當天能滿足商家每個維度的需求的資料，就像我舉的那個例子一樣，能夠看到當月到現在為止它的營業額是多少，這樣的乙個場景。所以說我們實時計算的平台主要是為了滿足業務各方面的需求。
接下來分享一下實際應用的場景。我們已經幫著一些菜市場實現了資料大屏。這塊的展示主要是當天的銷量是什麼，哪個銷量最好，這樣能夠幫助商家了解第二天進什麼貨更合適。這個大屏的應用實際上已經是能夠幫助商家在實際的生活場景裡面得到很好的體驗。
bi應用主要是為內部客戶使用，我們的運營團隊、銷售團隊、研發團隊還有其他團隊，能夠保證我們整個的在資料的分析運營和輔助決策裡面起到很大的作用，節省很多的管理層的成本和時間。利用我們的bi產品，可以解決這樣的需求。
總結一下主要介紹的三點，乙個是客如雲是幹什麼的？客如雲是要幫助我們的餐飲、零售、美業的商家，實現店開天下、客如雲來的願景的saas公司。第二點是客如雲如何利用阿里雲的大資料產品來建設客如雲的資料中臺。第三點是客如雲如何利用實時大屏、我們的商家畫像產品以及其他大資料應用產品，來賦能商家。
感謝大家！
更多大資料客戶實戰案例：
阿里雲 vs Azure 大資料
本文比較了azure和阿里雲提供的資料庫服務，以幫助專業人士了解兩者的差異和共同點。無論您計畫從azure遷移至阿里雲，或是選擇同時使用azure 阿里雲的多雲模式，本文都將幫助您了解阿里雲的資料庫服務。阿里雲將資料庫服務分為如下表中的服務型別，每種型別提供了各具特點的產品，本文將從以下列表中重點介...
阿里雲大資料元件選型
大資料使用場景e mapreduce 產品當前主要滿足企業的以下大資料場景 批處理場景該場景對磁碟吞吐和網路吞吐要求高，處理的資料量也大，但對資料處理的實時性要求不高，您可選用 mapreduce pig spark 元件。該場景對記憶體要求不高，選型時您需要重點關注大作業對 cpu 和記憶體的需求...
大資料 阿里雲資料整合平台使用教程
資料整合 data integration 是阿里集團對外提供的可跨異構資料儲存系統的 可靠 安全 低成本 可彈性擴充套件的資料同步平台，為20 種資料來源提供不同網路環境下的離線 全量 增量 資料進出通道，是阿里集團對外提供的穩定高效 彈性伸縮的資料同步平台。致力於提供複雜網路環境下 豐富的異構資...