B端大資料應用的架構實踐與思考

2021-09-17 19:18:02 字數 4034 閱讀 2634

infoq:何老師,同樣是處理大資料,您認為b端和c端大資料處理的最大差異是什麼,在架構實踐上需要做出怎樣的針對性調整呢?

何愷鐸:b端和c端的確有比較大的乙個差異,我覺得最核心的一點主要體現在我們的b端需要同時適應多個客戶的場景和需求,有的時候我們也要針對一些行業的特點去進行更高層面的抽象。這裡面主要分析的抽象單位,可能有一些區別。所以在這裡面,我覺得抽象以及抽象對應的實現是b端大資料的應用當中最關鍵的部分,這也是在剛才的演講當中,我們著重去剖析的那個部分。

infoq:那在架構實踐上需要做出哪些針對性的調整呢?

何愷鐸:我覺得主要就是針對這個多租戶的情況,以及在我們的演講當中提到的多型情況去進行比較針對性的設計,建立這樣乙個以元資料配置為中心的架構體系,應該是b端比較顯著的特點。

infoq:企業在做大資料轉型的時候從哪方面切入會比較好呢?

何愷鐸:這是乙個比較大的話題了,我個人的建議是,我們可以針對我們現在企業的業務痛點去入手,圍繞當前這個業務的痛點去分析,對於這塊相關的資料進行妥善的梳理,然後評估針對這一塊和痛點相關的業務資料,能夠幫助我們去發現什麼樣的價值,以及我們可以採取怎麼樣的行動。

infoq:我們知道架構其實是在做一種權衡和取捨,比如在可用性、效能、準確性等方面,對於b端大資料應用的架構來說,哪些方面更為關鍵呢?

何愷鐸:對於b端來講,剛才您提到的這個我們不管是可用性還是效能,這些我覺得都是一樣的。比較有特點的,就是在b端來講,需要注意和成本的平衡,因為不管是人力方面還是硬體方面,我們也沒有辦法去做無盡止的投入,我們需要通過巧妙的架構的設計,能夠在我們的成本和產出之間取得乙個比較好的平衡,在做b端大資料架構的時候的確需要著重去考慮。

infoq:你們在做大資料轉型的過程中曾經遇到過哪些坑嗎?如果有重新再來一次的機會,你們有沒有想到更好辦法繞過它們或解決它們?

何愷鐸:我們在很多不同的產品,不同的研發的過程當中,的確也有一些經驗和教訓,我覺得比較需要小心處理的乙個點可能是關於遺留系統的處理,因為b端的特點決定了它可能會存在很多遺留的系統,或者說系統老的版本,但是我們為了保證客戶服務的穩定性,我們是需要繼續對這些版本進行維護。所以我認為這裡面特別要當心的,主要是在於說,對於,當我們對老版本的進行公升級的時候,需要注意,它和老版本的乙個相容性,能夠保證對客戶有乙個比較平滑的公升級的體驗,這點是非常關鍵的。

infoq:根據現有資料去深入分析挖掘,或者基於業務去獲取資料,你是如何看待這兩種方式的?

何愷鐸:我覺得通過現有資料去分析,它成本比較低,就是我們現在可以看看現在手頭有哪些東西,讓他去給我們一些洞察,但是這個問題沒有乙個一致的答案,因為它最終還是取決於我們前面提到的業務的痛點在**,如果圍繞這個業務的痛點,我們最需要分析的那個方向,它的資料如果是現成的,當然自然是最好,如果並沒有,那我們就需要花力氣去做相關的採集、梳理和治理的工作,這個更多的是取決於我們現有的資料是不是和我們的業務的痛點是匹配的,更多的是圍繞業務的需求去編排、管理、收集我們的資料。

infoq:也就是說這兩種方式沒有絕對的好?

何愷鐸:當然,還是要事先要想清楚,你業務上想要達到什麼目的,再去決定怎麼樣的資料去輔助這個目的。

infoq:企業做大資料轉型時,是不是組織架構也需要做一定的調整?

何愷鐸:這也是乙個非常好的話題,因為我們所有的事情都是和人相關的,最終由人來去落地和執行,企業的組織架構的確會有比較大的影響,在數位化轉型過程當中,不管是程度的深淺,還是進度的快慢,的確會有很大的影響,我見過兩種方式,一種方式更多的是業務驅動,業務部門有比較明確的需求,它來驅動,但是它需要it技術的相關支援。

另外一種方式我們也見過,就是更多的是公司從it去主導這個事情,我們需要建立資料平台,做這個轉型,那麼它需要去聯合我們企業的其他業務部門,來達到這個目的,那麼我個人的感覺,如果說我們要把這個數位化轉型做得順利和徹底,它最好需要得到企業高層的乙個強而有力的支援,讓這件事情不再僅僅從單部門角度去考慮這個事情,而是自上而下,能夠在企業當中去推廣這樣的一種方**,我覺得這樣它的阻力和它最終的這個效果就會很好,這也是為什麼現在很多企業會設立cdo,chief data officer這個職位的,我想乙個很重要的原因,就是為了能夠自上而下去協調整個企業。

infoq:那在這個過程中它會對應用架構產生怎樣的影響?

何愷鐸:應用架構你指的是哪個方面的?

infoq:就是我們那個技術方面的。

何愷鐸:啊,就是對應的這個技術是吧?明白。我覺得它更多的,當這個組織架構梳理得比較清晰了,並且能夠形成這樣的乙個自上而下的這個體系的時候,對我們的應該說是先影響到我們的產品的架構,因為產品會定義我們的組織當中的不同的角色,他們之間的分工,以及乙個事情的流轉的這樣的乙個方式。所以它組織架構首先會影響產品架構,產品架構就會影響我們的技術架構,是這樣乙個邏輯。

何愷鐸:現在的這個應該說在大資料處理方面已經非常成熟,百花齊放的乙個狀態,我們有很多,可能做一件事情也有不同的框架去進行選擇,我的乙個建議呢,是可以根據我們企業現在的人才的乙個情況,我們對於哪一塊比較熟悉,哪一種方式,我們比較駕輕就熟,那麼這樣呢,我們可能能夠花比較少的時間在學習上,而是能夠更多的專注在業務問題的解決上面,這是我的乙個建議,另外乙個建議呢,可能尤其是對於很多傳統企業來講,會推薦使用雲端的一些和大資料相關的一些框架和技術的。因為在雲端我們很方便的,一方面能夠使用到公有雲廠商自己提供的實時處理,或者大資料批量處理的一些解決方案,使用的門檻並不高,另一方面,這些雲也都會提供開源社群比較標準的,開源體系下面大資料處理方案,並且它會隨著這個技術的趨勢,它可以不斷的往裡面去增添新的東西,某種程度上來講跟著雲廠商的節奏對企業來講是乙個不錯的選擇。

infoq:那最後你可以展望一下大資料的未來的發展,你覺得它雖然現在很火,那它是否真的實現落地,然後真的有未來?

何愷鐸:我覺得將來會是這樣的乙個狀態,我們也許不會再去反覆的強調說big data這個詞,而是它會潤物細無聲的,就是自然而然的成為我們生活、業務、企業當中乙個很自然的組成部分,它會無處不在,所以呢,當然它的未來是會前景是非常好的。

infoq:那您認為未來會影響大資料最大的關鍵因素是什麼?技術還是資本,或者說國家層面的一些政策?

何愷鐸:一方面是技術,因為在技術上,我們還是可以看到它有一些很明顯的趨勢,比如說我們的實時和這種批處理的方式在不斷的融合,比如說它的易用性,它的這個使用的門檻也越來越降低,所以這是技術方面的趨勢,至於說未來,我覺得它的確也會受到政策的影響,因為我們也看到這個現在我們對於資料的保護,這個意識越來越強,像歐盟有gdpr的標準,我覺得中國也有我們的網路安全和資料保護相關的法律條例,我覺得我們同時的確也需要對資料有敬畏之心,那麼在一些應用的場合也要,有一些地方要保證合理的克制,比如在廣告的領域,我們可能會對我們的使用者的id,裝置的id,一定要做非常小心的處理,避免它的濫用。

infoq:以上就是我們今天的採訪,非常感謝何老師,謝謝。

何愷鐸:謝謝!

B端大資料應用的架構實踐與思考

infoq 何老師,同樣是處理大資料,您認為b端和c端大資料處理的最大差異是什麼,在架構實踐上需要做出怎樣的針對性調整呢?何愷鐸 b端和c端的確有比較大的乙個差異,我覺得最核心的一點主要體現在我們的b端需要同時適應多個客戶的場景和需求,有的時候我們也要針對一些行業的特點去進行更高層面的抽象。這裡面主...

B端大資料應用的架構實踐與思考

infoq 何老師,同樣是處理大資料,您認為b端和c端大資料處理的最大差異是什麼,在架構實踐上需要做出怎樣的針對性調整呢?何愷鐸 b端和c端的確有比較大的乙個差異,我覺得最核心的一點主要體現在我們的b端需要同時適應多個客戶的場景和需求,有的時候我們也要針對一些行業的特點去進行更高層面的抽象。這裡面主...

B端大資料應用的架構實踐與思考

infoq 何老師,同樣是處理大資料,您認為b端和c端大資料處理的最大差異是什麼,在架構實踐上需要做出怎樣的針對性調整呢?何愷鐸 b端和c端的確有比較大的乙個差異,我覺得最核心的一點主要體現在我們的b端需要同時適應多個客戶的場景和需求,有的時候我們也要針對一些行業的特點去進行更高層面的抽象。這裡面主...