資料中臺(讀書筆記) 6 資料服務

2021-10-07 13:41:04 字數 2306 閱讀 9386

資料服務就是把資料變為一種服務能力,通過資料服務讓資料參與到業務之中,啟用整個資料中臺,這也是資料中颱的價值所在。

資料服務是對資料進行計算邏輯的封裝(過濾條件、多維分析和演算法推理等計算邏輯),生成api,上層資料應用可以對接資料服務api,讓資料快速的應用到業務場景中。

按照資料和計算邏輯的封裝不同,資料服務可以分為以下三類:

(1)查詢服務

【三個特徵】

a.可以根據查詢標識快速查詢

b.可以新增過濾項實現查詢資料篩選功能

c.支援返回結構的分頁和排序功能。

【實現過程】

step1:資料接入 - 通過資料庫連線或者api把資料連線進來

step2:資料查詢 - 通過傳參或者圖形化介面驚醒查詢配置。一般設定查詢標識和過濾條件。

step3:結果規則配置 - 對查詢的結果進行排序和分頁等。

step4:能力開放 - 查詢的結果生成乙個api供上層應用呼叫。

(2)分析服務

分析服務就是對各種資料進行統計分析的方法,對資料進行任意維度的資料分析挖掘,以支援資料化運營、分析決策等場景。常見的如bi工具等。

【四個特徵】

a.支援多資料來源接入,支援hive、es、greenplum、clickhouse等

b.高效能繼續分析查詢,要求服務內建高速計算引擎,實現億級資料毫秒級分析和計算,減少使用者等待時間。

c.多維資料分析,除了支援常規的資料分析、上捲下鑽、切片切塊,還要支援多維度的資料分析和資料探勘,發現資料背後的關聯關係。

d.靈活對接業務系統,分析服務提供包括介面url、後端資料型別、介面請求模式等多個配置項,最大限度的滿足需求。

【實現過程】

step1:資料接入 - 通過資料庫連線或者api把資料連線進來

step3:能力開放 - 自動生成api對外開放,注意要加許可權管控。

(3)推薦服務

推薦服務既所謂的千人千面,對於不同的人對物的行為進行資料探勘、構建人和物之間的關聯關係,來推薦人、物以滿足使用者的興趣愛好,以提公升使用者對業務的黏性。每個人開啟**看到的內容不一樣這就是基於人的興趣偏好的推薦服務能力。

【三個特徵】

a.支援不同行業的推薦 - 電商行業、直播行業、內容資訊等

b.支援不同場景的推薦 - 同乙個行業中對於推薦的使用也存在不同的場景。

c.支援推薦效果優化 - 推薦的終極目標就是成為使用者的貼心管家。不需要使用者的思考就推薦出使用者想要的物品和資訊。

【實現過程】

step1:資料接入 - 選擇行業和場景模板(產品經理角度出發整理)

step2:資料接入 - 這裡只原始資料接入,通常接入的分三類。一類是使用者相關的資料,二類是物品相關的資料,三類是關係類資料(使用者和物品發生關係的資料)。

step3:引數設定 - 通過引數設定可以便捷的配置推薦的模型結構、樣本指向、目標設定、輸入輸出格式等引數,推薦模型既會在設定的引數下開始自動化訓練執行,直到模型穩定下來後,產出推薦結果或穩定的推薦模型。

step4:能力開放 - 通過模型訓練之後產生乙個可以呼叫的推薦api,該api支援傳入id引數,實時和離線計算之後,將適配該行業或場景下的推薦資料輸出返回到相應的上層應用系統中去。

step5:資料回流 - 上層使用推薦服務提供的資料,產生的效果資料回流到推薦模型,通過不斷的修正推薦模型,大大提高推薦的準確度。 

(4)圈人服務

各行各業都設計到廣告營銷,如何找到對的人推廣廣告成了大資料場景要解決的問題,圈人服務應運而生,通過人群圈選服務,通過api的刑事對接應用上層的營銷系統,從而實現營銷服務精確觸達。

【三個特徵】

(1)支援人群圈選

圈人服務的核心就是人群圈選,通過sql**或者標籤取值組合方式實現人群查詢,幫助使用者找到對的人群。

(2)支援人群計量

圈人之後還要考慮是否符合預期。如果過於預期要追加條件,選出更精準的人群;如果少於預期,建議放寬篩選條件,或者繼續圈選其他合適的人群。

(3)支援多渠道對接

確認人群名單之後,需要將人群名單匯出到下游系統。最簡單的就是匯出檔案,再有業務人員匯入到業務系統中。

【實現過程】

step1:資料接入 - 通過資料庫連線或者api把資料連線進來

step2:人群圈選 - 1.sql**編輯器(面向程式設計人員) 2.圖形化介面(面向業務人員)

step3:能力開放 - 和其他服務一樣,通過api向上層應用提供。

常見應用

常見的三種應用:

a.資料大屏

b.資料包表

c.智慧型應用-圈人服務

《資料中臺 讓資料用起來》讀書筆記

本篇部落格是通過閱讀 資料中臺 讓資料用起來 結合現在自己正在乙個資料中颱還沒成體系化的公司中的一些工作經歷寫的一些筆記和個人感想。一直很喜歡資料產品經理這個崗位,也希望有一天能夠真正理解資料中颱的含義和構建過程,能夠獨自帶領搭建乙個公司的資料中臺 1 資料化平台 特徵 充分協同並融入業務流程,統一...

資料中臺( 讓資料用起來) 讀書筆記10

2020.11.17 1 中臺資料體系特徵 2 四個資料分層 3 資料讀取規則 資料讀取有嚴格的規範要求 1 貼源層概念 是全企業資料的集中儲存處,除了對非結構化資料進行結構化處理以及對相同資料進行整合外,並不對業務資料進行過多清洗加工,盡可能保留資料的原始狀態。2 貼源層建設目標 把企業的全域原始...

資料中臺( 讓資料用起來) 讀書筆記15

2020.12.23 資料安全管理 1 企業內部挑戰 2 對發資料服務商的挑戰 針對支撐公有雲或私有雲各類技術服務商。3 資料許可權問題 在進行大資料收集 處理和應用過程中,必須做到權責分明,釐清資料權屬關係,防止資料流通過程中的非法使用,保障資料安全使用。1 資料生命週期 大資料時代,資料具有高流...