近線模組
該層主要是利用流式處理的技術對使用者實時產生的行為日誌進行加工，利用一些高效、高效能的演算法生產有價值的資料
,如處理演算法資料召回、實時資料統計等等。
如圖，近線模組-
流式日誌資料傳輸分為以下幾個部分：
資源排程管理
如下圖，機器動態劃分分組，可以按業務進行劃分，也可以按照模型資源情況進行劃分。
資源排程管理的作用在於：
-儲存在儲存上實現多樣性，根據不同的場景與效能指標採用不同型別的儲存組合，實現業務隔離，根據模型的儲存情況劃分結果，實時調動管理所有分配資料。
：一般用來處理一次請求中訪問資料頻次超高但資料容量不需要太大的資料，如
lr模型資料。
mysql
、hbase
、redis
：這三種儲存的選擇一般從效能和各自的特性出發點來選擇最合適的，各自都是集群的方式，
mysql
可以按業務資料進行拆分成不同的集群進行訪問。
離線
-機器學習平台
我們的離線
-機器學習平台可以呀提供特徵工程、統計、訓練、評估、**和模型發布等功能，覆蓋機器學習全流程，演算法同學可以通過拖拽的方式就能完成模型訓練和評估。
其優勢在於：
監控告警
整個模型和訓練的過程都是處於離線和分布式環境下，監控在整個系統中必不可少。我們的監控告警系統的特點是：
四、魅族推薦平台挑戰和願景
支撐起百億條/每天的日誌進行實時計算，毫秒級別的進行使用者模型更新；
支撐更多的魅族產品線業務；
推薦平台對外開放，能為行業其它的企業提供專業的推薦服務；
深度學習整合。
魅族推薦平台架構
做推薦模組的可以看看 閱讀字數 t.cn r9aqnzv 推薦可以提公升整體的系統目標，增加使用者粘性，提高使用者忠誠度，發現長尾。支撐5個以上的大產品線的不同場景的推薦業務需求，保證業務穩定執行，可用性達到99.9 推薦場景當次請求響應在100毫秒以內，一天需要支撐億級別的pv量。針對於每乙個使用...
SOA平台架構解析
大家看到圖可能有點暈了，不怕現在我們一起梳理一下 從上面的圖，我們可以看出阿里巴巴將我們的應用進行了拆分 分成了服務提供者 provider 和服務消費者 consumer 註冊中心專心做自己的註冊工作並暴露服務位址 監控中心進行對服務呼叫的情況進行統計，分別用圖形的形式展現出來。具體乙個服務的呼叫...
倪江利 魅族推薦平台的架構演進之路
3.1 第一代架構 上圖展示的是我們的第一代架構，在這個圖里可以看到整個過程比較簡單，可以通過這個一線模型計算，計算以後整個使用者的資料通過這個模型直接寫到庫里。第一代架構存在的問題 這個架構能夠滿足 使用者訪問量在幾十萬或者幾百萬規模的資料處理需求。但是當使用者訪問量呈現大規模增長，問題就暴露出來...