隨著接入的需求方越來越多樣化，對大資料的資料使用、資料儲存與計算的需求也越來越多樣化，同時業務飛速發展，集群的規模也急速擴大。如何在這樣的場景下通過大資料平台，穩定支撐住業務的發展是乙個不小的挑戰。本文分享主要平台工具鏈，技術、選型及架構設計上的一點經驗。
餓了麼的大資料平台團隊成立於2023年5月份左右，在16年4月份，hadoop 集群規模還只在100+節點數，而在一年時間裡集群規模快速增長到1000+的水平，這還是在引入資料生命週期進行管控的情況下的規模增速；同樣，流計算集群的規模雖然相對較小，但也經歷了10倍的增長，一些 topic 的吞吐量已超過百萬每秒。
當前平台部分的邏輯架構如圖1，並持續演進。
餓了麼已經成立9年時間，相對而言資料平台團隊非常年輕，在加入團隊之初面臨了如下挑戰：
因此，主要以效率、質量和持續擴充套件為核心來建設資料平台。
如圖2所示，大資料的技術棧非常多樣化，對於團隊很多初入大資料領域的成員來說很容易在嘗新過程中消耗團隊的生產力，因此在加入團隊初期，首先就要確定在當時條件下的技術選型。
餓了麼註冊餓了團 餓了麼拼團商標
程式設計yi vgdbz客棧 www.cppcns.com 6月16日 訊息 企查查app顯示，餓了麼運營主體公司拉扎斯網路科技 上海 有程式設計客棧限公司於6月8日申請註冊餓了團商標。餓了麼申請的餓了團商程式設計客棧標國際分類包含35類 www.cppcns.com廣告銷售 43類 餐飲住宿等，目...
開放 介面 餓了麼 餓了麼元資料管理實踐之路
多種執行 儲存引擎，分鐘 小時 天級的任務排程，怎樣梳理資料的時間線變化？任務 表 列 指標等資料，如何進行檢索 復用 清理 熱度top計算？怎樣對錶 列 指標等進行許可權控制，任務治理以及上下游依賴影響分析？元資料打通資料來源 資料倉儲 資料應用，記錄了資料從產生到消費的完整鏈路。元資料報含靜態的...
餓了麼專案 一
可以上傳已有的svg圖示，生成對應的css.引入生成的css，就可以用css呼叫相應的圖示 var apiroutes express.router apiroutes.get seller function req,res apiroutes.get goods function req,res ...