本文內容來自由msup主辦的第七屆top100summit大會。分享者王哲涵，時任京東離線平台研發團隊負責人。2023年加入京東，於大資料平台研發部工作, 負責京東大資料平台的架構與研發工作。
時下大資料技術趨於成熟與穩定的今天, hadoop相關服務也不再高高在上, 已是作為如同資料庫般的作為基礎軟體設施提供計算與儲存服務, 京東大資料平台從無到有, 從量到質, 從微創到革新經歷五年的時間, 集群規模一步步由數百到數萬規模的演化過程, 此次分享主要涵蓋面對業務多元化發展, 京東大資料平台持續進化過程中遇到的問題與我們的解決方案。
如果按規模劃分，京東大資料平台演進的幾個重要節點分別是單集群規模達到1200臺、3000臺、5000臺再到2023年的8000臺。在這個過程，京東大資料團隊優化了yarn的排程效能，集群穩定性，計算資源分配並逐步完成儲存和計算分離等工作。
在平台搭建上，中小企業在不具備專業研發團隊的情況下，選擇雲提供商和開源社群的可能性更大，短期來看這會節省大量成本。但是，當集群增長到一定規模，使用雲平台的成本就會相應公升高。京東的離線大資料平台全部在本地實現，使用了不少開源元件也加入了新技術，但京東更加傾向於自我實現而非拿來主義。
所謂拿來主義，更多時候是指借用開源產品和社群的力量，但京東在**修改上下了很大功夫，畢竟一些很小的改動可能為京東節省大量成本。對於元件選用，京東同樣選擇了flink，spark、storm、yarn、hdfs和hbase等常用元件，但是京東在**層面進行了很多改動。以yarn為例，yarn在集群規模達到某個範圍後，其效能是有問題的，京東對該問題進行了修復並持續彌補了其與k8s的差距。
雖然自研往往更容易達到想要的結果，但這一點並不適用於所有體量的公司。對於中小企業而言，一段**優化帶來的成本節省或許比消耗的人力成本更高，同時，中小企業也很難聚攏一批可修改原始碼級別的研發工程師，而這些在大公司眼中又不是問題了。畢竟，大公司聚集了中國絕大部分的優質研發人才，其一點小改動都可能帶來巨大的效能提公升或成本降低。
對於易用性、效能和成本之間的平衡，穩定性是首要考量目標，其次是效能。關於穩定性方面，京東到底做了些什麼呢？
大綱
部分ppt
大資料系列的預設埠 大資料平台常用元件埠號
hadoop 50070 hdfs web ui埠 8020 高可用的hdfs rpc埠 9000 非高可用的hdfs rpc埠 8088 yarn 的web ui 介面 8485 journalnode 的rpc埠 8019 zkfc埠 19888 jobhistory web ui埠 zooke...
大資料平台常用元件埠號
常見埠彙總 hadoop 50070 hdfs web ui埠 8020 高可用的hdfs rpc埠 9000 非高可用的hdfs rpc埠 8088 yarn 的web ui 介面 8485 journalnode 的rpc埠 8019 zkfc埠 19888 jobhistory web ui埠...
大資料平台容量評估 大資料平台
系統概述 大資料應用支撐平台提供資料支撐服務，對外發布資料服務進行資料價值變現。包含資料採集 資料治理 資料交換 資料儲存 資料計算相關元件的搭建 驗證，並建立大資料倉儲。b 功能要求 2.資料治理，由於從資料採集工具採集過來的資料不具備統一的資料標準及資料格式，資料治理工具需要對到達的資料進行格式...