雙11奇蹟背後的大資料平台,不喧嘩,自有聲!

2021-09-01 15:25:30 字數 1863 閱讀 6800

摘要:大資料技術時代,企業爭相數位化轉型,任何成功專案的背後,離不開資料平台的支撐,更別說2135億的大專案,這背後的資料平台要多健壯,多安全,多穩定?

00:02:05 成交額超100億

00:57:56 成交額超666億

01:47:26 成交額超1000億

15:49:39 成交額超1682億

22:28:37 成交額超2000億

2023年雙11新紀錄2135億

高速跳轉的數字,不斷重新整理的狀態,光纜中狂奔的**,鍵盤上飛舞的手指…

新的記錄

絕非十年前的記錄

也非2023年的記錄

是產品專家緊抓不放的記錄

是技術專家誓要征服的記錄

是方案冷靜的記錄

是技術求精的記錄

是框架穩定的記錄

是系統健壯的記錄

資料平台,計算創造價值

2023年,為了從大資料中分析當前狀況,並**未來的趨勢,阿里擁有了第乙個大資料倉儲,到2023年,**的業務量與資料量已達到2023年的數千倍,為了讓資料成為生產資料,從底層重構大資料技術就顯得尤為重要。

2023年春,大資料引擎maxcompute的前身sql engine第一版上線,執行在當時30臺機器的飛天集群上。

2023年,飛天團隊開始探索支撐集團內部數倉業務,在1500臺機器上並行執行雲梯2的生產作業,並取得了不輸於hadoop的效能和穩定性成績。

飛天5k專案之後,maxcompute隨之進入5000臺機器和跨機房排程時代,並且可以在377秒完成100tb的排序。

現在,maxcompute已經成為阿里巴巴的主力計算平台,阿里巴巴集團99%的資料儲存以及95%的計算能力使用maxcompute;每天有超過500萬個作業在平台上執行。

2018完美支撐全球「最猛」交易洪峰

通過maxcompute引擎助力,從2023年雙11開始,千人千面成為常態。maxcompute作為11專案背後大規模計算的秘密**,承受住了雙11期間大規模集群、海量資料、高併發量的極大考驗。

雙11期間,除了天貓、**、阿里集團之外,maxcompute還為金融、支付、新零售等各行業提供強有力的計算服務。

阿里大資料計算能力,走出集團服務全球

幾年過去,通過大資料與人工智慧演算法的結合,maxcompute已成為et大腦最重要的組成部分,et城市大腦自動指揮城市路口訊號燈,並且成功應用於馬來西亞的交通治理;et工業大腦推動工廠取得更好的良品率,致力於幫助製造企業提公升1%的良品率。

從數位化阿里到數位化城市,maxcompute可以承載eb級的資料儲存能力,成為全球首個100tb規模bigbench測試通過的大資料計算平台;在公共雲上覆蓋國內外的十幾個國家和地區,專有雲上部署超過100+套。

maxcompute不只是單一引擎,更是面向企業的完整服務。過去的10年中,maxcompute穩定支撐阿里集團所有資料業務的同時,早已將強大的資料能力普惠給廣泛的雲上企業。基於maxcompute構建穩定、安全、可擴充套件及與應用系統高效互動的資料中臺,已成為眾多行業下客戶數字轉型的首選方案。

從線上到線下,從生產製造到網際網路電商,從國內到海外,maxcompute的計算能力正在延伸到各行各業,極大地降低了社會的計算成本。

每一次挑戰,都讓maxcompute站在新的起點,不喧嘩,自有聲,壯志在胸。

閱讀原文

雙11奇蹟背後的大資料平台,不喧嘩,自有聲!

00 02 05 成交額超100億 00 57 56 成交額超666億 01 47 26 成交額超1000億 15 49 39 成交額超1682億 22 28 37 成交額超2000億 2018年雙11新紀錄2135億 高速跳轉的數字,不斷重新整理的狀態,光纜中狂奔的 鍵盤上飛舞的手指 新的記錄 絕...

雙11奇蹟背後的大資料平台,不喧嘩,自有聲!

摘要 大資料技術時代,企業爭相數位化轉型,任何成功專案的背後,離不開資料平台的支撐,更別說2135億的大專案,這背後的資料平台要多健壯,多安全,多穩定?00 02 05 成交額超100億 00 57 56 成交額超666億 01 47 26 成交額超1000億 15 49 39 成交額超1682億 ...

雙11奇蹟背後的大資料平台,不喧嘩,自有聲!

摘要 大資料技術時代,企業爭相數位化轉型,任何成功專案的背後,離不開資料平台的支撐,更別說2135億的大專案,這背後的資料平台要多健壯,多安全,多穩定?00 02 05 成交額超100億 00 57 56 成交額超666億 01 47 26 成交額超1000億 15 49 39 成交額超1682億 ...