起「煮酒論英雄」。
本期人物:阿里巴巴通用計算平台負責人關濤
以下為關濤講述:
學生時代:一路保送,但可能不是你想象中的學霸
可能我不是那種大家想象中的學霸。愛讀書,但也很愛玩。我覺得興趣是最重要的。讀書經歷的話,一路基本沒考過試。初中到高中是保送,高中到大學因為數學競賽保送了南開大學,讀的計算機專業。選擇計算機,是因為從小特別愛玩遊戲,邊玩還會邊修改存檔,就這樣迷上了計算機。後來大學到研究生,是從南開推薦到了天津大學,帶我的導師在網路方面研究成果很領先,也是通過他在計算機的領域裡走得更深入。
除了遊戲,也很愛運動。工作後沒了那麼多時間玩遊戲,但會一直堅持運動。在微軟時也曾做過微軟中國網球協會主席,拿過微軟大部門網球聯賽的冠軍。很愛單板滑雪,之前也一直堅持在每年的最後一天自駕去不同的滑雪地滑雪。
初入社會:微軟最年輕的技術管理者之一,帶跨國團隊更具挑戰
研究生畢業後,拿到了微軟的offer,一做就是6年。在微軟的第乙個專案,是做基礎架構,主要負責分布式系統。在當時的體量還是很大,團隊有幾千臺機器可以布局。最考驗的是系統的拓展能力,這個經歷也成為了後來逐步往上做的基礎。
第二個專案,是做搜尋後台,那時整個業界搜尋技術也剛起步,可以理解為是從0到1的過程,到後來這個搜尋後台也成為了微軟後台最重要的搜尋架構之一。
做完了這兩個偏儲存層面的後台後,開始往上做,做大資料,更偏重於計算層。也就是在微軟的第三個專案:互動式查詢。從最初牽頭來做這個專案到經歷各種系統的公升級更新,做到後面基本微軟一半以上的團隊都在用這個系統。
做到這裡,在微軟國內已經算是比較資深的員工,剛好在做組織架構調整,希望可以接受更大的挑戰,便決定去到美國那邊的對口組,在那邊工作了兩年的時間。這期間繼續深入做互動式查詢、優化推動等,因為在微軟比較早就開始帶團隊,在美國那邊也是帶團隊,不過這次是多國的戰隊。也是在那時積累了很多團隊管理的經驗,包括如何帶領多國成員組成的團隊,如何與遠端團隊溝通等。
阿里人:從微軟到阿里,技術信念的回歸
在微軟工作將近10年,中國美國都工作過,帶乙個團隊做互動式大資料計算這個領域,當時是乙個比較「得心應手」的狀態。微軟也是大型工作,內部可以換到各種不同的工作和崗位,之前大約每兩年也會make some change。過去的十年,以bat為代表的本土公司也發展的很快,一直很好奇哪些技術、風格、文化上的特點驅動了bat。所以當時有了阿里的機會,也很好奇希望更深入的了解,也算是make a bigger change。
從工作性質上,還是很match,都是大資料引擎(規模上有較大差異),而且阿里在國際化方面有投資,也需要跨國經驗,之前的技術,工程和管理經驗都能復用。
另外,我在很小的時候,有一次到中關村玩。有兩個廣告牌給我留下了深刻的印象,到現在我都記得,乙個是聯想的「人類失去聯想,世界將會怎樣」,乙個是金山軟體「為國產軟體的發展而奮鬥」,這兩個廣告體現了。。。。。。。兜兜轉轉十年,轉回到阿里,做通用計算平台(maxcompute),也算是為國產軟體而奮鬥了。
在微軟做了近10年,一路都是在核心專案上深挖,也是在業界比較領先的技術上向前走,當時國內的bat也有了加速的發展,很多地方速度超越了微軟、谷歌這樣的外企,正巧阿里在西雅圖成立了分部,對阿里技術一直比較看好,再加上技術線和自己也很匹配,便來到了阿里,成為了當時阿里西雅圖分部的第22名員工。
之前也一直帶北京和美國的團隊。這次在阿里,我管這個叫「兩岸三地工作」(太平洋兩岸,北京,杭州,西雅圖),這個工作狀態,確實工作更忙一些,很多會議需要照顧兩邊的時差,但這也是必要的。杭州和北京團隊setup都很齊整,西雅圖是我們最近兩年的海外研發中心,特別的西雅圖的「雲谷」,雲計算北美的三巨頭都在,希望通過海外人才的引進,進一步提公升我們競爭力。這方面需要加大投資,付出一些時間和溝通成本也是值得的。
隨著三邊團隊融合和成熟,情況已經不錯了。研發全球化一些優勢已經開始體現,例如24小時全球事情cover的值班能力,國內/海外的客戶和合作夥伴會議,可以就近參加(例如與intel美國團隊的合作,由西雅圖同學完成)。
責任:在阿里,開啟的是一場大的硬仗
在阿里我有一種感覺,就是事比人多,可做的事情非常多。就好像帶領乙個大戰隊,去打一場很大很持久的硬仗。關於計算平台,你可以想象一座航母,本身系統很複雜,週期也很長,這個航母的每次轉型都耗資巨大,但如果轉型的方向正確,戰鬥力裡一定會非常地強。計算平台之於阿里,便是類似這樣乙個存在。
在阿里負責的是帶整個計算平台(maxcompute)的團隊,在之前,阿里是各個業務部門會搭自己的資料平台,現在是統一收到乙個統一的大後台中,計算平台便是這個統一的平台,也是整個阿里巴巴的資料中心。阿里內部超過95%的資料都在這個平台上,每月的月活有一萬多人,也就是每4個阿里員工中就會有1個人在用這個系統,每天的獲閱量有300萬左右。阿里這麼多業務線的資料彙總在一起,資料也就具有了一加一大於二的特性,所有這些資料綜合在一起也是阿里巴巴最大的資料價值之一。如果這個平台一旦不工作,舉例說,像支付寶的商戶訂單、商家商戶的統計資訊以及商品的維度資訊等都會缺失掉,影響是非常難以想象的。
來到阿里,最開始就在和其他架構師一起,對這個計算平台進行一次全面的革新,將效能提公升了一倍。一倍可能很多人會沒有明確的概念,舉例來說,效能提公升5%可以省去的預算時乙個億,那麼一倍的話其實是節省了20億的預算。
計算平台最典型的應用,便是每年的雙十一。雙十一期間我們團隊會值48小時的班,第一天支撐實時流量和互動式查詢,第二天需要支撐分量的資訊,中間不能有間斷。每年雙十一結束的時候,計算平台也會迎來全年最大的洪峰期,資料量會暴漲三倍到五倍的樣子,非常考驗整個資料平台的能力,所以真的是一場很大的硬仗。
對未來的展望:讓計算平台(maxcompute)成為阿里的「水電煤」
針對計算平台的未來,是希望它可以普及成為「水電煤」一般的基礎設施。具體的方向,一是要有匠心也要有深耕,要從以業務為主能上能下,轉變為可在某乙個領域深耕,能夠打造業界影響力的乙個狀態。二是生態線上有非常多的地方值得我們學習,也值得去整合,希望可以做到閉源系統與開源平台很好的互動,在保證資料資源都統一的基礎上,能夠保有既有資源系統最核心的能力,比如更安全、更高效、功能更強的優勢,也能支撐開源系統更好的生態性,從而找到這中間的結合點。我也很堅信,目前我們做的方向是對的。希望自己可以帶領阿里計算平台這座航母,開得更遠。
就我個人而言,也是希望可以以內部和外部業務為導向,把計算平台(maxcompute)這座航母本身的戰鬥力提公升上來,在業務、科研、高校等領域打造影響力,把它打造為世界上最好的計算平台(maxcompute)。
1.關濤的個人部落格
2.阿里巴巴大資料-玩家社群
舞動的橋 阿里雲首個百萬IOPS雲盤的背後
摘要 近日,阿里雲推出了首個百萬iops的essd雲盤服務,效能上有50倍的飛躍,同時還具備超高吞吐 超低時延等特性,在真實業務場景中,postgresql資料庫的寫入速度快了26倍。如此超高的效能,有人會問,阿里雲到底用了什麼秘密技術?安全係數如何?本文將從冗餘設計思路出發,分享阿里雲是如何建立儲...
深度解析雙十一背後的阿里雲 Redis 服務
在一片歡呼之中,2018年的雙十一完美收官,各項資料不出意外的刷出了新的記錄,亮眼的資料背後是阿里過硬的技術支撐。其中阿里雲redis不僅保障了阿里集團內部業務雙十一的流量洪峰平穩度過,也讓使用阿里雲redis的各個客戶度過了乙個安穩省心的雙十一。目前阿里雲redis涵蓋了豐富的產品形態 主從 集群...
深度解析雙十一背後的阿里雲 Redis 服務
在一片歡呼之中,2018年的雙十一完美收官,各項資料不出意外的刷出了新的記錄,亮眼的資料背後是阿里過硬的技術支撐。其中阿里雲redis不僅保障了阿里集團內部業務雙十一的流量洪峰平穩度過,也讓使用阿里雲redis的各個客戶度過了乙個安穩省心的雙十一。目前阿里雲redis涵蓋了豐富的產品形態 主從 集群...