導 讀
大資料是眼下非常時髦的技術名詞，與此同時自然也催生出了一些與大資料處理相關的職業，通過對資料的挖掘分析來影響企業的商業決策。
這群人在國外被叫做資料科學家(data scientist)，這個頭銜最早由d.j.pati和jeff hammerbacher於2023年提出，他們後來分別成為了領英(linkedin)和facebook資料科學團隊的負責人。而資料科學家這個職位目前也已經在美國傳統的電信、零售、金融、製造、物流、醫療、教育等行業裡開始創造價值。
不過在國內，大資料的應用才剛剛萌芽，人才市場還不那麼成熟，「你很難期望有乙個全才來完成整個鏈條上的所有環節。更多公司會根據自己已有的資源和短板，招聘能和現有團隊互補的人才。」領英(linkedin)中國商務分析及戰略總監王昱堯對《第一財經週刊》說。
資料工程師是做什麼的?
於是每家公司對大資料工作的要求不盡相同：有的強調資料庫程式設計、有的突出應用數學和統計學知識、有的則要求有諮詢公司或投行相關的經驗、有些是希望能找到懂得產品和市場的應用型人才。正因為如此，很多公司會針對自己的業務型別和團隊分工，給這群與大資料打交道的人一些新的頭銜和定義：資料探勘工程師、大資料專家、資料研究員、使用者分析專家等都是經常在國內公司裡出現的title，我們將其統稱為「大資料工程師」。
由於國內的大資料工作還處在乙個有待開發的階段，因此能從其中挖掘出多少價值完全取決於工程師的個人能力。已經身處這個行業的專家給出了一些人才需求的大體框架，包括要有計算機編碼能力、數學及統計學相關背景，當然如果能對一些特定領域或行業有比較深入的了解，對於其快速判斷並抓準關鍵因素則更有幫助。
雖然對於一些大公司來說，擁有碩博學歷的公司人是比較好的選擇，不過阿里巴巴集團研究員薛貴榮強調，學歷並不是最主要的因素，能有大規模處理資料的經驗並且有喜歡在資料海洋中尋寶的好奇心會更適合這個工作。
你可以將以上這些要求看做是成為大資料工程師的努力方向，因為根據萬寶瑞華管理合夥人顏莉萍(nicole yan)的觀察，這是乙個很大的人才缺口。目前國內的大資料應用多集中在網際網路領域，有超過56%的企業在籌備發展大資料研究，「未來5年，94%的公司都會需要資料科學家。」顏莉萍(nicole yan)說。因此她也建議一些原本從事與資料工作相關的公司人可以考慮轉型。
沈志勇認為如果把大資料想象成一座不停累積的礦山，那麼大資料工程師的工作就是，「第一步，定位並抽取資訊所在的資料集，相當於探礦和採礦。第二步，把它變成直接可以做判斷的資訊，相當於冶煉。最後是應用，把資料視覺化等。」
因此分析歷史、**未來、優化選擇，這是大資料工程師在「玩資料」時最重要的三大任務。通過這三個工作方向，他們幫助企業做出更好的商業決策。
1.找出過去事件的特徵
2.**未來可能發生的事情
通過引入關鍵因素，大資料工程師可以**未來的消費趨勢。在阿里媽媽的營銷平台上，工程師正試圖通過引入氣象資料來幫助**賣家做生意。「比如今年夏天不熱，很可能某些產品就沒有去年暢銷，除了空調、電扇，背心、游泳衣等都可能會受其影響。那麼我們就會建立氣象資料和銷售資料之間的關係，找到與之相關的品類，提前警示賣家周轉庫存。」薛貴榮說。
3.找出最優化的結果
根據不同企業的業務性質，大資料工程師可以通過資料分析來達到不同的目的。
作為電商的阿里巴巴，則希望通過大資料鎖定精準的人群，幫助賣家做更好的營銷。「我們更期待的是你能找到這樣一批人，比起現有的使用者，這些人對產品更感興趣。」薛貴榮說。乙個**的例項是，某人參賣家原來推廣的目標人群是產婦，但工程師通過挖掘資料之間的關聯性後發現，針對孕婦群體投放的營銷轉化率更高。
需要具備的能力
1.數學及統計學相關的背景
就我們採訪過的bat三家網際網路大公司來說，對於大資料工程師的要求都是希望是統計學和數學背景的碩士或博士學歷。沈志勇認為，缺乏理論背景的資料工作者，更容易進入乙個技能上的危險區域(danger zone)—一堆數字，按照不同的資料模型和演算法總能捯飭出一些結果來，但如果你不知道那代表什麼，就並不是真正有意義的結果，並且那樣的結果還容易誤導你。「只有具備一定的理論知識，才能理解模型、復用模型甚至創新模型，來解決實際問題。」沈志勇說。
2.計算機編碼能力
實際開發能力和大規模的資料處理能力是作為大資料工程師的一些必備要素。「因為許多資料的價值來自於挖掘的過程，你必須親自動手才能發現金子的價值。」鄭立峰說。
3.對特定應用領域或行業的知識
在顏莉萍(nicole yan)看來，大資料工程師這個角色很重要的一點是，不能脫離市場，因為大資料只有和特定領域的應用結合起來才能產生價值。所以，在某個或多個垂直行業的經歷能為應聘者積累對行業的認知，對於之後成為大資料工程師有很大幫助，因此這也是應聘這個崗位時較有說服力的加分項。
「他不能只是懂得資料，還要有商業頭腦，不論對零售、醫藥、遊戲還是旅遊等行業，能就其中某些領域有一定的理解，最好還是與公司的業務方向一致的，」就此薛貴榮還打了個比方，「過去我們說一些奢侈品店員勢利，看人一眼就知道買得起買不起，但這群人恰恰是有敏銳度的，我們認為他們是這個行業的專家。又比如對醫療行業了解的人，他在考慮醫療保險業務時，不僅會和人們醫院看病的記錄相關，也會考慮飲食資料，這些都是基於對該領域的了解。」
職業發展
1.如何成為大資料工程師
由於目前大資料人才匱乏，對於公司來說，很難招聘到合適的人才—既要有高學歷，同時最好還有大規模資料處理經驗。因此很多企業會通過內部挖掘。
2023年8月，阿里巴巴舉辦了乙個大資料競賽，把天貓平台上的資料拿出來，去除敏感問題後，放到雲計算平台上交予7000多支隊伍進行比賽，比賽分為內部賽和外部賽。「通過這個方式來激勵內部員工，同時也發現外部人才，讓各行業的大資料工程師湧現出來。」
顏莉萍(nicole yan)建議，目前長期從事資料庫管理、挖掘、程式設計工作的人，包括傳統的量化分析師、hadoop方面的工程師，以及任何在工作中需要通過資料來進行判斷決策的管理者，比如某些領域的運營經理等，都可以嘗試該職位，而各個領域的達人只要學會運用資料，也可以成為大資料工程師。
2.薪酬待遇
作為it類職業中的「大熊貓」，大資料工程師的收入待遇可以說達到了同類的頂級。根據顏莉萍(nicole yan)的觀察，國內it、通訊、行業招聘中，有10%都是和大資料相關的，且比例還在上公升。顏莉萍(nicole yan)表示，「大資料時代的到來很突然，在國內發展勢頭激進，而人才卻非常有限，現在完全是供不應求的狀況。」在美國，大資料工程師平均每年薪酬高達17.5萬美元，而據了解，在國內頂尖網際網路類公司，同乙個級別大資料工程師的薪酬可能要比其他職位高20%至30%，且頗受企業重視。
3.職業發展路徑
由於大資料人才數量較少，因此大多數公司的資料部門一般都是扁平化的層級模式，大致分為資料分析師、資深研究員、部門總監3個級別。大公司可能按照應用領域的維度來劃分不同團隊，而在小公司則需要身兼數職。有些特別強調大資料戰略的網際網路公司則會另設最高職位—如阿里巴巴的首席資料官。「這個職位的大部分人會往研究方向發展，成為重要資料戰略人才。」顏莉萍(nicole yan)說。另一方面，大資料工程師對商業和產品的理解，並不亞於業務部門員工，因此也可轉向產品部或市場部，乃至上公升為公司的高階管理層。
***********************************=分割線******************************==
如何成為一名 Google 軟體工程師？
簡歷篩選 訪談 現場面試 offer發放 面試包括哪些內容？如何對申請人的工程技能進行評估？我們會根據以下四個方面來進行評估 如何準備面試？認識google員工？和他聊聊他在google的經歷。讓他成為你的推薦人，或者讓招聘者知道誰可以成為你的推薦人。在實際面試過程中 我是在校生，離畢業還有兩三年的...
如何成為一名出色的技術及研發工程師
古往今來，對於 人才的定義及如何能成為人才，眾說紛紜。且不說古人是如何定義的，就18世紀60年代工業革命以來，我們就經歷若干個階段 從最初人們對專業知識的渴望 研究和學習，到20世紀 三 四十年代美國著名 成功學大師 戴爾 卡耐基 d ale c arbegle 所提出的 人的 成功,只有不到15 ...
如何成為一名優秀的iOS開發工程師
如果你是一位專業的ios開發工程師，你應該為自己感到自豪。因為你能在強大的ios系統下，一展身手實現自己和他人的想法，這是一件令人無比激動的事情。作為一名ios開發工程師，你一定想成為行業的佼佼者。那麼，如何成為一名優秀的ios開發工程師呢？我覺得做到以下幾點，你就離優秀越來越近了。作為碼農，英語水...