大資料職業發展方向
說明: 以下的我,不是我,是原作者。
我從業的兩段經歷
我以我的兩段從業經歷來說明一下大資料的方向吧。
我的前公司是一家網際網路企業,大資料部門是從0開始起步的。
一開始是從0開始搭建 cdh 集群,接著採集伺服器日誌,採集關係型資料庫資料到 hadoop 上。
等資料漸漸多了起來,我們開始著手做乙個企業資料倉儲,整合各個業務線的資料,最終產出各種報表和分析資料給老闆和各個業務線的產品經理。此時產生了第乙個小組,資料倉儲組。
然後資料越來越多,需求也越來越多,我們便開始招資料分析人員,去接第三方的資料分析需求,並產出各條業務線生產運營分析報告。此時產生了第二個小組,資料分析組。
隨著社交場景的持續發展,平台內容也在逐漸增多,此時需要做乙個推薦系統去構建使用者的畫像,給使用者推薦他們喜歡的內容,維持使用者的黏性。此時產生了第四個小組,推薦組。
後面資料越來越多,老闆也看到了其中的價值,需要從海量的資料中挖掘有意義的東西,比如從海量的球賽資料,賠率資料中去分析球賽結果,提高平台的整體返獎率。由此有了第五個小組,資料探勘組。
這便是我的第乙份大資料經歷,可以大致看到大資料的幾個大方向,資料開發,資料分析和挖掘,人工智慧和機器學習,推薦系統。
大資料架構方向
大資料架構方向,更多注重的是hadoop、spark、flink 等大資料框架的實現原理、部署、調優和穩定性問題,以及它們與flume、kafka、datax等資料流工具以及視覺化工具的結合技巧。
再有就是一些工具的商業應用問題,如hive、cassandra、hbase、elasticsearch、clickhouse等。
能夠將這些概念理解清楚,並能夠用辯證的技術觀點進行組合使用,達到軟/硬體資源利用的最大化,服務提供的穩定化,這是大資料架構人才的目標。
以下是大資料架構方向研究的主要方面。
(5)微服務應用:構建平台各種業務系統,如平台系統,排程系統,資料許可權系統,api 系統等
大資料分析方向
大資料分析方向的人才更多注重的是資料指標的建立,資料的統計,資料之間的聯絡,資料的深度挖掘和機器學習,並利用探索性資料分析的方式得到更多的規律、知識,或者對未來事物**和預判的手段。
以下是大資料分析方向研究的主要方面。
此外還有乙個方面是業務知識。
其中,資料庫應用、資料加工是通用的技術技巧或者工具性的能力,主要是為了幫助分析師呼叫或提取自己需要的資料,畢竟這些技巧的學習成本相對較低,而且在工作場景中不可或缺,而每次都求人去取資料很可能會消耗過多的時間成本。
資料統計、資料分析是分析師的重頭戲,一般來說這兩個部分是分析師的主業,要有比較好的數學素養或者思維方式,而且一般來說數學專業出身的人會有相當的優勢。
最後的業務知識方面就是千姿百態了,畢竟每家行業甚至每家公司的業務形態都是千差萬別的,只有對這些業務形態和業務流程有了充分的理解才能對資料分析做到融會貫通,才有可能正確地建立模型和解讀資料。
大資料開發方向
大資料開發方向的人才更多注重的是伺服器端開發,資料庫開發,呈現與視覺化,人機互動等銜接資料載體和資料加工各個單元以及使用者的功能落地與實現。
以下是大資料開發研究的主要方面。
大資料職業理解 大資料的職業發展規劃
1.如何成為大資料工程師 由於目前大資料人才匱乏,對於公司來說,很難招聘到合適的人才 既要有高學歷,同時最好還有大規模資料處理經驗。因此很多企業會通過內部挖掘。2014年8月,阿里巴巴舉辦了乙個大資料競賽,把天貓平台上的資料拿出來,去除敏感問題後,放到雲計算平台上交予7000多支隊伍進行比賽,比賽分...
大資料職業理解 大資料職業規劃總結
前言 這是我的第一篇部落格,寫起來還真是有些小緊張 還請有緣看到的朋友多指點!打算開始寫這些東西的契機是師兄給布置的學習記錄作業,而我自己這方面的原因倒主要不是記錄學習 寫這些東西好花時間呀.而是看到好多大神,尤其是國外的,都在貢獻自己的知識,我被他們的精神感染了,也想自己貢獻些東西!大資料相關工作...
大資料職業理解 對於大資料的認識和理解
精品資料 對於大資料的認識和理解 這學期選修了網路工程這門課程,當時是抱著掃盲的態度選的這門課程,給自己定的目標不高,只需要對一些基礎的概念和網路結構有些認識就可以,以免以後在人前談論的時候不至於成為 it文盲,被一些專業性的技術人員所嚇倒。事實證明,態度決定一切,由於自己剛開始設定的目標就比較低,...