大資料職業理解 大資料職業規劃總結

2021-10-12 14:27:36 字數 970 閱讀 8544

前言

這是我的第一篇部落格,寫起來還真是有些小緊張~~~還請有緣看到的朋友多指點!

打算開始寫這些東西的契機是師兄給布置的學習記錄作業,而我自己這方面的原因倒主要不是記錄學習(寫這些東西好花時間呀...),而是看到好多大神,尤其是國外的,都在貢獻自己的知識,我被他們的精神感染了,也想自己貢獻些東西!

大資料相關工作分類

大體可分為四種:

運維平台開發

資料分析

資料科學家

其中,平台開發(大資料工程師),基本是結合公司業務場景及需求,以現已開源的大資料元件為基礎,打造公司自己的大資料平台;資料分析則是運用公司的平台,在其之上做些報表和資料變現(聽師兄說大公司將平台封裝的很好,基本上都是敲sql);至於運維,自然是為前兩者提供集群支援,如資源分配,元件配置優化等。

資料科學家是指能採用科學的方**,調動充足的計算能力,將大量人類無法處理的資料轉化成有用的資訊,以驅動自動化業務決策的專家。

其中科學的方**指的是堅實的理論基礎;大量的資料指如行為日誌這種海量資料;自動化業務決策是資料科學家的核心工作,體現資料優先與經驗,計算優先於人工的價值觀。

機器學習:prml、deep learning

最優化:convex optimization、numerical optimization

分布式計算:hadoop/spark各種書籍和mooc

其中,最優化好像很重要,因為這些平時遇到的問題,其本質好像都可以歸為乙個優化問題,更一般的描述是求乙個條件極值。

至於將實際問題建成數學模型,及對已知的問題提供現在未知的解決方法,北冥承海生說在學校是學不到的,需要乙個大神級mentor悉心指導和經歷大量的工程實踐...做到這個就能年薪百萬啦!當然,錢不錢的無所謂,更重要的是,這不是搬磚,這是人類創造力的體現!在此之上更高階的創造,我想可能是:導向世界(不光人類)需求,體察潛在需求,甚至創造需求!

一激動就扯遠了,回歸正題。當前大資料行業缺口巨大,有興趣的朋友也可以看看下面的文章,寫得比較務實。

大資料職業目標定位 大資料帶你進行職業規劃

為什麼有的人找工作隨大流流,卻在半年一年後一次次跳槽 一次次被解雇?為什麼有的人開始對工作充滿了玫瑰色夢想,可到頭來一事無成?為什麼條件相當的兩個同學在畢業幾年後有著不同的人生?我們每個人都是自己人生和事業的耕耘者 規劃者和設計師,我們必須對自己的人生負責,必須對自己的事業負責!海量大資料分析平台高...

大資料職業理解 大資料的職業發展規劃

1.如何成為大資料工程師 由於目前大資料人才匱乏,對於公司來說,很難招聘到合適的人才 既要有高學歷,同時最好還有大規模資料處理經驗。因此很多企業會通過內部挖掘。2014年8月,阿里巴巴舉辦了乙個大資料競賽,把天貓平台上的資料拿出來,去除敏感問題後,放到雲計算平台上交予7000多支隊伍進行比賽,比賽分...

大資料職業理解 大資料職業發展方向

大資料職業發展方向 說明 以下的我,不是我,是原作者。我從業的兩段經歷 我以我的兩段從業經歷來說明一下大資料的方向吧。我的前公司是一家網際網路企業,大資料部門是從0開始起步的。一開始是從0開始搭建 cdh 集群,接著採集伺服器日誌,採集關係型資料庫資料到 hadoop 上。等資料漸漸多了起來,我們開...