大資料分析三個階段是什麼

2021-10-05 21:07:46 字數 2409 閱讀 4950

大資料是現代做人耳熟能詳的熱門話題了,甚至街邊玩耍的小孩也能說上幾句大資料的詞語。但是,自從大資料逐步進入中國,然後開始慢慢熱起來火起來,你知道大資料有哪幾個階段嗎?

資料分析至少存在三個階段:

階段1:熟悉計算工具

第乙個階段是熟悉計算工具階段,也就是能從資料中正確計算出結論。這一階段需要的是程式設計能力和基礎的邏輯分析。在這個階段,需要打好基本的程式設計和數理基礎,比如如何使用一種程式語言從某個資料來源中提取資料,進行必要的轉化,生成乙個結果。在這個階段,我經常認為資料分析就是程式設計。那時也對程式設計和資料分析產生很大的畏難情緒,覺得自己離學好程式設計、使用好各類工具的狀態有很大差距。

同時,我也對如何分析資料感到一籌莫展。雖然在學校課堂和各類網路教程中學過很多程式設計方面的技術,也能夠看懂一些別人的程式,但是對於乙個嶄新的問題,我不知道使用哪種工具,編寫什麼樣的程式,進行哪些方面的分析。

處在這個階段,我認為主要因為自己的程式設計經驗停留在「學」上,還沒有過度到「用」的境界。只能說學會了一些工具(比如程式語言),但是不知道如何應用。另一方面,自己的實戰經驗太少,沒有實戰經驗,只學習一些表面的皮毛,出去忽悠一些非科班的人還像模像樣,但是真正讓我去做乙個新案例的資料探勘和分析,我可能完全不知如何入手。

在這個階段,我們一方面需要打磨自己的程式設計能力,另外一方面也不斷學習一些數學模型,包括各類機器學習演算法、概率論等。

階段2:提公升分析能力

隨著對程式設計工具的熟悉,比如開始熟悉了shell、sql、python、大資料等,我發現使用工具不一定能得出特別好的結論。

經濟學有乙個關於啤酒和尿不濕的例子:沃爾瑪一家分店的營銷經理對超市的銷售數量進行設定跟蹤,有一次他發現了乙個很奇怪的現象:啤酒與尿不濕的銷量在週末總會出現成比例增長。主要因為爸爸們週末採購時,買完尿不濕想順手捎帶幾瓶啤酒。

其實,獲取到這個資料並不難,但原始資料中絕對沒有這個現成的結論。進行資料分析的第一步是找到乙個方向,先看看哪些潛在的假設能夠解釋現象。比如,這個例子中,沃爾瑪對銷售資料做相關性分析。資料是死的,是躺在硬碟中的一堆字元。如果沒有乙個基本的假設或者方向,即使有再強大的程式設計能力,也很難得出乙個觀點或結論。

這時候我們能夠看懂很多資料分析的報告,能夠開始建立起資料之間的聯絡。如果有一些高人指點,加上實戰練習,在資料分析上可以有茅塞頓開般的提公升。

很多入門和初學者基本上都停留在第一階段和第二階段的初級水平。一部分人在這個階段做大量重複性的工作,多年可能沒有任何進步,無法進入到下一階段。

階段3:形成思維方式

說實話,以前我認為現代社會發展變化太快,新事物層出不窮,經驗不值一提。但是接觸了越多的大牛,我開始發現這些人的經驗才是他們安身立命之本。經驗不侷限於資料、工具或者技術,經驗是逐漸培養起來的,是分析問題的思維方式。金庸在他的武俠系列中一直強調內功的重要性,經驗就是這樣的內功。

資料分析的最後乙個階段,一般是團隊的領導需要達到的水平。由於團隊的領導一般具有多年的實戰經驗,他們可以很快發現問題。當我還是小白的時候,我發現團隊的領導幾乎天天都在看資料,每次開會都在討論資料,從一張資料圖中他們可以很快發現一些問題,面對新問題,他們也有很多解決思路和探索方向。而且,這裡的團隊領導不僅限於技術團隊,包括產品或者運營相關團隊的領導也對資料有很強的敏感性。比如,在與產品溝通的通氣會上,產品團隊的領導經常抓住資料可疑點,讓我們技術團隊來解釋背後的原因。我非常震驚,為什麼非技術出身的他們,也能找到一些問題的關鍵。再到後來,我發現不僅僅是網際網路行業,各行各業的佼佼者都對資料非常敏感,都有一套問題求解的思路。比如,我之前以疫情分析為例的那篇文章疫情分析是最好的實戰教材中列舉了一些作者,他們分析問題的能力都值得我們學習,實際上他們並不都是100%的技術背景出身。

後來,我漸漸明白了,資料分析不侷限於技術和工具,它本質上是一種思維方式。真正的資料分析大師能快速通過一些現象,找到背後的邏輯。因此,無論你是不是純技術出身,如果堅持對很多問題進行深入思考,從實戰中獲得經驗,那麼你可以用乙個excel來分析出你想要的結論。

一些誤區

處在第一、二階段的朋友會覺得資料分析的核心是程式設計、模型和技術能力,有時候他們會掉入兩個誤區:

認為資料分析就是各類工具的總和,拼命學習各類程式設計和演算法,但是沒有實戰經驗,無法將理論應用到實際。或者不善於將一些工作提取成為寶貴的經驗。

掌握了一些高大上的演算法,在工作中發現很多時候都是在重複性地做一些資料提取的工作,對當前的工作非常失望,覺得自己的屠龍之術無法應用,認為是當前的工作崗位限制了自己才能,想跳槽。

第一類誤區認為資料分析是一種技能,追逐技能加成,忽視如何形成自己的思維方式。

第二類誤區其實是第一類的另一種表現形式,仍然覺得只有掌握了一些技術,才可以做好資料分析。想通過換乙個新的環境,期望在新工作中學到更多的屠龍之術,這樣才能積累相關的經驗。從團隊領導的角度,新團隊的領導其實是不會將乙個更複雜的數學模型交由乙個團隊新人來做的,因為不信任。我建議,在這種情況下,不如在原工作崗位的基礎上做一些深挖,看看有沒有機會突破當前的自己。

孫子兵法說求之於勢,不責于人,故能擇人而任勢。核心的就是在不同的大環境和實際下要做出符合與環境和時機的改變。才能贏上和抓住這一波帶來的機會。

資料分析 三個特點

一.業務理解 能跑數,不叫資料分析,和業務結合並產生價值才是資料分析 怎樣去對業務了解 1.對進入的行業和產品感興趣,有好奇心,願意學習一切未知的知識 2.能夠把業務和資料結合起來,嘗試用資料量化業務狀態和結果,能夠用資料解釋潛藏的未被發現的業務邏輯 3.當分析需求來的時候,要問下為什麼要做這個分析...

大資料分析工作需要的是什麼?

大資料與現在很多技術都是有一定的聯絡的,比如雲計算 物聯網 人工智慧等等,這些技術能夠相互相互影響 相互促進 相互融合。雲計算是硬體資源的虛擬化,而大資料是海量資料的高效處理。我們可以這樣說,雲計算是大資料的基礎,有了雲計算才能大量集中資料從而產生大資料。同時,大資料也支撐了雲計算應用創新,帶動雲計...

大資料分析工作需要的是什麼?

大資料與現在很多技術都是有一定的聯絡的,比如雲計算 物聯網 人工智慧等等,這些技術能夠相互相互影響 相互促進 相互融合。雲計算是硬體資源的虛擬化,而大資料是海量資料的高效處理。我們可以這樣說,雲計算是大資料的基礎,有了雲計算才能大量集中資料從而產生大資料。同時,大資料也支撐了雲計算應用創新,帶動雲計...