在了解資料分析與資料探勘的區別之前,首先我們要明確大資料的概念,因為目前網際網路所謂的資料分析與資料探勘都是基於大資料來做的。
大資料有非常多的定義,我們套用乙個流傳最廣的概念,大資料指無法在可承受的時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的資訊資產。在維克托·邁爾-捨恩伯格及肯尼斯·庫克耶編寫的《大資料時代》 中大資料指不用隨機分析法(抽樣調查)這樣的捷徑,而採用所有資料進行分析處理。
大資料的5v特點(ibm提出):volume(大量)、velocity(高速)、variety(多樣)、value(價值)、veracity(真實性) 。
總的來說,大資料可以概括為很多、很雜、很有價值的資料。
維度傳統資料
大資料資料量
gb-tb
tb-pb以上
多樣性結構化資料
速度資料量穩定,增長不快
持續實時產生資料,要求及時處理
價值高密度
低密度①社群思維;
②增強與變革;
③尋找機會。
通俗來說,我們可以理解為流量變現。
資料分析是指用適當的統計分析方法對收集來的大量資料進行分析,提取有用資訊和形成結論而對資料加以詳細研究和概括總結的過程。這一過程也是質量管理體系的支援過程。在實用中,資料分析可幫助人們作出判斷,以便採取適當行動。資料分析的數學基礎在20世紀早期就已確立,但直到計算機的出現才使得實際操作成為可能,並使得資料分析得以推廣。資料分析是數學與電腦科學相結合的產物。
更詳細的將兩者進行區分的話,可以從下面幾個方面進行理解:
資料分析:
(1)定義:簡單來說,資料分析就是對資料進行分析。專業的說法,資料分析是指根據分析目的,用適當的統計分析方法及工具,對收集來的資料進行處理與分析,提取有價值的資訊,發揮資料的作用。
(2)作用:它主要實現三大作用:現狀分析、原因分析、**分析(定量)。資料分析的目標明確,先做假設,然後通過資料分析來驗證假設是否正確,從而得到相應的結論。
(3)方法:主要採用對比分析、分組分析、交叉分析、回歸分析等常用分析方法。
(4)結果:資料分析一般都是得到乙個指標統計量結果,如總和、平均值等,這些指標資料都需要與業務結合進行解讀,才能發揮出資料的價值與作用。
資料探勘:
(1)定義:資料探勘是指從大量的資料中,通過統計學、人工智慧、機器學習等方法,挖掘出未知的、且有價值的資訊和知識的過程。
(2)作用:資料探勘主要側重解決四類問題:分類、聚類、關聯和**(定量、定性),資料探勘的重點在尋找未知的模式與規律;如我們常說的資料探勘案例:啤酒與尿布、安全套與巧克力等,這就是事先未知的,但又是非常有價值的資訊。
(3)方法:主要採用決策樹、神經網路、關聯規則、聚類分析等統計學、人工智慧、機器學習等方法進行挖掘。
(4)結果:輸出模型或規則,並且可相應得到模型得分或標籤,模型得分如流失概率值、總和得分、相似度、**值等,標籤如高中低價值使用者、流失與非流失、信用優良中差等。
資料分析和資料探勘的最大區別在於,資料分析,是以輸入的資料為基礎,通過先驗的約束,對資料進行處理,但是不以結論來調整。因此資料分析的重點在於資料的有效性、真實性和先驗約束的正確性。而資料探勘則不同,資料探勘是對資訊的價值化的獲取。價值化自然不考慮資料本身,而是考慮資料是否有價值。此時對比資料分析,最大的特點就是,你需要調整你的不同的先驗約束,再次對資料進行分析。而先驗的約束已經不是針對資料**自身的特點,例如訊雜比處理演算法。而是你期望得到的乙個有價值的內容,做先驗的約束。以觀測,資料根據這個約束,是否有正確的反饋。
從概念上來說:資料分析和資料探勘的主要聯絡是,資料分析的結果是資訊,這些資訊作為資料,由資料去挖掘。而資料探勘,又使用了資料分析的手段,周而復始。
從職業上來說:職業上,有資料分析師和資料探勘工程師,這兩者的相似點可總結如下:
1、都跟資料打交道,他們玩的都是資料,如果沒有資料或者蒐集不到資料,他們都要丟飯碗。
2、知識技能有很多交叉點,他們都需要懂統計學,懂資料分析一些常用的方法,對資料的敏感度比較好。
3、在職業上他們沒有很明顯的界限,很多時候資料分析師也在做挖掘方面的工作,而資料探勘工程師也會做資料分析的工作,資料分析也有很多時候用到資料探勘的工具和模型。而在做資料探勘專案時同樣需要有人懂業務懂資料,能夠根據業務需要提出正確的資料探勘需求和方案能夠提出備選的演算法模型,實際上這樣的人一腳在資料分析上另乙隻腳已經在資料探勘上了。
事實上沒有必要將資料分析和資料探勘分的特別清,但是我們需要看到兩者的區別和聯絡,想要成為或者作為一名資料行業的從業者,要根據自身的特長和愛好規劃自己的職業生涯,以尋求自身價值的最大化。
1.基礎技能
2.python
3.hql
4.資料視覺化
5.統計分析方法
6.網際網路資料分析業務了解
照搬一博主學習路線,傳送門:資料分析資料探勘學習路徑
針對我自己情況,也是許久才最終定下來準備學習資料分析以及挖掘,以後從業準備找資料探勘相關崗位。先說一下我自己的情況,統計專業研究生,做過資料探勘相關專案,但一直學習的是深度學習計算機視覺cv方面的知識,出於對自身情況以及職業興趣,糾結了好久的我在七月的尾巴做了決定,最終的我還是選擇資料崗位。
資料分析與資料探勘的區別
資料分析可以分為廣義的資料分析和狹義的資料分析。廣義的資料分析就包括狹義的資料分析和資料探勘,我們常說的資料分析就是指狹義的資料分析。資料分析與資料探勘的區別 資料分析 狹義 1 定義 簡單來說,資料分析就是對資料進行分析。專業的說法,資料分析是指根據分析目的,用適當的統計分析方法及工具,對收集來的...
解析資料探勘與資料分析的區別
資料分析 狹義 與資料 挖掘的實質都是相同的,都是從資料裡邊發現關於事務的常識 有價值的資訊 然後協助事務運營 改善產品以及協助企業做更好的決議計畫。的程序來看,資料 分析更偏重於統計學上面的一些辦法,經過人的推理演譯得到定論 資料 挖掘更偏重由機器進行自學習,直接到得到定論。從 分析的成果看,資料...
資料分析與資料探勘
一 常用資料探勘方法 1 關聯方法 2 人工神經網路 3 決策樹 4 異常分析 5 聚類分析 6 arima測試 二 資料分析師 國內兩種資料分析師認證 資料分析師cda 專案資料分析師cpda cda 1 統計概率基礎 2 資料分析模型方法 3 工具的運用 spss,modeler 三 資料分析的...