最近本身在研究資料整合,無意中得知要搞大資料方面,經過幾個小時在知乎、豆瓣上尋找這方面的書籍,決定作為乙個新手入門兩本是《誰說菜鳥不會資料分析》、《深入淺出資料分析》。剛才看完《誰說菜鳥不會資料分析》第一章,做個筆記吧。
一開始在糾結資料分析和資料探勘到底是什麼關係,資料探勘和分析方法之間又有什麼關係,可能沒關係吧,自己腦子漿糊了。就從簡單的書籍慢慢理解。總結:
1.什麼是資料分析?
資料分析就是從海量資料中分析並挖掘出資料背後隱藏的含義,總結出資料模型和知識。
2.為什麼會出現資料分析?
從我乙個新手的角度看,資料分析普遍存在,以前、現在、以後只要這個世界有資料產生就會存在資料分析。那麼火了五六年的大資料跟我們這個資料分析有什麼關係呢?資料分析是乙個很廣泛的概念,小到數學中求平均數,大到企業中的財務報表;隨著網際網路時代的到來(普及運用),快取資料越來越多,導致一台主機無法滿足儲存的需求,計算機處理資料的能力也就受到了限制,大資料概念隨著而來,後來出現分布式檔案儲存,緊接著雲儲存、雲計算也就被提出來了,資料探勘的概念也就慢慢火起來了。可以看出,資料探勘是隨著大資料概念的提出而進入眼球的,所以後面所謂的資料探勘都是基於大資料背景下進行的資料分析,即資料探勘是資料分析的乙個分支。
3.資料分析的主要步驟有哪些?
按照書上寫的,資料分析主要有6個步驟:
1) 資料分析的目的
2) 資料的思路
3) 資料的收集和資料處理
4) 資料分析(注意資料分析的方法)
5)資料展現(視覺化)
6)資料總結分析報告
按照一般的慣例,對於我乙個新手來理解,我們最先進行的步驟是收集資料,而對於分析的目的和分析方法往往是最難把握的。
因為離不開資料探勘,所以原諒我乙個新手拿資料探勘舉例,資料探勘就是要提高資料的利用價值,挖掘背後的含義。那麼我們挖掘的意義就是要找到資料背後的價值,也就是我們所謂的分析的目的,到底哪個是因哪個是果就讓人迷糊了。
一般來講,資料分析的目的主要是了解現狀、分析原因以及**未來等方面。那麼我們是否可以理解資料探勘也是從這些方面來入手呢?作為乙個新手,我就暫且這麼認為吧。那麼要想達到分析的目的,我們應該怎麼去做?
4.資料分析的主要方法有哪些?
或許這方面對資料的要求比較高,概率論和統計分析等初高中數學知識就是基礎了。
我一開始並不理解所謂的分析方法和分析模型有什麼用,他們出現的目的是什麼,後來慢慢的用的稍微多了也就理解了一點。
一般我們所說的分析方式就是指類似於回歸分析、相關分析、聚類分析等,這都是前輩們從客觀實踐中總結出來的方法,辣麼對於我們新手來講,如何選擇乙個合適的分析方法是絕對分析質量的關鍵,這也就進一步要求我們對現在已有的分析瞭如指掌。(這可能也是我下乙個學習的目標)
但是,模板終歸是模板,具體情況具體分析,所以在選擇正確分析方法的前提下可能還需要加入自身實際的情況,比如引數個數不一樣,比如分析過程需要自己加入一些步驟等。
5.後面分享幾個容易搞混的概念,感覺還蠻有用的。
第乙個:倍數和番數。
倍數是我們在數學中見的最多,概念也好理解,a 除於 b 等於 c,就數a是b的c倍,是被除數與除數的關係。
番最多見到的就是國家制定計畫時喜歡用,比如經濟總量翻一番。番的概念就是指原來數量的2的n次方倍。舉個栗子,翻一番就是為原來數量的2倍,翻兩番就是原來的4倍(2的2次方)。
第二個:比例和比率。
「比例」是指總體中的一部分佔總體數量的比例值。而「比率」是指總體中不同部分之間的比值。比如:說某高校男女生比率是7:3,而不是比例是7:3。
第三個:同比和環比。
「同比」就概念來講是指同一時期數值的比較,但是同一時期是指與歷史同時期,所以同比只能把現在的情況和過去的情況對比。
「環比」有點環環相扣進行比較的意思,書面理解就是與前乙個統計期進行比較得到的數值,前乙個統計期可以是年、季、月、日等。
《誰說菜鳥不會資料分析》學習筆記
1.明確目的與思路 先決條件 提供方向 2.資料收集 資料庫 其他媒介 3.資料處理 清洗 轉化 提取 計算 4.資料分析 統計分析 資料探勘 5.資料展現 圖表 文字 6.報告撰寫 框架清晰 明確結論 提出建議 pest political,economical,social,technologi...
《誰說菜鳥不會資料分析》 學習筆記六 資料分析
資料分析的三大作用及其對應的三大基本方法 對比分析法 是指將兩個或兩個以上的資料進行比較,分析它們的差異,從而揭示這些資料所代表的事物 發展變化情況和規律性。特點 可以非常直觀的看出事務某方面的變化或差異,並且可以準確 量化地表現出這種變化或差距是多少 分類 靜態比較和動態比較 靜態比較是在同一時間...
資料分析第一章
1 資料分析概念 資料分析是指用適當的統計分析方法對收集來的大量資料進行分析,並將它們加以彙總和理解並消化,以求最大化地開發資料的功能,發揮資料的作用。資料分析是為了提取有用資訊和形成結論而對資料加以詳細研究和概括總結的過程。資料分析的目的是把隱藏在一大批看似雜亂無章的資料背後的資訊集中和提煉出來,...