觀點一,如上圖所示,資料是資訊的載體,資訊是資料的本質
觀點二,任何對於資料的分析和挖掘的做法,實質上都是對於資訊的加工和轉換。
觀點三,在將資訊記錄成資料的過程中,可能產生資訊的損失。
觀點四,在資料的傳輸過程中可能產生資料的損失,同時也就是資訊的損失。
觀點五,在從資料還原成資訊的過程中很可能產生理解的偏差,造成資訊的損失。
如上圖所示,資料分析挖掘的過程也就是從資訊a到資訊b*的過程;
資訊a記錄成資料a,資料a經過傳輸變成資料a*,可能不再等於資料a;
資料a*經過清洗過程變成資訊a*,資訊a*與資訊a的差異也就是資料清洗要解決的問題。資料清洗應該盡量保證它們一致。
資訊a*經歷轉換(可能是彙總、分類、聚類、機器學習等)變成資訊b;
資訊b被記錄成資料b;
資料b經過傳輸給到資料消費方,變成資料b*,同樣有可能與資料b不同。
資料b*被資料消費方理解為資訊b*,這與原資訊b之間有可能存在不同或者誤解。
這就是從巨集觀上看的乙個流程。
資料分析與資料探勘
一 常用資料探勘方法 1 關聯方法 2 人工神經網路 3 決策樹 4 異常分析 5 聚類分析 6 arima測試 二 資料分析師 國內兩種資料分析師認證 資料分析師cda 專案資料分析師cpda cda 1 統計概率基礎 2 資料分析模型方法 3 工具的運用 spss,modeler 三 資料分析的...
資料分析和資料探勘
什麼是資料分析與資料探勘 資料分析 對已知資料進行分析,然後提取一些有價值的資訊 比如 統計出平均數 標準差等資訊 資料探勘 對大量的資料進行分析挖掘,得到一些未知的,有價值的資訊等。比如從 的使用者或使用者行為資料中挖掘出使用者其潛在需求資訊,從而對 進行改善 已知到未知 關係 資料分析和資料探勘...
資料分析與資料探勘
資料分析是指採用適當的統計分析方法對收集到的資料進行分析 概括和總結,對資料進行恰當的描述,並提取出有用的資訊的過程。資料探勘是指從海量的資料中通過相關的演算法發現隱藏在資料中的規律和知識的過程。知識發現的過程如下。1.資料清理 清除資料中的雜訊。3.資料選擇 從資料庫中選擇與任務有關的資料。4.資...