資料收集:資料收集容易且不引人注意,但卻是資料探勘的基礎。知識是從海量資料裡提取出來的,因此要挖掘知識必須得收集一定 量的資料。收集到的原始資料一般存在缺失值、錯誤值等問題,不能直接用作知識提取的資料來源,需要進行資料預處理。
知識提取:基於經過預處理的資料,使用各種資料探勘方法(如分類、聚類、關聯分析等)進行知識提取,這是資料探勘的核心部分。
知識輔助決策:資料探勘技術已被廣泛地應用於各領域,其提取出來的知識可以很好地輔助決策者做出良好的決策。
資料探勘建模過程概覽
從大量資料 包括文字 中挖掘出隱含的 未知的 對決策有潛在價值的關係 模型和趨勢,並用這些知識和規律建立用於決策支援的模型,提供 性決策支援的方法 工具和過程,就是資料探勘 它利用各種分析工具在大量資料中尋找其規律和發現模型與資料之間關係的過程,是統計學 資料庫技術和人工智慧技術的綜合。包含利用分類...
資料探勘的一般過程
1.資料集選取或構造 根據任務的目的,選擇資料集。或者從實際中構造自己需要的資料。2.資料預處理 確定資料集後,就開始對資料進行預處理使得資料能夠為我們所用了。資料預處理提高資料質量 準確性 完整性和一致性,包括資料清理 資料整合 資料規約和資料變換方法。1 資料清理 忽略元祖 人工填寫缺失值 使用...
大資料 《二》資料探勘之過程模型
確立業務目標 進行環境評估 確定dm目標 產生專案計畫 需要生產文件 業務背景報告 業務目標報告 業務成功難則 資源清單 需求 假設 限制 風險和對策 成本和效益分析報告 資料探勘目標 術語表 專案成 則 專案計畫 工具和技術初步評價 收集初始資料 描述資料 探測資料 檢驗資料質量 需要生產文件 初...