資料探勘的任務:
分類與**,聚類分析,關聯規則,時序模式,偏差檢測,智慧型排序
資料探勘的建模過程:
1.定義挖掘目標
2.資料採集,取樣(隨機抽樣,分層抽樣,等距抽樣,分類抽樣,起始順序抽樣)
3.資料探索:異常值分析、缺失值分析、相關性分析、週期性分析,有無明顯規律和趨勢
4.資料預處理:降維處理,缺失值處理,資料篩選,資料轉換,壞資料處理,資料標準化,主成分分析,屬性選擇,資料規約等。
5.挖掘建模:
5.1先確定是哪類問題(分類,聚類,關聯規則,時序模式,智慧型推薦,智慧型排序)
5.2選用哪個演算法建模
6.模型評價與發布
資料探勘 (一)資料獲取
1 資料倉儲 全部事實的記錄 必須是全面的 完備的 盡可能詳細的 可以方便的以不同維度抽取和整理資料 資料是拿來用的,一般乙個特定的場景不會使用全部的資料,資料倉儲非常豐富,必須根據不同的應用調取相應的資料,這些被抽取和整理的資料稱為資料集市 dw 1 資料庫 vs 倉庫 資料庫面向業務儲存,需要保...
資料探勘實戰(一) 資料分析
資料集準備 status表示標籤,但是它作為乙個特徵維度混入到特徵列表中,要先將它找出來賦給標籤,並按照約定規則將資料分為訓練集和測試集 import pandas as pd from sklearn.model selection import train test split data pd....
資料探勘 實驗一 資料探勘軟體環境搭建與使用
1 輸出 9 9 乘法口訣表。分析 分行與列考慮,共9行9列,i控制行,j控制列。for i in range 1,10 for j in range 1,i 1 print format i,j,i j end print 2 獲取 100 以內的質數。分析 質數 prime number 又稱素...