03資料預處理

資料預處理

1.為什麼資料預處理

2.資料為什麼髒

3.為什麼資料預處理是重要的

4.資料質量

5.資料預處理的主要任務

6.資料預處理的形式

資料清理

1.如何處理缺失資料

2.如何處理噪音資料

資料整合

1.模式整合、衝突資料值、冗餘資料

資料變換

規範化資料的方法 ：最小-最大規範化、z-score 規範化、小數定標規範化

資料歸約

1.資料歸約策略

2.資料立方體聚集

3.資料壓縮

4.維度規約-特徵選擇

5.唯獨規約-決策樹歸約

6.維度歸約=屬性/特徵產生

7.主成分分析

6.回歸和對數線性模型

離散化和概念分層產生

資料預處理 資料歸約03

概述 資料歸約 data reduction 技術可以用來得到資料集的歸約表示，它小得多，但是保持原始資料的完整性。也就是說，在歸約後的資料集上挖掘更有效果，仍然產生相同 或幾乎形同 的分析結果。注意 用於資料歸約的時間不應當超過或 抵消 在歸約後的資料探勘上挖掘節省的時間。資料探勘策略包括維歸約 ...

03 資料的特徵預處理

定義 通過特定的統計方法 數學方法 將資料轉換成演算法要求的資料。數值型資料 標準縮放 類別性資料 one hot編碼 時間型別 時間的切分 定義 通過對原始資料的變化把資料對映到 0,1 之間 定義 將原始資料變換為均值為0，標準差為1的範圍內 from sklearn.preprocessing...

資料預處理

現實世界中資料大體上都是不完整，不一致的髒資料，無法直接進行資料探勘，或挖掘結果差強人意。為了提前資料探勘的質量產生了資料預處理技術。資料預處理有多種方法 資料清理，資料整合，資料變換，資料歸約等。這些資料處理技術在資料探勘之前使用，大大提高了資料探勘模式的質量，降低實際挖掘所需要的時間。一 資料清...