進行資料探勘和機器學習之前，必須保證資料是可靠、可用的。
這就要通過一定技術，對資料進行處理和轉換，將原始資料轉化成演算法和模型需要的格式和內容。
這就是資料預處理技術，其對資料探勘效果的好壞，**結果的正確性具有基礎性的作用。
資料預處理一般包括：資料清洗、整合、轉換、規約。
資料清洗：
目的：格式標準化、異常資料清理、錯誤糾正、重複資料清除。
主要任務：缺失值處理、去噪。
預設值的處理：忽略元祖、人工填寫、使用全域性常量、使用屬性中位數、使用屬性平均值、使用同類樣本屬性平均值或中位數。
去噪：雜訊由隨機誤差產生。去噪的方法：捨棄雜訊資料、雜訊平滑、人工檢查。
去噪的資料平滑方法：分箱（等深、等寬）、回歸。
資料整合：
目的：整合多個資料來源的資料，增大資料完整性
資料轉化：
目的：將資料抓換成資料探勘演算法、機器學習演算法接受的格式。
方法：線性歸一化，z-score規範化為標準高斯分布。
資料規約：
目的：降低資料維度，在不丟失資料資訊量的情況下。
方法：取樣（均勻取樣、分層取樣）；pca主成分分析，svd奇異值分析。
參考文章
1、2、
資料預處理技術
1.均值移除 mean removal 通常我們把每個特徵值移除,以保證特徵值均為0 即標準化處理 這樣可以消除特徵值之間的偏差 bias 將下面幾行 加入之前開啟的python檔案中 data standized preprocessing.scale data print nmean data ...
預處理技術
預處理技術概述 確保標頭檔案多次包含仍能安全工作的常用技術是預處理器，它由c 語言從c語言繼承而來。預處理器是在編譯之前執行的一段程式，可以部分地改變我們所寫的程式。之前已經用到了一項預處理功能 include，當預處理器看到 include 標記時就會用指定的標頭檔案的內容代替 include。c...
mysql 預處理 MySQL的預處理技術
所謂的預處理技術，最初也是由mysql提出的一種減輕伺服器壓力的一種技術！傳統mysql處理流程 1，在客戶端準備sql語句 2，傳送sql語句到mysql伺服器 3，在mysql伺服器執行該sql語句 4，伺服器將執行結果返回給客戶端 這樣每條sql語句請求一次，mysql伺服器就要接收並處理一次...