資料分析中，首先要進行資料清洗，才可以繼續訓練模型，**等操作。
首先介紹一下什麼是資料清洗
資料清洗從名字上也看的出就是把「髒」的「洗掉」，指發現並糾正資料檔案中可識別的錯誤的最後一道程式，包括檢查資料一致性，處理無效值和缺失值等。我們要按照一定的規則把「髒資料」「洗掉」，這就是資料清洗。而資料清洗的任務是過濾那些不符合要求的資料，過濾。不符合要求的資料主要是有不完整的資料、錯誤的資料、重複的資料三大類。
殘缺資料：通過演算法knn,回歸，判定樹分析，填補上殘缺的資料。
錯誤資料：主要是雜訊資料。通過聚類，回歸，分箱等手段剔除孤立點；還可以通過資料特徵分布，剔除脫離分布的雜訊資料。
重複資料：剔除相似度大於閾值的資料。
openrefine是一款非常強大的資料清洗工具，不過lz還不知道它是怎麼用的，哈哈，學習中。
資料清洗 資料清洗流程及經驗
預處理階段主要做兩件事情 一是將資料匯入處理工具。二是看資料。包含兩個部分 一是看元資料，包括字段解釋 資料 表等等一切描述資料的資訊 二是抽取一部分資料，對資料本身有乙個直觀的了解，並且初步發現一些問題，為之後的處理做準備。四個步驟 1 確定缺失值範圍 對每個欄位都計算其缺失值比例，然後按照缺失比...
資料清洗及特徵處理
import numpy as np import pandas as pd df pd.read csv train.csv 檢視每個特徵缺失值個數 df.info df.isnull sum df.dropna df.fillna 對age列的資料缺失值進行處理 df df age none 0...
MapReduce資料清洗及Hive資料庫操作
兩階段資料清洗 1 第一階段 把需要的資訊從原始日誌中提取出來 ip 199.30.25.88 time 10 nov 2016 00 01 03 0800 traffic 62 文章 article 11325 2 第二階段 根據提取出來的資訊做精細化操作 ip 城市 city ip date t...