資料清洗， 是整個資料分析過程中不可缺少的乙個環節，其結果質量直接關係到模型效果和最終結論。在實際操作中，資料清洗通常會佔據分析過程的50%—80%的時間。國外有些學術機構會專門研究如何做資料清洗，相關的書籍也不少。
照例，先上圖：
預處理階段主要做兩件事情：
一是將資料匯入處理工具。通常來說，建議使用資料庫，單機跑數搭建mysql環境即可。如果資料量大（千萬級以上），可以使用文字檔案儲存+python操作的方式。
二是看資料。這裡包含兩個部分：一是看元資料，包括字段解釋、資料**、**表等等一切描述資料的資訊；二是抽取一部分資料，使用人工檢視方式，對資料本身有乙個直觀的了解，並且初步發現一些問題，為之後的處理做準備。
缺失值是最常見的資料問題，處理缺失值也有很多方法，我建議按照以下四個步驟進行：
1、確定缺失值範圍：對每個欄位都計算其缺失值比例，然後按照缺失比例和字段重要性，分別制定策略，可用下圖表示：
2、去除不需要的字段：這一步很簡單，直接刪掉即可……但強烈建議清洗每做一步都備份一下，或者在小規模資料上試驗成功再處理全量資料，不然刪錯了會追悔莫及（多說一句，寫sql的時候delete一定要配where！）。
3、填充缺失內容：某些缺失值可以進行填充，方法有以下三種：
前兩種方法比較好理解。關於第三種方法，舉個最簡單的例子：年齡字段缺失，但是有遮蔽後六位的身份證號，so……
以上，簡單的梳理了缺失值清洗的步驟，但其中有一些內容遠比我說的複雜，比如填充缺失值。很多講統計方法或統計工具的書籍會提到相關方法，有興趣的各位可以自行深入了解。
如果資料是由系統日誌而來，那麼通常在格式和內容方面，會與元資料的描述一致。而如果資料是由人工收集或使用者填寫而來，則有很大可能性在格式和內容上存在一些問題，簡單來說，格式內容問題有以下幾類：
1、時間、日期、數值、全半形等顯示格式不一致
這種問題通常與輸入端有關，在整合多**資料時也有可能遇到，將其處理成一致的某種格式即可。
2、內容中有不該存在的字元
某些內容可能只包括一部分字元，比如身份證號是數字+字母，中國人姓名是漢字（趙c這種情況還是少數）。最典型的就是頭、尾、中間的空格，也可能出現姓名中存在數字符號、身份證號中出現漢字等問題。這種情況下，需要以半自動校驗半人工方式來找出可能存在的問題，並去除不需要的字元。
3、內容與該字段應有內容不符
姓名寫了性別，身份證號寫了手機號等等，均屬這種問題。 但該問題特殊性在於：並不能簡單的以刪除來處理，因為成因有可能是人工填寫錯誤，也有可能是前端沒有校驗，還有可能是匯入資料時部分或全部存在列沒有對齊的問題，因此要詳細識別問題型別。
格式內容問題是比較細節的問題，但很多分析失誤都是栽在這個坑上，比如跨表關聯或vlookup失敗（多個空格導致工具認為「陳丹奕」和「陳 丹奕」不是乙個人）、統計值不全（數字裡摻個字母當然求和時結果有問題）、模型輸出失敗或效果不好（資料對錯列了，把日期和年齡混了，so……）。因此，請各位務必注意這部分清洗工作，尤其是在處理的資料是人工收集而來，或者你確定產品前端校驗設計不太好的時候……
這部分的工作是去掉一些使用簡單邏輯推理就可以直接發現問題的資料，防止分析結果走偏。主要包含以下幾個步驟：
1、去重
有的分析師喜歡把去重放在第一步，但我強烈建議把去重放在格式內容清洗之後，原因已經說過了（多個空格導致工具認為「陳丹奕」和「陳 丹奕」不是乙個人，去重失敗）。而且，並不是所有的重複都能這麼簡單的去掉……
我曾經做過**銷售相關的資料分析，發現銷售們為了搶單簡直無所不用其極……舉例，一家公司叫做「abc管家****「，在銷售a手裡，然後銷售b為了搶這個客戶，在系統裡錄入乙個」abc官家****「。你看，不仔細看你都看不出兩者的區別，而且就算看出來了，你能保證沒有」abc官家****「這種東西的存在麼……這種時候，要麼去抱rd大腿要求人家給你寫模糊匹配演算法，要麼肉眼看吧。
上邊這個還不是最狠的，請看下圖：
當然，如果資料不是人工錄入的，那麼簡單去重即可。
2、去除不合理值
3、修正矛盾內容
有些欄位是可以互相驗證的，舉例：身份證號是1101031980******xx，然後年齡填18歲，我們雖然理解人家永遠18歲的想法，但得知真實年齡可以給使用者提供更好的服務啊（又瞎扯……）。在這種時候，需要根據欄位的資料**，來判定哪個字段提供的資訊更為可靠，去除或重構不可靠的字段。
邏輯錯誤除了以上列舉的情況，還有很多未列舉的情況，在實際操作中要酌情處理。另外，這一步驟在之後的資料分析建模過程中有可能重複，因為即使問題很簡單，也並非所有問題都能夠一次找出，我們能做的是使用工具和方法，儘量減少問題出現的可能性，使分析過程更為高效。
這一步說起來非常簡單：把不要的字段刪了。
但實際操作起來，有很多問題，例如：
前兩種情況我給的建議是：如果資料量沒有大到不刪字段就沒辦法處理的程度，那麼能不刪的字段盡量不刪。第三種情況，請勤備份資料……
如果你的資料有多個**，那麼有必要進行關聯性驗證。例如，你有汽車的線下購買資訊，也有**客服問卷資訊，兩者通過姓名和手機號關聯，那麼要看一下，同乙個人線下登記的車輛資訊和線上問卷問出來的車輛資訊是不是同一輛，如果不是（別笑，業務流程設計不好是有可能出現這種問題的！），那麼需要調整或去除資料。
嚴格意義上來說，這已經脫離資料清洗的範疇了，而且關聯資料變動在資料庫模型中就應該涉及。但我還是希望提醒大家，多個**的資料整合是非常複雜的工作，一定要注意資料之間的關聯性，盡量在分析過程中不要出現資料之間互相矛盾，而你卻毫無察覺的情況。
以上，就是我對資料清洗過程的乙個簡單梳理。由於能力所限，難免掛一漏萬，請各位不吝賜教，感謝。
資料清洗步驟及常用的方法
確定資料分析目的 獲取資料 清洗資料 探索資料 建模分析 結果交流 探索資料 對整個資料集有全面的認識，一邊後續開展工作 建模分析 常常用到機器學習 深度學習演算法 結果 使用報告 圖表展示資料，將成果與他人分享 髒資料 重複 殘缺 錯誤資料 不符合規則的資料 雜訊資料 分為資料的讀寫 資料的探索與...
乾貨來了！快速教你資料清洗的步驟及方法
說起資料清洗，可能會有些小夥伴會覺得這一步可以忽略掉，但是！作為混跡在資料分析這一塊多年的老油條，小編在此嚴肅地宣告！資料清理是資料處理中最不能被忽略的部分，它是資料分析過程中不可缺少的一環，其結果的好壞直接關係到模型的效果。實際上，資料清洗通常要占用50 80 的分析過程。國外有些學術機構還會專門...
資料清洗 異常點的理解與處理方法（1）
異常點 高槓桿點 強影響點 異常點 殘差很大的點 高槓桿點 遠離樣本空間中心的點 強影響點 改變擬合回歸方程特徵的點。注意 a點 非異常點 高槓桿點 非強影響點 a點在x空間中距離樣本的中心較遠，a是個高槓桿點 a點的位置在通過其他點的直線附近，殘差很小，對擬合回歸方程沒有很大的影響，a點不是異常點...