由於當今資料的數量龐大且來自於各種不同型別的**，因此出現資料異常的可能性不斷增加。鑑於高質量資料可生成更好的模型和**，資料預處理的重要性與日俱增，並且已經成為資料科學、機器學習、ai 管道中的基本步驟。在本文中，我們將**資料處理需求，並討論用於完成此流程中每個步驟的不同方法。
在資料收集過程中，存在三個影響資料質量的主要因素：
準確率：與期望值之間存在偏差的錯誤值。資料不準確的原因多種多樣，包括：
完整性：缺少屬性值、特徵值或者關聯值。資料集可能因以下原因而不完整：
一致性：資料聚合不一致。
影響資料質量的一些其他特徵還包括及時性(在某些時間段之後但在提交所有相關資訊之前資料不完整)、可信度(使用者信任的資料量)以及可解釋性(所有利益相關方是否都能輕鬆理解資料)。
為確保獲得高質量的資料，對資料進行預處理就顯得至關重要。為了簡化此流程，資料預處理分為四個階段：資料清理、資料整合、資料縮減和資料轉換。
「資料清理」是指用於「清理」資料的方法，具體包括移除異常值、替換缺失值、將干擾資料進行平滑處理以及糾正不一致資料。在執行上述每一項任務的過程中會使用到多種不同方法，將根據使用者偏好或問題集來確定具體使用的方法。下面從問題解決方法的角度介紹了每一項任務。
為了解決缺失資料的問題，可採用多種方法。讓我們來逐一了解這些方法。
干擾定義為所度量的變數中的隨機方差。對於數字值，可使用箱線圖和散點圖來識別異常值。為處理這些異常值，可按下述方式應用資料平滑技術。
往期閱讀：
執行緒優先順序的實現
輕便執行緒：更好的執行緒管理
python http框架之變體
讀書筆記 001 資料預處理 資料清理
1 概述實際的資料庫極易受雜訊 缺失值和不一致資料的侵擾，因為資料庫太大，並且多半來自多個異種資料來源。低質量的資料將會導致低質量的挖掘結果。有大量的資料預處理技術 資料清理 可以用來清楚資料中的雜訊，糾正不一致。資料整合 將資料由多個資料來源合併成乙個一致的資料儲存，如資料倉儲。資料歸約 可以通過...
DC學院學習筆記（十一） 資料預處理 資料清理
終於到了資料儲存與預處理的最後一講了，感覺講得還不錯！下面來看看資料的預處理吧！官方文件 pandas速查手冊中文版 seaborn是基於matplotlib的繪相簿，可以製作更多更美觀的圖形，如example gallery中也可以看到很多關於影象的示例。這個繪相簿可以很好地輔助我們對資料進行第一...
大資料中資料清理怎麼做的 大資料預處理之資料清洗
現實世界的資料常常是不完全的 有雜訊的 不一致的。資料清洗過程包括遺漏資料處理，雜訊資料處理，以及不一致資料處理。本節介紹資料清洗的主要處理方法。遺漏資料處理 假設在分析乙個商場銷售資料時，發現有多個記錄中的屬性值為空，如顧客的收入屬性，則對於為空的屬性值，可以採用以下方法進行遺漏資料處理。1 忽略...