最近看到資料分析師秋招時關於異常值處理的問題，小白上網搜了以下，特在此做一下總結。
何為異常值處理，小白要分異常值和處理兩步來介紹。
異常值：對整體樣本資料結構表達時，通常抓住整體樣本一般性的性質，而在這些性質上與樣本整體表達不一致的點，稱其為異常點。
異常值有好有壞，我們可以疾病**，信用欺詐，網路攻擊等。
處理：包括檢測和修正。檢測共有7種，包括
1）簡單統計
df.describe()或者散點圖
2.正太分布3∂原則
3.箱型圖 ；四分位距（iqr）對異常值進行檢測，也叫tukey『s test
4.基於模型的檢測
5.基於近鄰度的離群點檢測
6 基於密度的離群點檢測
7 基於聚類的離群點檢測
8專門的離群點檢測
處理：1.刪除含有異常值的記錄（是否刪除根據實際情況考慮）
2 將異常值視為缺失值，利用缺失值的處理方法進行處理
3 平均值修正（前後兩個觀測值的平均值）
4 不處理（直接在具有異常值的資料集上進行挖掘）
以上是對異常值檢測和處理方法的彙總，具體情況需要根據業務進行判斷。
異常值處理
簡單來說，即在資料集中存在不合理的值，又稱離群點。我們舉個例子，做客戶分析，發現客戶的年平均收入是80萬美元。但是，有兩個客戶的年收入是4美元和420萬美元。這兩個客戶的年收入明顯不同於其他人，那這兩個觀察結果將被視為異常值。每當我們遇到異常值時，處理這些異常值的理想方法就是找出引起這些異常值的原因...
異常值的處理
原理3西格瑪準則，對一組資料計算處理後，可以得到乙個置信區間，在此區間之外的部分應該被視為異常值。3西格瑪 0.68 0.95 0.99。處理方法 箱線圖 上下兩邊出現的點視為異常值.pandas中提供boxplot 方法繪製箱型圖 a 直接刪除 b 使用前後兩個邊界值的均值替換 c 不處理 d 視...
異常值檢查與處理
異常值，即在資料集中存在不合理的值，又稱離群點，如下所示 對屬性值進行乙個描述性的統計，從而檢視哪些值是不合理的。比如 對待乙個人的身高，不可能說有人的身高出現3m等以上的 如果是能使用影象直接顯示資料的話，可以直觀的直接直觀的從中得出異常值 當資料服從正態分佈 根據正態分佈的定義可知，距離平均值3...