缺失值處理(Imputation)

2021-09-24 13:01:46 字數 1261 閱讀 4445

『』』

sklearn類提供了缺失值處理的基本策略,比如使用缺失值數值所在行或者列的均值,中位數,眾數來替換缺失值,該類也相容不同額缺失值編碼

『』』

import numpy as np

from sklearn.preprocessing import imputer

''' missing_values : integer or "nan", optional (default="nan")

the placeholder for the missing values. all occurrences of

`missing_values` will be imputed. for missing values encoded as np.nan,

use the string value "nan".

strategy : string, optional (default="mean")

the imputation strategy.

- if "mean", then replace missing values using the mean along

the axis.

- if "median", then replace missing values using the median along

the axis.

- if "most_frequent", then replace missing using the most frequent

value along the axis.

axis : integer, optional (default=0)

the axis along which to impute.

- if `axis=0`, then impute along columns.

- if `axis=1`, then impute along rows.

'''imp = imputer(missing_values="nan",strategy='mean',axis=0)

imp.fit([[1,2],[np.nan,3],[7,6]])

x = [[np.nan, 2], [6, np.nan], [7, 6]]

print(imp.transform(x))

[[4. 2. ]

[6. 3.66666667]

[7. 6. ]]

缺失值處理

pandas使用nan not a number 表示浮點和非浮點陣列中的缺失資料,python內建的none值也會被當做na處理,pandas物件上的所有描述統計都排除了缺失資料。na處理方法 方法 說明dropna 根據各標籤的值是否存在缺失資料對軸標籤進行過濾,可通過閾值調節對缺失值的容忍度 ...

缺失值處理

之前寫過一篇文章缺失值視覺化處理 missingno 主要介紹了缺失值的檢視,今天聊一下,出現了缺失值後我們要做的後續工作,就是缺失值的處理。首先附上幾個 data資料集 data.isnull 缺失值判斷 是缺失值返回true,否則範圍false data.isnull sum 缺失值計算 返回每...

缺失值處理

資料清洗主要是刪除原始資料集中的無關資料 重複資料,平滑雜訊資料,去除與資料探勘主題無關的資料,處理缺失值 異常值等 缺失主要為完全隨機缺失,隨機缺失和非隨機缺失 資料的缺失是隨機的,資料的缺失不依賴於任何不完全變數或完全變數。資料的缺失不是完全隨機的,即該類資料的缺失依賴於其他完全變數。資料的缺失...