Python方差特徵過濾的例項分析

1、通過特徵本身的方差來篩選特徵。特徵的方差越小，特徵的變化越不明顯。

2、變化越不明顯的特徵對我們區分標籤沒有太大作用，因此應該消除這些特徵。

def variance_demo():

"""過濾低方差特徵

:return:

"""# 1. 獲取資料

data = pd.read_csv('factor_returns.csv')

data = data.iloc[:, 1:-2]

print('data:\n', data)

# 2. 例項化乙個轉換器類

transfer = variancethreshold(threshold=10)

# 3. 呼叫fit_transform()

data_new = transfer.fit_transform(data)

print('data_new:\n', data_new, data_new.shape)

return none

知識點擴充：

方差過濾法

variancethreshold 是特徵選擇的乙個簡單基本方法,其原理在於–底方差的特徵的**效果往往不好。而variancethreshold會移除所有那些方差不滿足一些閾值的特徵。預設情況下，它將會移除所有的零方差特徵，即那些在所有的樣本上的取值均不變的特徵。

sklearn中的variancethreshold類中重要引數 threshold（方差的程式設計客棧閾值），表示刪除所有方差小於threshold的特徵 #不填預設為0——刪除所有記錄相同的特徵。

import pandas awww.cppcns.coms pd

import numpy as np

np.random.seed(1) #設定隨機種子，實現每次生成的隨機數矩陣都一樣

a= np.random.randint(0, 200,10)

b= np.random.randint(0, 200,10)

c= np.random.randint(0, 200,10)

d= [9,9,9,9,9,9,9,9,9,9]

data=pd.dataframe()

程式設計客棧data

from sklearn.feature_selection import variancethreshold

sel_model = variancethreshold(threshold = 0)

#刪除不合格特徵之後的新矩陣

sel_model.fit_transform(data)