1、特徵選擇也是對資料進行預處理的乙個步驟，在進行特徵選擇的時候我們有以下兩個原則，即指導方向：
2、特徵選擇主要有兩個目的：
3、根據特徵選擇的形式又可以將特徵選擇方法分為3類：
1）filter：過濾法，按照發散性或者相關性對各個特徵進行評分，設定閾值或者待選擇閾值的個數，選擇特徵。特徵選擇過程與後續學習器無關，先用特徵選擇過程對特徵進行「過濾」，再用過濾後的特徵來訓練模型。根據相關性值排序
3）embedded：嵌入法，嵌入式特徵選擇是在學習器訓練過程中自動進行了特徵選擇。根據特徵權重係數排序
其中1不需要訓練，直接計算某些可以反映相關性值排序即可，2和3需要進行模型訓練，且2需要多次進行模型訓練；1和2是特徵選擇過程與學習器訓練過程分開，3是合二為一，在學習器訓練過程中自動進行了特徵選擇。
rfe遞迴特徵消除法：遞迴特徵消除是包裝法的一種，它的主要思想是反覆構建模型，然後選出最好的（或者最差的）特徵（根據係數來選），把選出來的特徵放到一邊，然後在剩餘的特徵上重複這個過程（如果是選取最好的，本輪選出的特徵是否基於選定集，這是乙個問題），直到遍歷了所有的特徵。在這個過程中被消除的次序就是特徵的排序。
rfecv 交叉驗證的方式遞迴特徵消除法：是通過交叉驗證的方式執行rfe，以此來選擇最佳數量的特徵：
機器學習 特徵選擇
特徵選擇是特徵工程中的重要問題 另乙個重要的問題是特徵提取 坊間常說 資料和特徵決定了機器學習的上限，而模型和演算法只是逼近這個上限而已。由此可見，特徵工程尤其是特徵選擇在機器學習中占有相當重要的地位。通常而言，特徵選擇是指選擇獲得相應模型和演算法最好效能的特徵集，工程上常用的方法有以下 1.計算每...
機器學習 特徵選擇
資料預處理完成以後，特徵比較多時，就需要對特徵進行選擇。使有意義的特徵輸入模型進行訓練。特徵選擇通常來說從兩個方面入手 特徵選擇的方法 在sklearn中可以使用feature selection庫來進行特徵選擇。2.1.1 方差選擇法 方差選擇法需要計算各特徵的方差，然後根據給定的方差閾值選擇特徵...
機器學習 特徵選擇
當資料預處理完成後，我們需要選擇有意義的特徵輸入機器學習的演算法和模型進行訓練。通常來說，從兩個方面考慮來選擇特徵 根據特徵選擇的形式又可以將特徵選擇方法分為3種 embedded 嵌入法，先使用某些機器學習的演算法和模型進行訓練，得到各個特徵的權值係數，根據係數從大到小選擇特徵。類似於filter...