特徵選擇演算法之 ReliefF 演算法

relieff演算法是relief演算法的擴充套件， relief演算法只適用於兩類樣本的問題， relieff演算法可以應用到多個樣本上。

relieff演算法步驟如下：

現有不同類別的樣本若干， 對每類樣本稱作 xn。

1. 從所有樣本中，隨機取出乙個樣本a。

2. 在與樣本a相同分類的樣本組內，取出k個最近鄰樣本。

3. 在所有其他與樣本a不同分類的樣本組內， 也分別取出k個最近鄰樣本。

4. 計算每個特徵的權重。

對於每個特徵的權重有：

其中， p(c) 為該類別的比例。 p(class(r)) 為隨機選取的某樣本的類別的比例。

可以看到，權重意義在於， 減去相同分類的該特徵差值， 加上不同分類的該特徵的差值。（若該特徵與分類有關，則相同分類的該特徵的值應該相似， 而不同分類的值應該不相似）

最後可以根據權重排序，得到合適的特徵。

特徵選擇演算法之 ReliefF 演算法

relieff演算法是relief演算法的擴充套件，relief演算法只適用於兩類樣本的問題，relieff演算法可以應用到多個樣本上。relieff演算法步驟如下 現有不同類別的樣本若干，對每類樣本稱作 xn。1.從所有樣本中，隨機取出乙個樣本a。2.在與樣本a相同分類的樣本組內，取出k個最近鄰樣...

特徵選擇演算法之 chisquare 演算法

chisquare特徵選擇演算法 通過計算各個特徵的卡方值，進行排序後得到。每個特徵的卡方值計算應如下 x 2 ya yb 2 yb 其中，ya是每個樣本中，ya的實際值，而yb為理想值,即假設無關成立時，理想的值。由於假設該特徵與目標特徵無關，則應當在該特徵的範圍上，目標特徵值均勻分布。例如 假設...

特徵選擇之 FCBF演算法

具體詳述可見，提出該演算法的 feature selection for high dimensional data a fast correlation based filter solution fcbf演算法 全稱 fast correlation basd filter solution,是...