特徵選擇演算法之 ReliefF 演算法

**：

relieff演算法是relief演算法的擴充套件， relief演算法只適用於兩類樣本的問題， relieff演算法可以應用到多個樣本上。

relieff演算法步驟如下：

現有不同類別的樣本若干， 對每類樣本稱作 xn。

1. 從所有樣本中，隨機取出乙個樣本a。

2. 在與樣本a相同分類的樣本組內，取出k個最近鄰樣本。

3. 在所有其他與樣本a不同分類的樣本組內， 也分別取出k個最近鄰樣本。

4. 計算每個特徵的權重。

對於每個特徵的權重有：

其中， p(c) 為該類別的比例。 p(class(r)) 為隨機選取的某樣本的類別的比例。

可以看到，權重意義在於， 減去相同分類的該特徵差值， 加上不同分類的該特徵的差值。（若該特徵與分類有關，則相同分類的該特徵的值應該相似， 而不同分類的值應該不相似）

最後可以根據權重排序，得到合適的特徵。

特徵選擇演算法之 ReliefF 演算法

relieff演算法是relief演算法的擴充套件，relief演算法只適用於兩類樣本的問題，relieff演算法可以應用到多個樣本上。relieff演算法步驟如下 現有不同類別的樣本若干，對每類樣本稱作 xn。1.從所有樣本中，隨機取出乙個樣本a。2.在與樣本a相同分類的樣本組內，取出k個最近鄰樣...

特徵選擇演算法之 chisquare 演算法

chisquare特徵選擇演算法 通過計算各個特徵的卡方值，進行排序後得到。每個特徵的卡方值計算應如下 x 2 ya yb 2 yb 其中，ya是每個樣本中，ya的實際值，而yb為理想值,即假設無關成立時，理想的值。由於假設該特徵與目標特徵無關，則應當在該特徵的範圍上，目標特徵值均勻分布。例如 假設...

特徵選擇之 FCBF演算法

具體詳述可見，提出該演算法的 feature selection for high dimensional data a fast correlation based filter solution fcbf演算法 全稱 fast correlation basd filter solution,是...