1、什麼是流形?
經常會在 ***** 裡看到「嵌入在高維空間中的低維流形」,高維的資料對於我們總是難以想像,所以最直觀的例子通常都會是嵌入在三維空間中的二維或者一維流形。比如說一塊布,可以把它看成乙個二維平面,這是乙個二維的歐氏空間,現在我們(在三維)中把它扭一扭,它就變成了乙個流形(當然,不扭的時候,它也是乙個流形,歐氏空間是流形的一種特殊情況)。所以,直觀上來講,乙個流形好比是乙個 d 維的空間,在乙個 m 維的空間中 (m > d) 被扭曲之後的結果。需要注意的是,流形並不是乙個「形狀」,而是乙個「空間」,而上面布的例子,把它扭一扭並不是說它的特徵被扭曲了,跟形狀沒有關係。恰恰相反在流形中的特徵通常都有著很好的幾何性質,可以避免特徵扭曲(第二小節流形學習的第③個方向),沒有人知道布的真正形態,平整的形態只是我們人類所喜歡的形態。(有點哲學呦)
如果你覺得「扭曲的空間」難以想象,那麼請再回憶之前一塊布的例子。
2、流形跟我們的關係---資料關係
流形學習的觀點:認為我們所能觀察到的資料實際上是由乙個低維流形對映到高維空間的。由於資料內部特徵的限制,一些高維中的資料會產生維度上的冗餘,實際上這些資料只要比較低的維度就能唯一的表示。而我們想做的就是:
①將那些高維裡的流形對映到低維空間觀察,找到那個對映;
②不直接找到這個對映,可以找到某種方法,在高維空間處理資料,等效於「將高維空間對映到低維空間、再處理資料、再對映回高維空間」的這種操作。
③由於在流形中的特徵通常都有著很好的幾何性質,可以避免特徵扭曲,因此我們首先將原始空間下的特徵變換到流形中
3、流形學習
流形學習(manifold learning)是機器學習、模式識別中的一種方法,在維數約簡方面具有廣泛的應用。它的主要思想是將高維的資料對映到低維,使該低維的資料能夠反映原高維資料的某些本質結構特徵。流形學習的前提是有一種假設,即某些高維資料,實際是一種低維的流形結構嵌入在高維空間中。流形學習的目的是將其對映回低維空間中,揭示其本質。但有時也有很難找到對映,就會設法在高維空間處理資料,等效於「將高維空間對映到低維空間、再處理資料、再對映回高維空間」的這種操作。
流形學習t SNE,LLE,Isomap
作者 andre ye 編譯 vk analytics indiamag 主成分分析是一種強大的方法,但它往往失敗,因為它假設資料可以線性建模。pca將新的特徵表示為現有特徵的線性組合,將每個特徵乘以乙個係數。為了解決主成分分析的侷限性,人們通過對具有不同結構的資料進行應用而產生了各種各樣的技術。然...
幾種流形學習演算法
區域性線性嵌入 lle 前提假設 取樣資料所在的低維流形在區域性是線性的,即每個取樣點可以用它的近鄰點線性表示。求解方法 特徵值分解。lle演算法 計算每乙個點xi的近鄰點,一般採用k近鄰或者 領域。計算權值wij,使得把xi用它的k個近鄰點線性表示的誤差最小,即通過最小化 xi wijxj 來求出...
十 Sklearn流形學習
參考url 流形學習是一種無監督評估器,它試圖將乙個低維度流形嵌入到乙個高維度空間來描述資料集。通過觀察這個資料集,可以看到資料集中選中的x值和y值並不是對資料的最基本描述 即使放大 縮小或旋轉資料,hello 仍然會很明顯。這說明x和y的值並不是資料間關係的必要基礎特徵。這個例子中真正的基礎特徵是...