最近刷題看到特徵降維相關試題，發現自己了解的真是太少啦，只知道最簡單的降維方法，這裡列出了常見的降維方法，有些演算法並沒有詳細推導。特徵降維方法包括：lasso，pca，小波分析，lda，奇異值分解svd，拉普拉斯特徵對映，sparseautoencoder，區域性線性嵌入lle，等距對映isomap。
lasso(least absolute shrinkage and selection operator, tibshirani(1996))
該方法是一種壓縮估計，通過構造乙個罰函式得到乙個較為精煉的模型，使得壓縮一些係數，同時設定一些係數為零。英雌保留了子集收縮的優點，，是一種處理具有復共線性資料的有偏估計。lasso 的基本思想是在回歸係數的絕對值之和小於乙個常數的約束條件下，使殘差平方和最小化，從而能夠產生某些嚴格等於 0 的回歸係數，得到可以解釋的模型。
pca（principal component analysis）是一種常用的資料分析方法。pca通過線性變換將原始資料變換為一組各維度線性無關的表示，可用於提取資料的主要特徵分量，常用於高維資料的降維。
設有m條n維資料。
1）將原始資料按列組成n行m列矩陣x
2）將x的每一行（代表乙個屬性字段）進行零均值化，即減去這一行的均值
3）求出協方差矩陣c=\fracxx^\mathsf
4）求出協方差矩陣的特徵值及對應的特徵向量
5）將特徵向量按對應特徵值大小從上到下按行排列成矩陣，取前k行組成矩陣p
6）y=px即為降維到k維後的資料
pca降維過程請參考
小波分析有一些變換的操作降低其他干擾可以看做是降維。
線性判別式分析（linear discriminant analysis），簡稱為lda。也稱為fisher線性判別（fisher linear discriminant，fld），是模式識別的經典演算法，在2023年由belhumeur引入模式識別和人工智慧領域。
基本思想是將高維的模式樣本投影到最佳鑑別向量空間，以達到抽取分類資訊和壓縮特徵空間維數的效果，投影後保證模式樣本在新的子空間有最大的類間距離和最小的類內距離，即模式在該空間中有最佳的可分離性。
lda與前面介紹過的pca都是常用的降維技術。pca主要是從特徵的協方差角度，去找到比較好的投影方式。lda更多的是考慮了標註，即希望投影後不同類別之間資料點的距離更大，同一類別的資料點更緊湊。
詳細請參考
拉普拉斯特徵對映將處於流形上的資料，在盡量保留原資料間相似度的情況下，對映到低維下表示。
求解廣義特徵向量，取前幾個非零最小特值對應的特向，即為原資料在低維下的表示。
資料**於：
稀疏自編碼就是用少於輸入層神經元數量的隱含層神經元去學習表徵輸入層的特徵，相當於把輸入層的特徵壓縮了，所以是特徵降維。
詳細請參考
在pca演算法中，用到了svd，類似pca，可以看成一類。
locally linear embedding（lle）是一種非線性降維演算法，它能夠使降維後的資料較好地保持原有流形結構。lle可以說是流形學習方法最經典的工作之一。很多後續的流形學習、降維方法都與lle有密切聯絡。
lle演算法認為每乙個資料點都可以由其近鄰點的線性加權組合構造得到。演算法的主要步驟分為三步：(1)尋找每個樣本點的k個近鄰點；（2）由每個樣本點的近鄰點計算出該樣本點的區域性重建權值矩陣；（3）由該樣本點的區域性重建權值矩陣和其近鄰點計算出該樣本點的輸出值。具體的演算法流程如圖2所示：
isomap是一種非迭代的全域性優化演算法，通過一種原本試用於歐式空間的演算法mds，達到降維的目的。
機器學習降維方法概括
目錄 lasso通過引數縮減達到降維的目的 主成分分析pca 小波分析 線性判別lda 拉普拉斯對映 深度學習sparseautoencoder 矩陣奇異值分解svd lle區域性線性嵌入 isomap等距對映 最近刷題看到特徵降維相關試題，發現自己了解的真是太少啦，只知道最簡單的降維方法，這裡列出...
機器學習降維方法
特徵降維方法包括 lasso，pca，小波分析，lda，奇異值分解svd，拉普拉斯特徵對映，sparseautoencoder，區域性線性嵌入lle，等距對映isomap，embedding。lasso least absolute shrinkage and selection operator,...
機器學習降維方法
由於我的畢設要用pcanet提取特徵，因此學習一下常見的機器降維方法。1.pca 最大化對映後資料的方差 無監督 2.lda 最小的類內間距，最大的類間間距 有監督 原理推導 3.區域性線性嵌入 lle，非線性 它能夠使降維後的資料較好地保持原有 流形結構 它的思想就是在降維時保持區域性的線性關係。...