tsvd經常被用在特徵提取和病態問題的解決上。
從某種程度上來說，pca和svd是一對表親，pca對特徵的協方差矩陣進行分解，找到一堆特徵的線性組合，盡可能多的表示出原始特徵中成分，svd則對原始資料直接進行奇異值分解，找到原始資料中盡可能大的特徵值，以這些特徵值多對應的特徵向量作為新的特徵。對於病態矩陣，目前主要的處理辦法有預調節矩陣方法、區域分解法、正則化方法等，截斷奇異值分解技術tsvd就是一種正則化方法，它犧牲部分精度換去解的穩定性，使得結果具有更高的泛化能力。
對於原始資料矩陣a(n*m) ，n代表樣本個數，m代表維度，對其進行svd分解：
上式中的delta就是資料的奇異值，且delta(1)>delta(2)>delta(3)...，通常如果a非常病態，delta的後面就越趨向於0，delta(1)/delta(n)就是資料的病態程度，越大說明病態程度越高，無用的特徵越多，通常會擷取前p個最大的奇異值，相應的u擷取前p列，v擷取前p列，這樣a依然是n*m的矩陣，用這樣的計算出來的a代替原始的a，就會比原始的a更穩定。
那麼，提取的出的特徵在**呢？delta(i)*u(:,i)*v(i,:)就是我們最終得到的第i重要的乙個特徵。
截斷引數p的選取是
tsvd
方法的乙個難點，確定何時開始捨棄小奇異值得貢獻，統計學領域中該技術被稱為主成分分析，本文在後面的數值計算中採用
l曲線法求得p。
奇異值分解
奇異值分解 singular value decomposition 是線性代數中一種重要的 矩陣分解，是矩陣分析中正規矩陣酉對角化的推廣。在訊號處理 統計學等領域有重要應用。1基本介紹 2理論描述 3幾何意義 4範數 5應用 求偽逆 平行奇異值模型 矩陣近似值 奇異值分解在某些方面與 對稱矩陣或 ...
奇異值分解
從幾何 的角度上來看奇異值分解 上圖表明任意的矩陣 a 是可以分解成三個矩陣相乘的形式。v表示了原始域的標準正交基，u表示經過a 變換後的co domain的標準正交基，表示了v 中的向量與u中相對應向量之間的關係。我們仔細觀察上圖發現，線性變換a可以分解為旋轉 縮放 旋轉這三種基本線性變換。接下來...
奇異值分解
本文 知乎 我們先舉乙個例子，假設現在我們拿到這樣一組資料，裡面有兩個屬性，既有以 千公尺 每小時 度量的最大速度特徵，也有 英里 小時 的最大速度特徵，顯然我們一眼就看出這兩個特徵有乙個多餘。怎麼直觀的判斷資料是否冗餘?上圖從左往右，我們可以發現資料之間的關聯性越來越強，也就是說兩組資料越來越 相...