矩陣的奇異值是乙個數學意義上的概念，一般是由奇異值分解（singular value decomposition，簡稱svd分解）得到。如果要問奇異值表示什麼物理意義，那麼就必須考慮在不同的實際工程應用中奇異值所對應的含義。
奇異值往往對應著矩陣中隱含的重要資訊，且重要性和奇異值大小正相關。每個矩陣
奇異值分解，就是把矩陣分成多個「分力」
奇異值的大小，就是各個「分力」的大小
設x是乙個n*m的資料矩陣（在此不把它理解成變換），每一列表示乙個資料點，每一行表示一維特徵。
對x做主成分分析（pca）的時候，需要求出各維特徵的協方差，這個協方差矩陣是
（其實需要先把資料平移使得資料的均值為0，不過在此忽略這些細節）
pca做的事情，是對這個協方差矩陣做對角化：
可以這樣理解上式右邊各項的物理意義：用乙個均值為0的多維正態分佈來擬合資料，則正交矩陣p的每一列是正態分佈的概率密度函式的等高線（橢圓）的各個軸的方向，而對角矩陣
現在來看資料矩陣x的奇異值分解：
由此式可以得到
也就是說，svd中的矩陣u相當於pca中的矩陣p，不過僅保留了
所以，svd中的u代表了x中資料形成的正態分佈的軸的方向（一組單位正交基），
那麼v呢？可以把us放在一起看成乙個由伸縮和旋轉組成的座標變換（不包括平移），資料矩陣x是由資料矩陣
現在換乙個角度，把x中的各行看作資料，那麼
現在，可以看到，對於
從主成分分析（PCA）到奇異值分解（SVD）
主成分分析 principal factor analysis 簡稱pca，是機器學習中非常常見的壓縮降維方法。為什麼需要壓縮降維？是由於高維的樣本本身存在冗餘 稀疏的特點，直接把高維樣本用於擬合或者模式識別，極其容易出現過擬合。而在處理實際問題時，與學習任務相關的也許僅是高維樣本的某個低維分布，因...
奇異值分解 SVD
最近不小心接觸到了svd，然後認真看下去之後發現這東西真的挺強大的，把乙個推薦問題轉化為純數學矩陣問題，看了一些部落格，把乙個寫個比較具體的博文引入進來，給自己看的，所以把覺得沒必要的就去掉了，博文下面附原始部落格位址。一 基礎知識 1.矩陣的秩 矩陣的秩是矩陣中線性無關的行或列的個數 2.對角矩陣...
SVD奇異值分解
原文出處 今天我們來講講奇異值分解和它的一些有意思的應用。奇異值分解是乙個非常，非常，非常大的話題，它的英文是 singular value decomposition，一般簡稱為 svd。下面先給出它大概的意思 對於任意乙個 m n 的矩陣 m 不妨假設 m n 它可以被分解為 m udv t 其...