本文**知乎
我們先舉乙個例子，假設現在我們拿到這樣一組資料，裡面有兩個屬性，既有以「千公尺/每小時」度量的最大速度特徵，也有「英里/小時」的最大速度特徵，顯然我們一眼就看出這兩個特徵有乙個多餘。
怎麼直觀的判斷資料是否冗餘? 上圖從左往右，我們可以發現資料之間的關聯性越來越強，也就是說兩組資料越來越「相似」，我們用其中一組資料就能**出另一組資料，這就是資料需要降維的其中乙個原因：冗餘。
另一方面，除了冗餘之外，資料中可能還存在雜訊，資料記錄過程中存在某些不可抗因素的干擾。我們常常用訊雜比signal-to-noise ratio (snr) 來評價一組資料的好壞。
換句話說，一組資料中」 訊號」 部分的方差較大，方差較小的我們可以認定為雜訊。
哎呀，我們已經找到pca 的理論根據了，我們要得到資料中的」 有用」 資訊，也就是說我們要找到資料方差大的維度
二. 協方差矩陣
那麼怎麼判斷兩組資料是否冗餘呢，很簡單呀，求個協方差就可以了。
舉個例子，我們想知道乙個男孩子的猥瑣程度跟他受女孩子的歡迎程度是否存在一些聯絡。我們就可以用協方差來度量，協方差的的定義：
協方差的結果有什麼意義呢？
奇異值分解
奇異值分解 singular value decomposition 是線性代數中一種重要的 矩陣分解，是矩陣分析中正規矩陣酉對角化的推廣。在訊號處理 統計學等領域有重要應用。1基本介紹 2理論描述 3幾何意義 4範數 5應用 求偽逆 平行奇異值模型 矩陣近似值 奇異值分解在某些方面與 對稱矩陣或 ...
奇異值分解
從幾何 的角度上來看奇異值分解 上圖表明任意的矩陣 a 是可以分解成三個矩陣相乘的形式。v表示了原始域的標準正交基，u表示經過a 變換後的co domain的標準正交基，表示了v 中的向量與u中相對應向量之間的關係。我們仔細觀察上圖發現，線性變換a可以分解為旋轉 縮放 旋轉這三種基本線性變換。接下來...
奇異值和奇異值分解
理論 假設m是乙個m n階矩陣，其中的元素全部屬於域 k，也就是 實數域或複數域。如此則存在乙個分解使得 m u v 其中u是m m階酉矩陣 是半正定m n階對角矩陣 而v 即v的共軛轉置，是n n階酉矩陣。這樣的分解就稱作m的奇異值分解。對角線上的元素 i,i即為m的奇異值。直觀的解釋 在矩陣m的...