奇異值分解(singular value decomposition，以下簡稱svd)是在機器學習領域廣泛應用的演算法，它不光可以用於降維演算法中的特徵分解，還可以用於推薦系統，以及自然語言處理等領域。是很多機器學習演算法的基石。本文就對svd的原理做乙個總結，並討論在在pca降維演算法中是如何運用運用svd的。
svd作為乙個很基本的演算法，在很多機器學習演算法中都有它的身影，特別是在現在的大資料時代，由於svd可以實現並行化，因此更是大展身手。svd的原理不難，只要有基本的線性代數知識就可以理解，實現也很簡單因此值得仔細的研究。當然，svd的缺點是分解出的矩陣解釋性往往不強，有點黑盒子的味道，不過這不影響它的使用。
簡介：意義：資料中心化和標準化在回歸分析中是取消由於量綱不同、自身變異或者數值相差較大所引起的誤差。
原理：資料標準化：是指數值減去均值，再除以標準差；
資料中心化：是指變數減去它的均值。
目的：通過中心化和標準化處理，得到均值為0，標準差為1的服從標準正態分佈的資料。
在回歸問題和一些機器學習演算法中，以及訓練神經網路的過程中，還有pca等通常需要對原始資料進行中心化（zero-centered或者mean-subtraction）處理和標準化（standardization或normalization）處理。
奇異值分解 SVD 原理與在降維中的應用
在主成分分析 pca 原理總結中，我們講到要用pca降維，需要找到樣本協方差矩陣xtxxtx的最大的d個特徵向量，然後用這最大的d個特徵向量張成的矩陣來做低維投影降維。可以看出，在這個過程中需要先求出協方差矩陣xtxxtx，當樣本數多樣本特徵數也多的時候，這個計算量是很大的。注意到我們的svd也可以...
奇異值分解 SVD
最近不小心接觸到了svd，然後認真看下去之後發現這東西真的挺強大的，把乙個推薦問題轉化為純數學矩陣問題，看了一些部落格，把乙個寫個比較具體的博文引入進來，給自己看的，所以把覺得沒必要的就去掉了，博文下面附原始部落格位址。一 基礎知識 1.矩陣的秩 矩陣的秩是矩陣中線性無關的行或列的個數 2.對角矩陣...
SVD奇異值分解
原文出處 今天我們來講講奇異值分解和它的一些有意思的應用。奇異值分解是乙個非常，非常，非常大的話題，它的英文是 singular value decomposition，一般簡稱為 svd。下面先給出它大概的意思 對於任意乙個 m n 的矩陣 m 不妨假設 m n 它可以被分解為 m udv t 其...