（一）前言
老生常談，現在很多寫部落格的人根本就不管自己抄過來的對不對，有些甚至連**出處都不標，錯誤逐漸傳播，通通copy，影響極其惡劣，令人作嘔。正如現在要找一篇數學上證明svd的文章都很難找到，全都是給你直接講「直觀理解」和所謂的「內涵」，搞來搞去就是複製黏貼那些已經有過的東西，**的人可能根本連這些自己發的都還搞不懂，滑天下之大稽！
（二）推導
由$x^tx$實對稱，故$\exists$正交陣$p_$使$p^tx^txp= diag(\lambda_1,...,\lambda_r,0,...,0)$
令$p=(\alpha_1,...,\alpha_r,\alpha_,...,\alpha_)$，此時$\left \ x^tx \alpha_i = \lambda_i\alpha_i & i=1,...,r\\ x^tx\alpha_i=\overrightarrow&i=r+1,...,p \end \right. $
若要找乙個$q=(\beta_1,...,\beta_n)$滿足條件$\leftrightarrow$找滿足條件的$q$，使得$q\left[ \begin \lambda^} & \mathbf\\ \mathbf& \mathbf \end\right]=xp$
將上式展開化簡得$\beta_i=\frac}$ $i=1,...,r$，此時就轉化為考察如下三個問題：
① 這些$\beta_i$是否分別對應了$xx^t$的特徵值$\lambda_i$
② 它們是否相互兩兩正交
③ 是否能找到其餘符合條件的$n-r$個特徵向量與$\beta_1,...,\beta_r$一起構成正交陣$q$
問題①：$xx^t\beta_i = \frac}=\frac}=\sqrtx\alpha_i=\lambda_i\beta_i$ $i=1,...,r$
問題②：$\forall i,j =1,...,r$有$\beta_i^t\beta_j=\frac}=\frac}=\sqrt}\alpha_i^t\alpha_j=\left\1&i=j \\0 &i\ne j\end \right.$
問題③：只要取$xx^t$零空間的規範正交基$\beta_,...,\beta_$就可以滿足條件
綜上，奇異值分解$singular$ $value$ $decomposition$定理成立
ALS過程推導
als是alternating least squares的縮寫 意為交替最小二乘法 而als wr是alternating least squares with weighted regularization的縮寫，意為加權正則化交替最小二乘法。該方法常用於基於矩陣分解的推薦系統中。例如 將使用者...
奇異值分解 SVD 原理詳解及推導
今天學習svd原理，檢視一些博文與資料，為了方便複習，做一下學習筆記。svd不僅是乙個數學問題，在工程應用中的很多地方都有它的身影，比如前面講的pca，掌握了svd原理後再去看pca那是相當簡單的，在推薦系統方面，svd更是名聲大噪，將它應用於推薦系統的是netflix大獎的獲得者koren，可以在...
奇異值分解 SVD 原理詳解及推導
在網上看到有很多文章介紹svd的，講的也都不錯，但是感覺還是有需要補充的，特別是關於矩陣和對映之間的對應關係。前段時間看了國外的一篇文章，叫a singularly valuable decomposition the svd of a matrix，覺得分析的特別好，把矩陣和空間關係對應了起來。本...