正交矩陣： 它的轉置矩陣就是它的逆矩陣， qtq = qqt = i
對角矩陣： 方陣m所有非主對角線元素全等於零的矩陣。 （主對角線元素： 元素兩個下標相等）
svd， 奇異值分解： 矩陣m = uσvt， u和v是正交矩陣， σ是非負對角陣， σ對角線上的元素即為m的奇異值。m 是m*n, u是m*m, σ是m*n, vt是n*n
特徵值與特徵向量：αξ = λξ, 在
變換的作用下，向量
僅僅在尺度上變為原來的
倍。稱是a
的乙個特徵向量，
是對應的特徵值。所有具有相同的特徵值
的特徵向量和零向量一起，組成了乙個
向量空間
，稱為線性變換的乙個特徵空間。
特徵值分解： a是n*n方陣， 且有n個線性無關的特徵向量
， a = qλq-1， 其中 q是n×
n方陣，且其第
i列為a的特徵向量
。λ是
對角矩陣
，其對角線上的元素為對應的特徵值，也即
奇異值分解過程：
首先，我們將乙個矩陣a的轉置 * a，將會得到乙個方陣，我們用這個方陣求特徵值可以得到：
這裡得到的v，就是我們上面的右奇異向量。此外我們還可以得到：
這裡的σ就是上面說的奇異值，u就是上面說的左奇異向量。奇異值σ跟特徵值類似，在矩陣σ中也是從大到小排列，而且σ的減少特別的快，在很多情況下，前10%甚至1%的奇異值的和就佔了全部的奇異值之和的99%以上了。也就是說，我們也可以用前r大的奇異值來近似描述矩陣，這裡定義一下部分奇異值分解：
r是乙個遠小於m、n的數, 所以奇異值分解可以被用來作降維。
奇異值計算：
lanczos迭代
就是一種解對稱方陣部分特徵值的方法
latent factory model: 將稀疏矩陣分解成兩個矩陣，乙個表示user的feature， 乙個表示itme的featur， 然後做內積得到**評分，此外還需要考慮biases. 求解方法 stochastic gradient desent。
參考：
線性代數複習
線性方程組 linear equations 形如a1x1 a2x2 a3x3 anxn b的方程是線性方程，其中a1到an通常是已知數。線性方程組是由乙個或幾個包含相同變數的x1.x2.xn的線性方程組成的。線性方程組的一組解是一組數 s1.s2.sn 解得集合稱之為解集。具有相同解集的線性方程組...
線性代數知識複習
奇異矩陣是線性代數的概念，就是該矩陣的秩不是滿秩。設a為n維方陣，若有a a，則稱矩陣a為反對稱矩陣。對於反對稱矩陣，它的主對角線上的元素全為零，而位於主對角線兩側對稱的元反號。反對稱矩陣具有很多良好的性質，如若a為反對稱矩陣，則a a均為反對稱矩陣 若a,b均為反對稱矩陣，則a b也為反對稱矩陣 ...
線性代數複習1 視角
1.1 矩陣是 變換 或者是 座標系 簡單來講，乙個a左乘乙個矩陣x相當於在x身上施加行變換，a右乘乙個矩陣x xa 相當於對x施加列變換。座標系 的含義是ax b,其中a為矩陣，x,b為向量，這個算式當然可以理解為a對x進行行變換，但是也可以理解為，在座標系a的衡量下，乙個神奇的東西的座標為x，在...