as all we know, 線性代數對於機器學習的重要性不言而喻。但縱觀國內的教材和課程，大部分線性代數的講解，一上來就堆滿了各種定義和公式，從而導致我們知其然而不知其所以然，不利於我們深入理解機器學習的演算法。
因此，希望本篇博文能幫大家從另乙個角度理解線性代數。但是注意，閱讀本篇博文，最好已經有了線性代數的基礎，比如要知道矩陣的形式，矩陣怎麼相乘之類的基礎知識。然後如果你雖然知道矩陣相乘怎麼算，卻並不知道它們有什麼物理含義，那麼相信本篇博文會讓您有所收穫。本系列博文分為上下兩篇，上篇主要講矩陣的本質，下篇主要講向量的範數和矩陣分解。
比如，對於空間a中的乙個三維點a(a1,a2,a3)，空間b的乙個二維點b(b1,b2)，那麼如何將a點對映成b點呢？只需構造乙個維度為3*2的矩陣，利用矩陣乘法便可實現對映。
矩陣的本質就是描述空間的對映。因此它可以看作乙個函式，接受乙個空間作為輸入，輸出乙個對映後的新空間。
矩陣a[22
4111
]\left[ \begin 2& 2 \\ 4 & 1 \\ 1 & 1 \end \right]
⎣⎡241
211
⎦⎤
就是儲存資料的作用了。矩陣的每一行表示空間中的乙個樣本點，所以a就表示二維空間裡的三個樣本點；如果將a這三個樣本點丟給對映w[
0.5002
]\left[ \begin 0.5&0 \\ 0&2 \\ \end \right]
[0.50
02]
，就得到了三個樣本點在新空間上的新空間上的映象點a x w = [14
22
0.52
]\left[ \begin 1&4 \\ 2&2 \\ 0.5&2 \\ \end \right]
⎣⎡120
.54
22⎦
⎤在神經網路中，每一層的輸出經過權重矩陣，對映到下一層的輸入過程，就是上述過程。
我們將矩陣w重新誇張一下w=[
0.9900
100]
\left[ \begin 0.99&0 \\ 0&100 \\ \end \right]
[0.990
010
0]那麼這個對映就代表將第一維度壓縮為原來的0.99倍（幾乎無變化），將第二維度拉伸為原來的100倍（變化很大）。這個對映的作用物件很明顯：
機器學習需要的線性代數知識
ax b的最小二乘解為x r 1 qtb，其中qr為因式分解矩陣，解x可用回代法求解rx qt b得到使用多項式進行資料擬合以及逼近連續函式可通過選取逼近函式的一組正交基進行簡化 多項式序列p0 x p1 x 下標就是最高次數，如果i x pj x 0，則成為正交多項式序列，如果i pj 1，則叫規...
機器學習需要的線性代數知識
ax b的最小二乘解為x r 1qtb，其中qr為因式分解矩陣，解x可用回代法求解rx qtb得到 使用多項式進行資料擬合以及逼近連續函式可通過選取逼近函式的一組正交基進行簡化 多項式序列p0 x p1 x 下標就是最高次數，如果i x pj x 0，則成為正交多項式序列，如果i,pj 1，則叫規範...
機器學習中的線性代數基礎知識
主元分析也就是pca，主要用於資料降維。pca 主成分分析 旨在找到資料中的主成分，並利用這些主成分表徵原始資料從而達到降維的目的。在訊號處理領域，我們認為訊號具有較大方差，而雜訊具有較小方差。因此我們不難引出pca的目標即最大化投影方差，也就是讓資料在主軸上投影的方差最大 在我們假設中方差最大的有...