給出\(n\)組\(m-1\)個自變數的資料點(用\(n\times m\)大小的矩陣\(a\)表示，其中第一列均為1，代表常數項)，以及它們的真實取值(用n維列向量\(b\)表示)，現在需要用乙個\(m-1\)元未知數的線性方程來擬合這組資料點。可以用非齊次線性方程組\(ax=b\)表示。
一般來說這個方程組是無解的，即\(b\notin c(a)\)，我們需要找到乙個近似的\(\hat b,\hat x\)，使得\(a\hat x=\hat b\)。其中\(b_i\)是第\(i\)個資料點的真實取值，\(\hat b_i\)是第\(i\)個資料點通過擬合直線的近似取值，如下圖所示：
在第十五課已經講過，最小二乘法的損失函式是均方差函式，即：
\[\mathrm\ \ \sum_^m(b_i-\hat b_i)^2
\]換言之：
為直觀起見，這裡的\(\mathrmc(a)=2\)，則\(b\)投影到\(c(a)\)上的向量\(\hat b\)如圖所示，顯然\(e=b-\hat b,e\perp c(a)\)，因此此時\(\|e\|=\|b-\hat b\|\)是最小的。
根據第十五節的知識，我們可以令投影矩陣\(p=a(a^ta)^a^t\)，則：
\[\hat b=pb=a(a^ta)^a^tb
\]\[a\hat x=\hat b
\]上式左右同時左乘\(a^t\)：
\[a^ta\hat x=a^ta(a^ta)^a^tb=a^tb
\]根據這個非齊次線性方程組便可以解出\(\hat x\)，也就能得到這個擬合的直線方程了。
正交矩陣和gram-schmidt正交化在國內的各類線代教材中都有出現，這裡不做過多贅述。
這裡值得一提的是，前\(t-1\)個線性無關向量\(\alpha_1\cdots \alpha_\)已正交化為\(\beta_1\cdots \beta_\)，正交化第\(t\)個向量\(\alpha t\)的過程，就是將其投射到\(c(\beta_1\cdots \beta_)\)這個空間中，然後獲得誤差向量的過程。
如上圖，若已獲得兩個正交化的向量\(\beta_1,\beta_2\)，則首先將\(\alpha_3\)投射到\(c(\beta_1,\beta_2)\)得到\(\mathrm_\alpha_3\)
則\[\beta_3=\alpha_3-\mathrm_\alpha_3=\alpha_3-\mathrm_\alpha_3-\mathrm_\alpha_3
\]由十五課的投影相關的內容可得
\[\beta_3=\alpha_3-(\alpha_3,\beta_1)\frac-(\alpha_3,\beta_2)\frac
\]國內線代教材包含了此課中的所有內容，此處不作過多贅述。
根據行列式的性質，將三階行列式按第一行拆分，如下圖：
然後對每個行列式，將其按第二行拆分，以此類推，最終可以得到：
類似地，對於\(n\)階行列式\(\mathrm(a_)_\)而言，可以將其拆分為
\[\sum(-1)^x\mathrm\
\]其中\(\\)表示的是\(a_a_\cdots a_\),\(x\)是序列\(\\)的逆序對個數，\(\mathrm\\)表示的是1到n的全排列
如果我們把其中含\(a_\)的項全部提出來，就能得到\(a_\)對應的代數余子式\(a_\)
國內線代教材包含了克拉默法則相關的內容，此處不作過多贅述。
值得一提的是二階(三階)行列式的值與面積(體積)的關係。
對於乙個二階矩陣a
\[a=\begina & b\\c & d\end
\]而言，\(|\mathrm(a)|\)就是如下平行四邊形的面積：
實際上這和叉積是完全相同的：
\[|det(a)|=|ad-bc|=|\\times \|
\]對於乙個三階矩陣a
\[a=\begina_&a_&a_\\a_&a_&a_\\a_&a_&a_\end
\]而言，\(|\mathrma|\)就是如下圖所示的平行六面體的體積
這符合混合積的定義：
\[v=|(\,a_,a_\}\times \,a_,a_\})·\,a_,a_\}|
\]而且二階(三階)行列式的性質也有幾何意義。如對於三階行列式a的某一行乘以2得到a'，則a'=2a，相當於是對應的向量長度乘2，則該平行六面體體積也乘2
麻省理工公開課 線性代數
矩陣右乘代表對列向量線性組合。左乘表示對行進行線性組合。ab c c中的列是a中列的線性組合，c中的行是b中行的線性組合。求方程可看做求線性組合的向量，採用消元法，把曾廣矩陣化成下三角，然後回代。方陣，只要有逆，放哪邊都行。非方陣，左逆不等於右逆。矩陣不可逆，可認為存在列的線性組合違為零。求逆的過程...
麻省理工公開課 線性代數 學習筆記02
矩陣消元 這次是矩陣消元的內容，首先依然從乙個方程組開始 e.g.同樣先寫出他的係數矩陣 先寫出他的係數矩陣 方框框起來的被稱為主元1 第二個方框被稱為主元2，箭頭上是以消去元的位置而標明的.其實具體流程是這樣，為了消去第二個方程的x，然後兩邊同時減去第乙個方程的三倍 就能達到消元目的了，這種方 法...
線性代數 粗略筆記 MIT
線性代數粗略筆記 國內的線性代數教得很死板呀，有條件的同學還是盡量聽聽老外的課吧 第一講線性方程組 2x y 0 3x 4y 0 第一種視角 row picture 第二種視角 column picture 列向量視角是線性代數的核心，該視角將線性方程組看做列向量的線性組合，巧妙地將代數視角變成了幾...