1. 線性方程組問題
形如：$\sum\limits_^n a_ix_i=b$ 的方程即線性方程；由關於一系列未知變數 $x_1, x_2, ...x_n$的同時成立的線性方程的集合構成線性方程組，即：$\sum\limits_^n a_x_i=b_k, (k=1,2,...m)$ 即為乙個由關於n個未知量的m個線性方程所構成的線性方程組。
利用線性代數中矩陣和向量的一系列標記，可以將以上線性方程組寫為：$$a_x_n=b_m,\quad或 ax=b, \quad a = [a_] $$ 相當於 $m\times n$ 維矩陣a和 $n$ 維向量x的一次內積等於 $m$ 維向量b。其中a和b都是已知量，x為未知量，線性方程組問題就是求出可以使得方程成立的向量x。
線性方程組問題可以有很多種看法：可以看作是係數對於未知數的線性組合後形成一列新的數(b)；也可以看作是未知數對於係數矩陣的列向量進行線性組合，形成乙個新的列向量(b)，因此如果要方程組有解，b一定要可以被係數矩陣a的列向量線性表出，換言之即 $b\in span(a)$ 。第二種看法對於理解第二部分解的存在唯一性是很有幫助的。
線性方程組問題及其數值解法在數值計算中有著基礎而重要的地位。一方面，線性方程組本身就可以代表現實世界中的一大類模型，比如在小學初中課本上常常出現的給定預算規劃購買方案等。另一方面，化曲為直的思想在數學的應用中常常表現為用線性在小範圍內近似替代非線性，線性方程組問題能比較讓人滿意地通過數值方法解決可以說是討論非線性方程（組）問題，當然也包括優化問題的基本前提；而對於數值計算中可能更為常用的一些問題，包括微（積）分方程邊值問題（大氣和水體的流動、岩石圈振動、靜電場或電磁波傳播等）等，這一系列問題的多種解決方法無一例外以回歸到解線性方程組（很多時候是大型甚至超大型，這也意味著解線性方程組的數值方法在實踐意義上必須足夠高效迅速）問題告終。因此線性方程組的數值解法是重要的基礎。
2. 解的性質：存在/唯一性
除了 $b\in span(a)$ 以外，線性代數知識還給出任意線性方程組解存在性的普遍判別法：記係數矩陣為 $a$ ，增廣矩陣為 $\tilde$ ，若 $rank(a)=rank(\tilde)$ 則線性方程組存在解。
對於線性方程組的係數矩陣 $a_$ ，若 $m欠定方程組，即「條件不足」，若滿足存在性條件，解一定不唯一；若 $m>n$ ，則為超定方程組，即「條件過剩」，即使 $a$ 已經列滿秩，也總是存在乙個空間，任意這一空間中的向量 $b$ 都能使得方程組無解。一般來講在現實模型中，能夠形成超定方程組的問題沒有準確的解，但是可以通過最小二乘法或者其他優化方法獲得殘差最小的解。
當 $m=n$ 時，線性方程組的係數矩陣為方陣，在 $a$ 非奇異時，解有存在唯一性。所謂非奇異(nonsingular)是指以下四個等價條件：$$a^存在\quad \leftrightarrow \quad det(a)\neq 0 \quad \leftrightarrow \quad rank(a)=n \quad \leftrightarrow \quad az\neq 0, \forall z\neq 0$$ 相反，任意違反乙個條件（也就違反了所有四個條件）的矩陣均屬奇異矩陣。
可以看出，當這四個等價條件滿足時，由於 $a$ 的列向量已經構成了n維空間的一組基，$b\in span(a)$ 自動滿足；類似地，因為矩陣的秩不能超過行/列維度，作為 $a$ 的擴充的增廣矩陣 $rank(\tilde)=n$ 也自動滿足，因此存在性無疑。另由於 $a$ 列向量線性無關，錶出b的方法也唯一，因此方程組有唯一解。
3. 問題的性質：奇異性
奇異性的幾何解釋：線性方程組的每個方程均為n維空間中的乙個平面（這裡的平面指的是比空間維數少一維的集合，在二維空間中就是直線）。如果係數矩陣奇異，則行向量線性相關，那麼也就是說存在一條行向量代表的平面，和其他行向量的乙個線性組合所代表的平面，平行或者重合。線性方程組問題本身就是利用所有平面的交集來確定解的，若平面平行那麼永無交集；若平面重合那麼交集不唯一。
因此當係數矩陣奇異時，考慮到b的變化，方程組要麼無解（平行），要麼有無窮多組解（重合）。
奇異矩陣滿足四個等價條件中的任意一條：$$a不可逆 \quad \leftrightarrow \quad det(a)=0 \quad \leftrightarrow \quad rank(a)
向量的p-範數定義式：$||x||_p=(\sum\limits_^n|x_i|^p)^$ 。任意範數滿足：$$||x||\geq 0, 當且僅當x=0時取等（非負性）,\quad ||ax||=|a|\cdot ||x||（標量乘法線性）,\quad ||x+y||\leq ||x|| + ||y||（三角不等式）$$ n維空間的向量2-範數 $|x|=(\sum\limits_^n|x_i|^2)^$ 即一般說的歐幾里得距離。其他常用的範數包括1-範數（向量的各分量絕對值和）和無窮範數（向量絕對值最大的分量）。三者之間有不等式關係：$$||x||_1\geq ||x||_2\geq ||x||_,\quad ||x||_1\leq \sqrt||x||_2 \leq n||x||_$$ 範數定義的是某種意義上的向量長度。
矩陣的範數定義式：$||a||=\max\limits_ \frac$ 。矩陣範數定義的是矩陣對於維度適配的向量，按照p範數計算的最大放大率。特別地，對於1-範數和無窮範數，矩陣範數分別是最大列絕對值和，以及最大的行絕對值和。此外，矩陣範數的定義下也符合向量範數的三個性質（非負、標量線性乘法、三角不等式），此外還符合：$||ab||\leq ||a||\cdot ||b||,\quad ||ax||\leq ||a||\cdot ||x||$ 。
$$ cond(a)=(\max\limits_\frac)\cdot (\max\limits_\frac\delta b||})$$
$$cond(a)\geq \frac\cdot \frac\delta b||}=\frac=\frac$$ 即 $(||\delta x||/||x||)/(||\delta b||/||b||)\leq cond(a)$ ，意味著cond(a)正是解的相對擾動/條件的相對擾動的上限。
4. 線性方程組的理論解法
線性代數給出了兩種基本的解法：適用於 $a_$ 係數方陣的克萊姆(cramer)法則，和適用於解方陣/超定方程組（即 $m\geq n$ )、並且可以給出欠定方程組解空間的高斯-約當(gauss-jordan)演算法。克萊姆法則可以說是一種書寫符號解的方式，定義量：$d=det(a_), d_k=det(d_), (d_=a_, 若j\neq k; d_=b_i)$ ，並運用公式：$x_k=d_k/d$ 就可以計算出對應於乙個滿足唯一性條件的係數方陣的解。但是除了可以作為理論法則，克萊姆法則不論是在手算過程中還是作為一種演算法都非常沒有優勢。高斯-約當演算法本質也是一種演算法而不是一種符號表示式，其主要思想是將稠密矩陣直接化為乙個標準階梯型矩陣，隨著問題的擴大也需要更多的步驟，但高斯-約當演算法可操作性較好，可以用於手算很小規模的線性方程組問題，而且可以判斷無解和無窮多解的情況（若存在非零非階梯元素則無解，若存在零行則有無窮多解）當然也可以用於程式設計。這兩個方法任何一本線性代數的課本就講得非常清楚，不再贅述。
非線性方程 組 計算基本理論
1.非線性方程 組 及其解 對於非線性函式 f x 方程 f x 0 為非線性方程 f mathbb rightarrow mathbb 對於n維向量 boldsymbol 和在n維空間上的變換 boldsymbol mathbb n rightarrow mathbb n 方程 boldsymbo...
數值計算解線性方程組
高斯消元法 function x solvegauss a,b n size a,1 x zeros n,1 for j 1 n 1 for i j 1 n mul a i,j a j,j a i,a i,mul a j,b i b i mul b j endendfor i n 1 1 sum 0...
數值計算 線性方程組求解（0）
本專題將講述以多種方式求解線性方程組，也作為本人在 數值計算與優化 課程中學到知識的總結與具體 實現。主要用到資料為 數值計算方法 第3版 解線性代數組是科學研究與工程計算中經常遇到的問題。此專題討論以下n階線性方程組 a 11x1 a12x2 a 1nxn b1a 21x1 a22x2 a 2nx...