向量是由n個數組成的n行1列或1行n列的有序陣列
向量點乘（內積，數量積）：運算結果是乙個標量，可以計算兩個向量間的夾角以及a向量在b向量方向上的投影，點積的意義是測量兩個向量同向的程度。
向量叉乘（外積，向量積）：運算結果是乙個向量，並與這兩個向量組成的平面垂直
向量的線性組合：先數乘後疊加 a1v1+a2v2+…+anvn
由一組向量的所有線性組合所構成的空間成為這組向量的張成空間
線性無關：當且僅當a1=a2=…=an=0 時，線性組合a1v1+a2v2+…+anvn=0
方陣：行數和列數相等的一類矩陣
對稱矩陣：a=at
零矩陣：所有元素都為0的矩陣
對角矩陣：非對角線位置上的元素全都為0的矩陣
單位矩陣：對角線位置上元素均為1的對角矩陣
矩陣與向量的乘法 ax：
（1）改變向量的空間位置：在指定矩陣的乘法作用下，原始空間中的向量被對映轉換到了目標空間中的新向量。
（2）變換基底：從列角度看，矩陣與向量的乘法實質上是對矩陣a的各個列向量進行線性組合的過程，每個列向量的組合係數是向量x的各個對應成分。矩陣a的各個列是列向量x預設基底經過轉換後的目標向量
目標向量所張成的空間是經矩陣對映後的目標空間
矩陣的秩：矩陣中線性無關的列向量或行向量的個數（行秩=列秩）
r(ata)=r((at)=r(a)=r(aat)
矩陣各列張成空間的維數等於矩陣的秩
矩陣對映後的目標空間的維數只能保持不變或者壓縮降維
向量空間：對於乙個向量集合v，如果任取v中的兩個向量u和v，滿足以下兩個條件，那麼向量集合就構成了乙個向量空間
（1）u+v仍存在於v中
（2）任取標量c，任取cu仍存在於v中
子空間：如果乙個向量空間u，其子集v也是乙個向量空間（滿足向量加法和標量乘法的性質要求），那麼v是u的子空間，v必須包含零向量
零空間：對於給定的矩陣a，在對映的作用下滿足燈飾ax=0成立的向量x的集合，稱為矩陣a零空間，記為n(a)
列空間：乙個原始空間經過矩陣a的對映得到的對應空間，本質上是該矩陣各列所有線性組合的結果集合，稱為矩陣a的列空間c(a)
行空間：矩陣各行向量張成的空間c(at)
左零空間：轉置矩陣at的零空間n(at)
原始空間維數是n，對映後的列空間維數是r，零空間的維數是n-r
逆矩陣 a-1
將目標空間可以一一逆對映到原始空間
矩陣可逆條件：
1.逆矩陣存在的前提是矩陣是乙個n*n方陣
2.矩陣的零空間維數為0，或者列空間的維數為n，或列向量線性無關
可逆矩陣是非奇異矩陣
不可逆矩陣是奇異矩陣
如果矩陣a是乙個列滿秩矩陣，那麼ata是乙個可逆方陣
互補的子空間：由不同的基向量所張成，並且維數之和為整個空間的維數
正交的子空間：子空間v中任意乙個向量v和子空間w中任意乙個向量w都垂直
正交補子空間：兩個互補的子空間滿足相互正交的關係
矩陣的列空間和左零空間滿足正交補，行空間和零空間滿足正交補
標準正交向量：一組列向量v1,v2,…,vn彼此之間的點積為0，且與自身的點積為1，則這組向量是標準正交的
標準正交向量構成各列的矩陣用q表示，滿足qtq=i
正交矩陣：矩陣q是乙個方陣時，滿足qt=q-1
施密特正交化：將一組基向量變換成標準正交向量
a=p-1bp， a和b是相似矩陣
相似矩陣：對於指定向量的同乙個空間變換，用來在不同基底下進行描述的不同矩陣，彼此之間稱為相似矩陣
相似變換：相似矩陣所表示對線性變換
ap=λp，p是矩陣a的特徵向量，λ 是矩陣a的特徵值，意味著向量p在方陣a的作用下，p的空間變換是其長度沿著向量方向進行 λ 倍的伸縮
對角化：尋找最簡明的相似矩陣λ（對角矩陣）
對角化的等式：λ=p-1ap，a=pλp-1
a的特徵向量構成p，特徵值λ構成λ
如果n階方陣a具有n個兩兩不同的特徵值，那麼這些特徵值所對應的一組特徵向量，具備彼此之間線性無關的特性。
若方陣有線性相關的特徵向量，則無法對角化
如果乙個矩陣的所有特徵值都為正，稱其為『正定的』矩陣；如果均為非負，稱其為『半正定的』矩陣；如果含有負的特徵值，成為『非正定的』矩陣
對稱矩陣
任意乙個實數對稱矩陣，它的特徵向量一定滿足線性無關，一定可以被對角化，都可以獲得一組標準正交的特徵向量構成的特徵矩陣
對於任意的矩陣a，ata和ata都是對稱矩陣
對稱矩陣ata的特徵值一定是非負的，至少為半正定的
如果矩陣a的列向量滿足線性無關，則ata是乙個正定矩陣
ata和ata擁有完全相同的非零特徵值，非零特徵值的個數與矩陣a的秩相等
特徵值分解（evd）
奇異值分解（svd）
參考1
線性代數基礎
兩兩正交且模為1 a cdot b left a right left b right cos left a right 設向量b的模為1，則a與b的內積值等於a向b所在直線投影的向量長度。要準確描述向量，首先要確定一組基，然後給出在基所在的各個直線上的投影值，就可以了。a times b left...
數學基礎 線性代數
1 矩陣正定性的判斷，hessian 矩陣正定性在梯度下降中的應用 若矩陣所有特徵值均不小於0，則判定為半正定，若矩陣所有特徵值均大於0，則判定為正定，在判斷優化演算法的可行性時hessian 矩陣的正定性起了很大的作用，若hessian 正定，則函式的二階偏導恆大於0，函式的變化率處於遞增狀態，在...
線性代數 線性代數的本質
線性代數在機器學習的領域中扮演者十分重要的角色，所以這裡岔開先整理一些線性代數的基本概念和計算方法。這裡是3blue1brown的線性代數課程的截圖和筆記。作為快速複習的網路筆記。本課程的特點 通過影象展現線性代數計算在幾何圖形上意義。這樣能更好的理解線性代數為什麼叫做線性代數。線性代數為什麼採用這...