1 矩陣正定性的判斷，hessian 矩陣正定性在梯度下降中的應用
若矩陣所有特徵值均不小於0，則判定為半正定，若矩陣所有特徵值均大於0，則判定為正定，在判斷優化演算法的可行性時hessian 矩陣的正定性起了很大的作用，若hessian 正定，則函式的二階偏導恆大於0，函式的變化率處於遞增狀態，在牛頓法等梯度下降的方法中，hessian 矩陣的正定性可以很容易的判斷函式是否可收斂到區域性或全域性最優解。
2 講一下pca
pca 是比較常見的線性降維方法，通過線性投影將高維資料對映到低維資料中，所期望的是在投影的維度上，新特徵自身的方差盡量大，方差·越大特徵越有小，盡量使產生的新特徵間的相關性越小。
pca 演算法的具體操作為對所有的樣本進行中心化操作，計算樣本的協方差矩陣，然後對協方差矩陣做特徵值分解，取最大的n個特徵值對應的特徵向量構造投影矩陣。
3 擬牛頓法的原理
牛頓法的收斂速度快，迭代次數少，但是hessian 矩陣很稠密時，每次迭代的計算量很大，隨著資料規模增大，hessian 矩陣也會變大，需要更多的儲存空間以及計算量，擬牛頓法就是在牛頓法的基礎上引入了 hessian 矩陣的近似矩陣，避免了每次都計算hessian 矩陣的逆，
數學 線性代數
前言 這篇部落格是對 馬同學 線性代數 以問答形式的總結。除此之外，一些好的參考資料。axax ax的值域是由a r m na in r a rm n 的列向量張成的，若a aa的列向量滿秩 即等於n nn 則張成空間的秩等於x xx定義域空間的秩 因為由矩陣乘法，x本身處在秩為n nn的空間中 則...
數學 線性代數
0x01 行列式的計算 某行 列 加上或減去另一行 列 的幾倍，行列式不變。行 列 乘k，等於k乘此行列式。互換兩行 列 行列式變號。0x02 計算的題型和套路 只有兩個數字,對角線是乙個 套公式 x a n 1 x n 1 a x a n 1 x n 1 a x0,x1,x 2 xn 1 xn x...
線性代數基礎
向量是由n個數組成的n行1列或1行n列的有序陣列 向量點乘 內積，數量積 運算結果是乙個標量，可以計算兩個向量間的夾角以及a向量在b向量方向上的投影，點積的意義是測量兩個向量同向的程度。向量叉乘 外積，向量積 運算結果是乙個向量，並與這兩個向量組成的平面垂直 向量的線性組合 先數乘後疊加 a1v1 ...