一、複習幾個矩陣的基本知識
1. 向量
1）既有大小又有方向的量成為向量，物理學中也被稱為向量，向量的座標表示a=(2,3)，意為a=2*i+ 3*j，其中i,j分別是x,y軸的單位向量。
2）向量的點乘:a · b
公式：a · b=b · a =|a| * |b| * cosθ = x1 * x2 + y1 * y2
點乘又叫向量的內積、數量積，是乙個向量a和它在另乙個向量b上的投影的長度的乘積，結果是乙個標量；
如果兩個向量的點乘是零， 那麼這兩個向量正交。
2）向量的叉乘:axb
叉乘，也叫向量積，結果是乙個和已有兩個向量都垂直的向量。公式：
模長：在這裡θ表示兩向量之間的夾角(共起點的前提下)（0° ≤ θ ≤ 180°），它位於這兩個向量所定義的平面上。
=x1*y2 - x2*y1，模長也等於向量a、b所張成的平行四邊形的面積。
方向：a向量與b向量的向量積的方向與這兩個向量所在平面垂直，且遵守右手定則。
3）三維向量的叉乘公式，摘自向量叉乘
2. 矩陣的行列式
3. 線性方程組求解
1）齊次和非齊次線性方程組
2）使用行列式求解線性方程組
4. 矩陣的特徵值和特徵向量
1）定義
2）示例
二、pca演算法
pca是一種較為常用的降維技術，pca的思想是將n維特徵對映到k維上，這k維是全新的正交特徵。這k維特徵稱為主元，是重新構造出來的k維特徵。在pca中，資料從原來的座標系轉換到新的座標系下，新的座標系的選擇與資料本身是密切相關的。其中，第乙個新座標軸選擇的是原始資料中方差最大的方向，第二個新座標軸選取的是與第乙個座標軸正交且具有最大方差的方向，依次類推，我們可以取到這樣的k個座標軸。
1. pca的操作流程大致如下：
摘自：
2. 經過數學上的推導的，我們就可以知道，特徵值對應的特徵向量就是理想中想取得正確的座標軸，而特徵值就等於資料在旋轉之後的座標上對應維度上的方差，所以可以根據特徵值判斷直線還是平面。
摘自：
3. 那麼問題來了，為什麼樣本協方差矩陣的特徵向量就是樣本分散度最大的方向，相應的特徵值就是在該方向的分散度——方差？
討論：
特徵值 特徵向量 正交分解 PCA
無意間想到的，有時間會補充內容。還記得學線性代數時計算矩陣的特徵值和特徵向量，然後這個矩陣就可以用這個特徵值和特徵向量表示。這樣就可以理解成矩陣其實是多個向量拼在一起的，這樣就可以將矩陣和向量建立聯絡。特徵值和特徵向量其實就是尋求原向量組合的最簡單表示，因為向量是可以分解和組合的。為什麼要用特徵值和...
特徵向量與特徵值
在看線性代數這一部分的時候，真是一頭霧水。雖然明白了特徵值和特徵向量的求法，但總覺得沒有用。在 理解矩陣 一文中，雖然提到了這與矩陣的本質有關，但並未詳細提及，但我知道了一定具有一定的幾何意義。後來，檢視了 特徵向量的幾何意義 一文，才明白了。特別是wikipedia中關於 特徵向量 的文章，終於對...
特徵值與特徵向量
我們知道，矩陣乘法對應了乙個變換，是把任意乙個向量變成另乙個方向或長度都大多不同的新向量。在這個變換的過程中，原向量主要發生旋轉 伸縮的變化。如果矩陣對某乙個向量或某些向量只發生伸縮變換，不對這些向量產生旋轉的效果，那麼這些向量就稱為這個矩陣的特徵向量，伸縮的比例就是特徵值。實際上，上述的一段話既講...