估計你用python讀寫檔案的時候從來不會關心cpu訪問了0x1f0 - 0x1f7埠來控制磁碟
所以，以實用的角度出發，初學者只要知道奇異值分怎麼分解，在主成分分析中怎麼用，就可以了，怎麼證明和深層的原理是什麼不知道也罷
補充知識
1.奇異值分解的計算
輸入：輸出：
（1）求
的特徵值和特徵向量
解得特徵值
，代入方程解出對應的特徵向量
（2）計算v，將特徵向量單位化得到正交矩陣v
（3）計算
其中r階方陣
的主對角線元素非零，即為前r個非零特徵值
（4）求
的列的列為
的零空間的標準正交基
（5）得到
2.奇異值分解定理：矩陣
，可分解為
的形式說明：構造
為，對角線上元素
其中為的特徵值
：n階方陣，每一列為
的單位特徵向量，因此v為n階正交矩陣
：m階方陣，每一列為
，可證之間正交，
構造同計算
可證明（其中分塊矩陣和計算過程中一樣）
3.緊奇異值分解：
，則說明：由完全奇異值分解u的前r列組成；
由v的前r列組成，
由的前r個對角線元素得到；實際上就是
4.截斷奇異值分解：
，則說明：由完全奇異值分解u的前k列組成；
由v的前k列組成，
由的前k個對角線元素得到；
注：可以看到完全奇異值分解、緊奇異值分解都沒有損失；截斷奇異值分解丟失了一部分資訊
5.性質
（1）（2）
（3）奇異值
是唯一的，但是矩陣u，v不唯一
（4）矩陣
秩相等，且等於奇異值的個數（包含重數）
（5）a的右奇異向量
，構成值域
的標準正交基
a的右奇異值向量
，構成a的零空間n(a)的標準正交基
a的左奇異值向量
，構成a的值域
的標準正交基
a的左奇異值向量
，構成的零空間
的標準正交基
6.弗洛貝尼烏斯範數：
，a的弗洛貝尼烏斯範數
注：就是把每乙個元素平方相加，讓後開根號
定理：對於
，則最優近似：
，m為矩陣中秩不超過k的矩陣的集合，若
則稱x為最優近似解
注：結合上面的定理，顯然截斷奇異值就是最優近似解
7.外積展開式
設，則時秩為k的矩陣中在弗洛貝尼烏斯範數下a的最優近似
主成分分析
主成分分析 pca 分析乙個隨機向量的中的主成分 主成分一般不是隨機向量中的某乙個分量，而是不同分量的線性組合，根據資訊理論的觀點，資訊的多少與方差有關，所以 主成分是方差最大的幾個成分 主成分分析的方法是求隨機向量的協方差矩陣 用樣本協方差矩陣代替 對於差異較大的資料，可採用相關矩陣代替協方差矩陣...
主成分分析
理論要點 1 主成分分析是一種無監督學習，因此不能用交叉驗證來檢驗誤差 2 在處理資料之前，要對資料做中心化處理 3 p太大的話，做特徵分解用svd 4 一共有min n 1,p 個主成分，因為中心化以後，rank要降一維 5 主成分的載荷向量就是協方差矩陣的特徵向量，對應特徵值最大的是第一主成分，...
主成分分析
1.概念 將一組可能存在相關性的隨機變數轉變成互不相關的隨機變數。這個概念裡有三個地方需要理解清楚。1 隨機變數的指代 在資料集中，每乙個樣本，即將資料集理解成乙個 的話，乙個樣本就是一行，則每一列就是乙個特徵，也就是乙個隨機變數，一列的所有取值就是隨機變數的所有可能取值 說的所有可能取值只針對訓練...