p36 核方法1 - 背景介紹
背景：當資料線性可分時，我們用感知機演算法和硬間隔svm等線性分類演算法就可以簡單的分類；當資料存在個別點不能線性可分時，我們可以引入軟間隔或者懲罰項等；但是當資料完全非線性可分時，我們只能考慮：一是用深度學習這樣的分層方法擬合非線性函式，二是將資料對映到高維空間從而變得線性可分。
核心思想：svm最終定義式中w的計算依賴於乙個內積的計算，當資料非線性可分時，我們要把內積中的兩個元素分別對映到高維空間，再算兩個高維空間元素的內積。但是這個對映關係很難定義，並且在高維的運算計算量也很大。我們最終想要知道的也只是該內積算出來的常數，對映到高維再算內積這兩個操作其實只是中間過程，是不必要的。因此我們定義乙個函式k，直接對低維的兩個樣本進行計算，結果就等於先對映到高維再求內積，這個k就是核函式。
核方法、核技巧、核函式p37 核方法2 - 正定核函式定義
本節內容：主要講了正定核函式的兩種定義方法。第乙個定義是從希爾伯特空間角度出發講的；第二個定義更多的是說一種判定技巧，是證明正定核函式的充要條件，用gram matrix是半正定的來判斷。
希爾伯特空間：本質是乙個向量空間，然後在向量空間的基礎上又新增了三個約束：①完備的。就是對極限是封閉的，求極限之後收斂於乙個值，仍然屬於該希爾伯特空間； ②可能是無限維的 ③被賦予內積的。也即希爾伯特空間的元素要滿足三個性質：（1）對稱性：=（2）正定性：>= 0，等號僅在f等於0時發生 （3）線性：1f1+r2f2,g>=r1
1,g>+r2
2,g>。其實上述三個性質描述的就是內積運算的性質。
p38 核方法3 - 正定核 - 必要性證明
本節內容：從第二個定義角度出發，證明核函式是gram matrix半正定充要條件中的必要性。
證明方陣a半正定的兩個方法：
①所有特徵值大於等於0
②對於任意α∈rn，αtaα>=0
白板機器學習筆記 P60 P65 EM演算法
p60 em演算法1 收斂性證明 em演算法核心思想 是具有隱變數的混合模型的引數估計。本節主要證明了分步迭代更新引數 時，新的 t 1一定會使x取的比上一步 t更高的置信度p x 這樣演算法才能保證收斂。前置知識 首先要理解什麼是含有隱變數的混合模型。我們之前處理的都是資料滿足單一分布的情況，如下...
機器學習 白板推導 P6 1 SVM
s vm svmsv m有三寶 間隔 對偶 核技巧 s vm hard margin svm soft margin svm kernel svm end svm hard mar gins vmso ft m argi nsvm kern elsv m har d ma rgin svmhard ...
機器學習筆記P1 李巨集毅2019
該部落格將介紹機器學習課程by李巨集毅的前兩個章節 概述和回歸。視屏鏈結1 introduction 視屏鏈結2 regression 該課程將要介紹的內容如下所示 從最左上角開始看 regression 回歸 輸出的目標是乙個數值。如 明天的pm2.5數值。接下來是classification 分...