一句話簡單總結李航統計學習法各演算法

k近鄰：

選取樣本集合中k個距離最近的資料中出現次數最多的分類，作為新資料的分類

native bayes ：利用訓練資料計算類的先驗概率p（y）和特徵向量對應每一類的條件概率p（x|y），計算聯合概率分布p（x，y），再計算測試集中每乙個待分類語句在每一類的分類後驗概率p（y|x），選後驗概率最大的作為其分類

決策樹首先找出最有判別力的屬性，把樣例分成多個子集，每個子集又選擇最有判別力的屬性進行劃分，一直進行到所有子集僅包含同一型別的資料為止。最後得到一棵決策樹。資訊增益（information gain），作為屬性判別能力的度量，設計了構造決策樹的遞迴演算法

logistic回歸：

首先找出最有判別力的屬性，把樣例分成多個子集，每個子集又選擇最有判別力的屬性進行劃分，一直進行到所有子集僅包含同一型別的資料為止。最後得到一棵決策樹。資訊增益（information gain），作為屬性判別能力的度量，設計了構造決策樹的遞迴演算法

svm：

確定乙個超平面，使得這個超平面到樣本集合（支援向量）的幾何距離最大

smo: 選取一對需更新的變數ai和aj，固定ai和aj以外的引數，求解對偶問題獲得更新後的ai和aj。第乙個變數ai是違背kkt條件程度最大的變數，第二個變數aj選擇乙個使目標函式增長最快的變數，即選取的兩個變數所對應的樣本之間間隔最大

adaboost：

通過迭代每次學習乙個基本分類器，每次迭代中提高那些在前一輪迭代器中被錯誤分類的資料（特徵）的權值，而降低那些被正確分類的資料的權值，最後將基本分類器線性組合為強可學習分類器。其中給分類誤差率小的基本分類器較大的權值係數，分類誤差率大的基本分類器較小的權值係數。

em演算法：是含有隱變數的概率模型極大似然估計或極大概率後驗估計的迭代演算法，每次迭代實際在求q函式（e步）及其極大（m步）

隱馬爾可夫模型：是關於時序的模型，初始狀態概率向量pi和狀態轉移概率矩陣a確定了隱藏的馬爾可夫鏈，並生成不可觀測的狀態序列，觀測概率矩陣b確定了如何從狀態生成觀測序列。