目錄
svm（svm模型推導，和函式，smo演算法）
邏輯回歸（邏輯回歸，線性回歸，多標籤分類，softmax）
決策樹（資訊理論，樹形資料結構，優化理論）
1.在空間上線性可分的兩類點，分別向svm分類的超平面上做投影，這些點在超平面上的投影仍然是線性可分的嗎？（3）
線性可分的兩類點，即通過乙個超平面可以將兩類點完全分開。對於任意線性可分的兩組點， 它們在 svm 分類的超平面上的投影都是線性不可分的。
該問題也可以通過凸優化理論中的超平面分離定理( separating hyperplane theorem, sht）更加輕巧地解決。該定理描述的是，對於不相交的兩個凸集，存在乙個超平面，將兩個凸集分離。對於二維的情況，兩個凸集間距離最短兩點連線的中垂線就是乙個將它們分離的超平面。
借助這個定理，我們可以先對線性可分的這兩組點求各自的凸包。不難發現，svm 求得的超平面就是兩個凸包上距離最短的兩點連線的中垂線，也就是sht 定理二維情況中所闡釋的分類超平面。根據凸包的性質容易知道，凸包上的點要麼是樣本點，要麼處於兩個樣本點的連線上。因此，兩個凸包間距離最短的兩個點可以分為三種情況：兩邊的點均為樣本點(a)； 兩邊的點均在樣本點的連線上(b); 一邊的點為樣本點，另一邊的點在樣本點的連線上(c)。從幾何上分析即可知道，無論哪種情況兩類點的投影均是線性不可分的。
２. 是否存在一組引數使svm訓練誤差為0？（3）
乙個使用高斯核（
３. 訓練誤差為0的svm分類器一定存在嗎？（４）
雖然在問題 2 中我們找到了一組引數｛α1，…，αm，b｝以及 y 使得 svm 的訓練誤差為0，但這組引數不一定是滿足 svm 條件的乙個解。在實際訓練乙個不加入鬆弛變數的 svm 模型時，是否能保證得到的svm 分類器滿足訓練誤差為 0 呢？
問題 2 找到了一組引數使得 svm 台類器的訓練誤差為 0 。本問旨在找到一組引數滿足訓練誤差為 0，且是svm 模型的乙個解。
４. 加入鬆弛變數的svm的訓練誤差可以為０嗎？（３）
在實際應用中，如果使用smo演算法來訓練乙個加入鬆弛變數的線性svm模型，並且懲罰因子 c為任一未知常數 ，我們是否能得到訓練誤差為 0 的模型呢？
使用 smo 演算法訓練的線性分類器並不一定能得到訓練誤差為 0 的模型。這是由於我們的優化目標改變了，並不再是使訓練誤差最小。考慮帶鬆弛變數的 svm 模型優化的目標函式所包含的兩項
１. 邏輯回歸相比於線性回歸，有何異同（２）
（邏輯回歸處理分類問題，線性回歸處理的是回歸的問題；邏輯回歸中因變數時離散的，線性回歸的因變數時連續的）
（邏輯回歸與線性回歸都使用了極大似然估計來對訓練樣本進行建模；在求解超引數的過程中，都可以使用梯度下降的方法）
２. 當使用邏輯回歸處理多標籤的分類問題時，有哪些常見做法，分別應用於哪些場景，他們之間又有怎麼樣的關係？（3）
使用哪一種辦法來處理多分類問題取決於具體問題的定義。
如果乙個樣本只對應於乙個標籤，我們可以假設每個樣本屬於不同標籤的概率服從於幾何分布，使用多項邏輯回歸（ softmax regression ) 來進行分類。
當存在樣本可能屬於多個標籤的情況時，我們可以訓練 k個二分類的邏輯回歸分類器。第i個分類器用以區分每個樣本是否可以歸為第i類，訓練該分類器時，需要把標籤重新整理為「第 i 類標籤」 與「非第i類標籤」兩類。通過這樣的辦法，我們就解決了每個樣本可能擁有多個標籤的情況。
決策樹是一種自上而下 ，對樣本資料進行樹形分類的過程，由結點和有向邊組成。 結點分為內部結點和葉結點，其中每個內部結點表示乙個特徵或屬性，葉結點表示類別。從頂部根結點開始，所有樣本聚在一起。經過根結點的劃分，樣本被分到不同的子結點中。再根據子結點的特徵進一步劃分，直至所有樣本都被歸到某乙個類別（即葉結點）中。
決策樹的生成包含了特徵選擇、樹的構造、樹的剪枝三個過程
1.決策樹有哪些常用的啟發函式（2）
id3， id， c4.5, cart
從若干不同的決策樹中選取最優的決策樹時乙個np完全問題，在實際中我們通常會採用啟發式學習的方法去構建一顆滿足條件的決策樹。
np完全問題，即：np=p？
是否所有能在多項式時間內驗證得出正確解的問題，都是具有多項式時間演算法的問題呢？
2.如何對決策樹進行剪枝？（3）
預剪枝，後剪枝
預剪枝何時停止決策樹的生長:
1）當樹到達一定深度的時候，停止樹的生長。
2）當到達當前結點的樣本數量小於某個閾值的時候，停止樹的生長。
3）計算每次**對測試集的準確度提公升，當小於某個閾值的時候，不再繼續擴充套件。
後記
從開始接觸《百面機器學習》，當把全部章節看完，覺得這本書寫的特別深入淺出，把很多機器學習的基礎知識給串聯起來了，雖然用電子書閱讀完畢，仍然忍不住入手紙質版書本，好書就需要多看！
百面機器學習（2）——模型評估
百面機器學習（3）——經典演算法
百面機器學習（4）——降維
百面機器學習（5）——非監督學習
百面機器學習（6）——概率圖模型
百面機器學習（7）——優化演算法
百面機器學習（8）——取樣
百面機器學習（9）——前向神經網路
百面機器學習（10）——迴圈神經網路
百面機器學習（11）——強化學習
百面機器學習（12）——整合學習
百面機器學習（13）——生成式對抗網路
《百面》 3 經典演算法
目錄 1.支援向量機 問題1.在空間上線性可分的兩類點，分別向svm分類的超平面做投影，這些點在超平面上的投影仍是線性可分麼？問題2.是否存在一組引數使svm訓練誤差為0？問題3.訓練誤差為0的svm分類器一定存在麼？問題4.加入鬆弛變數的svn訓練誤差可以為0麼？2.邏輯回歸 問題 1.邏輯回歸相...
百面機器學習
目錄 第一章 特徵工程 1.1特徵歸一化 1.2高維組合特徵的處理 特徵工程 對原始資料進行一系列工程處理，將其提煉為特徵。作為輸入給演算法和模型使用。本質上，特徵工程是乙個表示和展現資料的過程。特徵工程旨在去除原始資料中的雜誌。結構化資料 類似於資料庫中的乙個表，每乙個行列都有清晰的定義，包含數值...
百面機器學習一
特徵歸一化常見的有兩種，一種是線性函式歸一化，一種是零均值歸一化。線性函式歸一化 min max scaling 對原始資料進行線性變換，將結果對映到 0,1 的範圍，歸一化公式如下 x no rm x xmi nxma x xm in x frac x xnorm xma x x min x xm...