對於給定的訓練樣本集d=，yi屬於，希望能找出乙個超平面，把不同類別的資料集分開，對於線性可分的資料集來說，這樣的超平面有無窮多個，而最優的超平面即是分隔間距最大的中間那個超平面
對於以上的kkt條件可以看出，對於任意的訓練樣本總有ai=0或者yif(xi) - 1=0即yif(xi) = 1
1）當ai=0時，代入最終的模型可得：f(x)=b，即所有的樣本對模型沒有貢獻
2）當ai>=0，則必有yif(xi) = 1，注意這個表示式，代表的是所對應的樣本剛好位於最大間隔邊界上，是乙個支援向量，這就引出乙個svm的重要性質：訓練完成後，大部分的訓練樣本都不需要保留，最終的模型僅與支援向量有關。
關於對偶問題前面我們是假定所有的訓練樣本在樣本空間或特徵空間中是嚴格線性可分的，即存在乙個超平面能把不同類的樣本完全分開，然鵝現實任務中很難確定這樣的超平面（不管是線性超平面還是經過核變換到高維空間的超平面），所以引入鬆弛變數，允許一些樣本出錯，但我們希望出錯的樣本越少越好，所以鬆弛變數也有限制（注：公式中的鬆弛變數不是單單乙個數，每個樣本都有對應的鬆弛變數）。引入鬆弛變數的間隔問題成為軟間隔
前面我們都是假設樣本是線性可分的，雖然軟間隔不完全可分，但大部分還是可分的。而現實任務中很可能遇到這樣的情況，即不存在乙個能夠正確劃分兩個類別樣本的超平面，對這樣的問題，可以將樣本從原始空間對映到乙個更高維的特徵空間中，使得樣本在這個特徵空間中線性可分。數學上可以證明，如果原始空間是有限維，即屬性數有限，則一定存在乙個高維特徵空間使樣本可分。
參考文章：《機器學習》——周志華
對於給定的訓練樣本集d=，yi屬於，希望能找出乙個超平面，把不同類別的資料集分開，對於線性可分的資料集來說，這樣的超平面有無窮多個，而最優的超平面即是分隔間距最大的中間那個超平面
對於以上的kkt條件可以看出，對於任意的訓練樣本總有ai=0或者yif(xi) - 1=0即yif(xi) = 1
1）當ai=0時，代入最終的模型可得：f(x)=b，即所有的樣本對模型沒有貢獻
2）當ai>=0，則必有yif(xi) = 1，注意這個表示式，代表的是所對應的樣本剛好位於最大間隔邊界上，是乙個支援向量，這就引出乙個svm的重要性質：訓練完成後，大部分的訓練樣本都不需要保留，最終的模型僅與支援向量有關。
關於對偶問題前面我們是假定所有的訓練樣本在樣本空間或特徵空間中是嚴格線性可分的，即存在乙個超平面能把不同類的樣本完全分開，然鵝現實任務中很難確定這樣的超平面（不管是線性超平面還是經過核變換到高維空間的超平面），所以引入鬆弛變數，允許一些樣本出錯，但我們希望出錯的樣本越少越好，所以鬆弛變數也有限制（注：公式中的鬆弛變數不是單單乙個數，每個樣本都有對應的鬆弛變數）。引入鬆弛變數的間隔問題成為軟間隔
前面我們都是假設樣本是線性可分的，雖然軟間隔不完全可分，但大部分還是可分的。而現實任務中很可能遇到這樣的情況，即不存在乙個能夠正確劃分兩個類別樣本的超平面，對這樣的問題，可以將樣本從原始空間對映到乙個更高維的特徵空間中，使得樣本在這個特徵空間中線性可分。數學上可以證明，如果原始空間是有限維，即屬性數有限，則一定存在乙個高維特徵空間使樣本可分。
手撕SVM公式 硬間隔 軟間隔 核技巧
對於給定的訓練樣本集d yi屬於，希望能找出乙個超平面，把不同類別的資料集分開，對於線性可分的資料集來說，這樣的超平面有無窮多個，而最優的超平面即是分隔間距最大的中間那個超平面 對於以上的kkt條件可以看出，對於任意的訓練樣本總有ai 0或者yif xi 1 0即yif xi 1 1 當ai 0時，...
手撕演算法 adaboost
adaboost是典型的boosting演算法。boosting演算法的核心思想是 上乙個模型對單個樣本 的結果越差，下個模型越重視這個樣本 增大該樣本的權重，加大模型 錯的成本 提公升樹就是每個模型都是決策樹，提公升樹種效果比較好的是gbdt和xgboost，入門是adaboost。adaboos...
手撕演算法 PCA
pca，principle component analysis。lda，linear discriminant analysis 首先說一下pca和lda的區別，二者都是降維的方法，pca的主要思想是降維後各個樣本點的方差之和最大，也就是各個樣本點要盡量的區分開。而lda的思想是降維後同類的樣本要...