線性回歸能對連續值進行**，而現實生活中常見的是分類問題。既然能夠用線性回歸**出連續值結果，那根據結果設定一閾值是不是就可以解決這個問題了呢？事實上對於很標準的情況下確實是可以的。但很多實際的情況下，我們需要學習的分類資料並沒有那麼精準，因此引出邏輯回歸。即將線性回歸**的值通過sigmoid函式對映到0和1之間。
定義代價函式，其實是一種衡量**的結果與實際結果差距的函式，比如線性回歸的代價函式是所有**結果與實際結果的平方差和，當然我們也可以和線性回歸模擬得到代價函式，但這裡的**結果是通過s型函式對映的結果，用平方差和會出現非凸函式的問題，簡單的說就是函式會有多個區域性極值點。我們希望代價函式是乙個凸函式，實際上我們也找到了乙個適合邏輯回歸的代價函式：
對於類別為1的代價函式為
對於類別為0的代價函式為
AdaBoost 從原理到實現
對於adaboost，可以說是久聞大名，據說在deep learning出來之前，svm和adaboost是效果最好的 兩個演算法，而adaboost是提公升樹 boosting tree 所謂 提公升樹 就是把 弱學習演算法 提公升 boost 為 強學習演算法 語自 統計學習方法 而其中最具代表...
KNN從原理到實現
引文 決策樹和基於規則的分類器都是積極學習方法 eager learner 的例子，因為一旦訓練資料可用，他們就開始學習從輸入屬性到類標號的對映模型。乙個相反的策略是推遲對訓練資料的建模，直到需要分類測試樣例時再進行。採用這種策略的技術被稱為消極學習法 lazy learner 最近鄰分類器就是這樣...
AdaBoost 從原理到實現
對於adaboost，可以說是久聞大名，據說在deep learning出來之前，svm和adaboost是效果最好的 兩個演算法，而adaboost是提公升樹 boosting tree 所謂 提公升樹 就是把 弱學習演算法 提公升 boost 為 強學習演算法 語自 統計學習方法 而其中最具代表...