感知機（perceptron)
沒啥說的，感知機就是尋找乙個將空間分為兩部分的超平面（前提可分），學習過程既是損失函式極小化的過程。
模型:（啟用函式）
損失函式：
推導：首先考慮任意一點x0到超平面的距離：
，對於誤分類點（xi,yi)來說
，所以誤分類點到超平面的總距離：
損失函式：
損失函式極小化：簡單的梯度下降即可求出。
，learning rate: n,每次迭代更新
，再每次更新後計算損失函式。（如果是可分前提，最後驗證沒有誤分類點）
需要注意的是，權重w和偏置b的初始化是個經驗數值。且根據初值設定不同感知機存在無數解。
感知機是個簡單線性分類模型，無法處理異或問題（後面mlp再說這個問題）
統計學習方法讀書筆記 knn
看李航老師統計學習方法時的筆記。其實書上寫的已經非常易懂了，但是為了自己記憶，姑且寫個筆記，個別地方是自己的理解，可能有偏差。knn是由cover和hort在1967年提出的分類和回歸方法 監督學習的 它是乙個機遇距離的機器學習演算法，因此更多地適用於數值型的資料集 用jarccard相似度倒也可以...
統計學習方法讀書筆記（1）
1.監督學習 對任意給定輸入，對其相應的輸出做乙個好的 2.回歸問題 輸入變數與輸出變數都為連續變數的 問題。分類問題 輸入變數為有限個離散變數的 問題。標註問題 輸入輸出變數均為變數序列的 問題。3.概率模型 由條件概率分布p y x 表示 非概率模型 由決策函式y f x 表示 4.統計學習三要...
《統計學習方法》讀書筆記 K鄰近法
在沒接觸knn法 即k鄰近法 之前，覺得這個演算法很高深，應該不是我這種水貨能輕易學會的。看完本章之後不禁豁然開朗，其實道理很簡單，就是乙個多數投票法，像adaboost演算法，但與之相比要簡單一些。最近做的專案和分類有關，恰好書上也只討論了分類問題中的k鄰近法。它的輸入為樣本的特徵向量，對應於特徵...