對模型給予概率進行分類的手法稱為概率分類法。給予概率是指對於模式x所對應的類別y的後驗概率（y|x）進行學習。其所屬類別為後驗概率達到最大值時所對應的類別。
基於概率的模式識別的演算法除了可以避免錯誤分類，還具有乙個優勢。就是的對多分類通常會有乙個號的效果。
首先，來看一下最基本也是最常見的概率分類演算法-----logistc回歸。
1、logistic的最大似然估計
logistic回歸，使用線性對數函式對分類後驗概率p（y|x）記性模型化。
分母是滿足概率總和為1 條件約束的正則化項。引數θ有bc維。
logistic回歸模型的學習，通過對數似然維最大時的最大似然估計進行求解。
logistic回歸的學習模型由下式的最優化問題定義：
上述的目標函式對於引數θ時可以微分的，所以可以使用梯度下降法來求最大似然那估計的解。
下面是使用概率梯度下降法的logistic回歸學習演算法的偽**
2、使用logistic損失最小化學習來解釋
以2分類問題進行說明
y ∈，q（y=+1 | x；θ）+q（y= -1|x；θ） =1
logistic的引數由2b個降到b個
這個模型的對數似然最大化的準則
可以改寫為上述形式。根據關於引數的線性模型
的間隔m = f（x）y，可知上式與logistic損失
的logistic損失最小化學習是等價的。
最小二乘分類是在平方誤差的準則下，與logistic回歸具有相同學習的演算法。
最小二乘分類器的線性模型：
與logistic模型不同的是，這個模型只依賴於與各個類別y對應的引數
。然後，對於這個模型進行學習，使下式的平方誤差最小。
上式第二項中
p（y|x）p（x）利用貝葉斯公式進行變換。
分別表示與p（x）和p（x|y）相關的數學期望值。這些期望值一般無法直接計算。而是用樣本的平均值來進行近似。
再加入l2正則化項，將最小平方誤差公式記為：
對其求偏導數並置為0，得到θ的解
機器學習分類演算法之KNN演算法
knn演算法為按距離進行分類的，對於已知的分類，根據歐式距離，最靠近那個分類就被 為那個分類。本文只是簡單展示一下實現 具體的特徵和分類，還得自己根據實際場景去調整。在開始之前注意看看匯入的包是否都存在，如不存在的化，請先安裝相應的包 coding utf 8 import numpy asnp f...
檢測概率和虛警概率 機器學習之 異常檢測法
異常檢測演算法是應用廣泛的機器學習演算法，主要應用在產品質量檢測 個人信用評估等方面。異常檢測演算法的原理 異常檢測演算法的核心是高斯分布 正態分佈 具體方法是評估每個特徵是否集中在正常範圍內，即正常範圍內特徵變數對應的概率就高，異常的特徵變數出現的概率低。異常檢測演算法的輸出是每個特徵向量所得概率...
機器學習演算法分類
這些演算法按照學習方式分類的分的話，可以分為一下幾類 1 監督式學習 從給定的訓練資料集中學習出乙個函式，當新的資料到來時，可以根據這個函式 結果。監督學習的訓練集需要包括輸入和輸出，也可以說是特徵和目標。訓練集中的目標是由人標註的。常見的監督式學習演算法包括回歸分析和統計分類。2 非監督式學習 與...