我們之前介紹了多元伯努利事件模型multi-variate bernoulli event model，這一方法使用向量表示輸入文字，向量的長度為字典的長度，xi=1表示字典中第i個次出現，反之則表示不出現，我們之前討論的問題都基於這個假設。
現在我們介紹多項式事件模型multinomial event model，其向量也表示輸入的文字，但其長度為輸入文字的長度，xi的值表示第i個單詞在字典中的位置，此時可將似然函式寫為
為使似然函式最大，對引數的最大似然估計為
使用我們上一講中介紹的拉普拉斯平滑，可將引數估計變為
盡量樸素貝葉斯分布並不是效果最好的分類器，但其實現較為簡單，可以給出乙個較好且方便的實現，因此也有廣泛的用途。
一般大家認為多項式事件模型比多元伯努利事件模型具有更好的表現，一些人認為是因為它考慮了詞出現的次數，但業界對此尚處於爭論中。
吳恩達教授在他的課程中只給出了關於神經網路的乙個簡單介紹，乙個典型的神經網路模型如下
其中隱含層（3，4，5）可以是多個具有不同引數的logistic函式，假設其輸出分別為a1（3）、a2（4）、a3（5），則6處的輸入相當於[a1,a2,a3]構成的輸入向量，這與我們一開始的輸入向量是完全不同的，結點6也可當作乙個帶引數θ的logistic函式，[a1,a2,a3]經其計算後可得到最終的結果。
神經網路演算法也使用損失函式判斷誤差的大小，我們將損失函式再次給出如下
j(θ)=1/2*σ(y(i)-h(x(i);theta))^2
神經網路希望經過訓練後，可以取得最小的損失函式。
函式間隔是支援向量機support vector machine中的概念，svm是一種很好的（很多人認為是最好的）不需要大量修改引數的監督學習模型。回憶我們之前學過的logistic演算法，函式的影象如下
可見橫座標為0時，我們最不能確定如何對輸入進行分類，因為他屬於每一類的概率都是相同的（都為0.5），而當其橫座標（x=θ^t*x）的值遠遠大於0時，我們可以有很大的把握認為輸入屬於1這一類，同理，當橫座標遠遠小於0時，我們基本可以認為其屬於0類。綜上所述，我們希望使計算的結果間距離越大越好，在二維平面上可直觀理解如下
上圖中的斜線即我們計算（通過logistic或者svm等分類演算法）後的分界線，在更高為情況下它可能代表乙個超平面，斜線兩邊分別是兩個不同的類。注意到a點距離分界線非常遠，因此我們基本可以確定a點屬於x這一類，而c點距離分界線非常近，雖然根據分界線我們可以將其認為屬於x類，但其也有較大的可能屬於o類。因此我們希望達到的最好情況是：給定乙個訓練集，我們設法找到一條邊界是我們可以確定我們的結果比較正確，即所有點都離分界線較遠。
為了使svm的討論更方便些，我們會修改一些之前的約定。我們將之前分類的結果集轉化為。回憶到之前我們對於乙個具有n個引數的訓練集輸入，我們設定引數θ是乙個n+1維的向量，並將訓練集的輸入增加一維x0=1，現在我們將分類器函式修改如下我們將函式間隔定義為此時w、x均為長度為n的向量，b為標量（起到了之前x0=1的作用）。上述的函式g(z)=1 if z>=0 並且 g(z)=-1 if z<0
定義訓練集的函式間隔
我們的分類方式如上圖所示，斜線為分類線（超平面），w為法向量，假設a點為第i組輸入，其到分界線的距離即為線段ab的長度γ(i)。按照幾何學的知識，我們可以計算ab的長度為
同理，我們定義訓練集的幾何間隔為
我們可以得到幾何間隔與函式間隔的關係為 幾何間隔=函式間隔/||w||
樸素貝葉斯演算法
首先樸素貝葉斯分類演算法利用貝葉斯定理來 乙個未知類別的樣本屬於各個類別的可能性，選擇可能性最大的乙個類別作為該樣本的最終類別。對於計算而言，需要記住乙個公式。p c x p x c p c p x 類似於概率論條件概率公式。其中x代表含義為最終類別，例如 yes?no。c為屬性。使用樸素貝葉斯演算...
樸素貝葉斯演算法
計算貝葉斯定理中每乙個組成部分的概率，我們必須構造乙個頻率表 因此，如果電子郵件含有單詞viagra，那麼該電子郵件是垃圾郵件的概率為80 所以，任何含有單詞viagra的訊息都需要被過濾掉。當有額外更多的特徵時,此概念的使用 利用貝葉斯公式,我們可得到如下概率 分母可以先忽略它，垃圾郵件的總似然為...
樸素貝葉斯演算法
對於樸素貝葉斯演算法，我的理解就是 使用已知的概率和結果，來 事情的條件。舉乙個例子就是，我們通過統計得到了不同年齡段喜歡吃冰激凌的比例，比如各採訪了500個青少年 中年人和老年人，得到有450個青少年 300個中年人和50個老年人喜歡吃冰激凌。我們還通過統計，知道了在社會中假設小孩子佔20 中年人...