在前面我們談論到的演算法都是在給定x的情況下直接對p(y|x;θ)進行建模。例如，邏輯回歸利用hθ(x) = g(θ^tx)對p(y|x;θ)建模。
如果換個思路，首先根據大象(y=1)的特徵來學習出乙個大象的模型，然後根據狗(y=0)的特徵學習出狗的模型，最後對於乙個新的樣本，提取它的特徵先放到大象的模型中求得是大象的概率，然後放到狗的模型中求得是狗的概率，最後我們比較兩個概率哪個大，即確定這個動物是哪種型別。也即求p(x|y)(也包括p(y))，y為輸出結果，x為特徵。
上面介紹了那麼多，現在我們來試著定義這兩種解決問題的方法：
查閱了那麼多的資料以及看斯坦福機器學習課程，發現有位大牛已經總結整理好了。
- 生成學習演算法(generative learning algorithms)
內容有:
- 高斯判別分析(gaussian discriminant analysis)
- 樸素貝葉斯(***** bayes)
- 拉普拉斯平滑(laplace smoothing)
遇到分類問題時，樸素貝葉斯往往運作良好，正因為它簡單清晰，值得第一步演算法嘗試。丁。
Python與機器學習之模型結構 生成學習演算法二
上述文章討論了基於樸素貝葉斯的文字分類，即多變數伯努利事件模型 multi variate bernoulli event model 本章繼續討論多項式事件模型 multinomial event model 專為文字分類而生。後驗估計 ps 最大後驗估計補習 設xi為email裡第i個詞，且xi...
機器學習之模型評估與選擇
分為五部分 1 經驗誤差及過擬合 2 評估方法 3 效能度量 4 比較檢驗 5 偏差與方差。錯誤率 error rate 分類錯誤的樣本數佔總樣本數。精度 accuracy 1 錯誤率。誤差 error 學習器的實際 輸出和樣本的真實輸出的差異。在訓練集上的是訓練誤差，在新樣本上的是泛化誤差。過擬合...
機器學習之模型評估與選擇
1.誤差及擬合 訓練誤差 通過訓練集訓練出的模型，在訓練集上的 輸出與實際值之間的誤差 泛化誤差 模型在測試集上的誤差 訓練集用來訓練模型，測試集用來驗證模型的準確性 一般會把樣本7 3區分成訓練集和測試集，普遍情況下，判斷乙個模型是否優秀，不是看在訓練集上的表現，更多的是看模型在測試集上的表現，即...