1.為了描述svm，需要從logistic回歸開始進行學習，通過改變一些小的動作來進行支援向量機操作。在logistic回歸中我們熟悉了這個假設函式以及右邊的sigmoid函式，下式中z表示θ的轉置乘以x，
(1)如果我們有乙個樣本，其中y=1，這樣的乙個樣本來自訓練集或者測試集或者交叉驗證集，我們希望h(x)能盡可能的接近1。因此我們想要正確的將樣本進行分類，如果h(x)趨近於1，就意味著
遠大於0，即
。(2)相應的如果y=0，我們想hθ(x)=0,那麼
遠遠小於0，即
(3)logistic regresssion的代價函式：
如果y=1，當
的時候，我們可以畫下圖：
如果y=0，當
，我們可以畫下圖：
線性回歸代價函式：
支援向量機代價函式：
與logistic回歸不同的是，支援向量機並不會輸出概率，而是優化上面的這個代價函式，得到乙個引數θ，而支援向量機所做的是進行了乙個直接的**，**y是0還是1.所以如果θ的轉置乘以x的值大於0，那麼它就會輸出1；如果θ的轉置乘以x的轉置小於0 ，那麼它就會輸出0
吳恩達機器學習筆記 SVM
001.svm的優化目標及損失函式 跟其他直接從margin出發不同，這裡從regression 的交叉熵損失函式引入，對sigmoid函式做了一點近似的拉直變形，直接引出了svm的損失函式 002.大間隔的最優解 有超引數c開始討論，當c 足夠大時，要minimize目標函式，則需要 第一項等於0...
吳恩達老師機器學習筆記SVM（一）
時隔好久沒有再拾起機器學習了，今日抽空接著學 上圖為原始資料 這裡套用以前logistic回歸的模板改一下下。load ex6data1.mat theta rand 3,1 m,n size x x ones m,1 新增常量 x x x c 1 for i 1 10000 擬合次數 theta ...
吳恩達機器學習筆記
為了解決實際生活中的問題，我們通常需要乙個數學模型。比如，小明有乙個房子 他想賣掉房子 為了知道房子的 小明收集了該地區近兩年的房屋交易 他發現房屋 與房屋大小呈正相關，所以他畫了了一幅圖 小明的房屋大小用紅色的 代替。可見和小明房屋一樣大小的房子並不存在，而類似的房屋 又有很大差別，如此小明決定用...