多分類logistic regression vs svm
svm vs nn
使用svm中需要確定引數c以及核函式。
前一講中我們提到標記點的選取和核函式的選擇尤為重要。作者這裡列舉了一些核函式，但只推薦線性核函式和高斯核函式，其它用的都較少。
線性核函式也叫無核函式，滿足θtx≥0，則**結果y=1。當你的特徵數量n很大，但資料量m很小時，由於資料量不足，在這種情況下如果使用其他核函式，你可能會過擬合，因此，此時線性核函式是乙個合理的選擇。
多項式核函式一般用的也很少。
對於多分類情況，可以選擇合適的svm包，大部分svm包已經內建了多分類函式。
還有一種方法是前面邏輯回歸提到的一對多的方法，假設k分類，你需要訓練出k個svm，每乙個svm把乙個類同其它類分開。
什麼時候該用邏輯回歸什麼時候該用svm呢？
n是特徵變數的個數，m是訓練樣本數
注意：邏輯回歸和不帶核函式的svm它們是非常相似的演算法，如上圖中，有時候它們表現是相似的。根據實現的具體情況，其中乙個可能會比另乙個更加有效。具體選擇。
什麼時候採用神經網路呢？svm的優化問題，實際上是乙個凸優化問題。因此好的svm優化軟體包總是會找到全域性最小值，或者接近它的值。
對於svm，你不需要擔心區域性最優。在實際應用中，區域性最優對神經網路來說不是非常大，但是也不小。所以使用svm，你不用考慮這部分問題。
機器學習第七講
第七講 最優化 1.優化目標 2.梯度下降 隨機梯度下降sgd 訓練乙個樣本，更新 次引數 mini batch是sgd的推廣，通常所說sgd即是mini batch。病態條件 病態條件 不同方向有不同的梯度 學習率的選擇困難。區域性最小 區域性最小 local minima 權重空間是對稱的 放大...
第七周學習總結
這次考核雖然算是結束了，但是對於我來說還遠遠沒有結束。通過這次考核，又暴露了出來我在學習方法和其他方面上的一些問題。首先是在學習方法方。現在想想，就我剛開始在小組學習的那一段時間來說，我認為我的學習方法其實就有一定的問題，比如對於問題只知道該怎麼解決，卻沒有去深究為什麼要這樣解決，還有沒有其他的解決...
第七周學習總結
這周我們學習了多型，什麼是多型呢？多型按字面意思就是 多種狀態 在物件導向語言中多型就是介面多種不同的實現方式。那多型的優點呢？就是消除型別之間的耦合關係。多型存在的三個條件 父類引用指向子類物件 使用時 動態繫結 繼承 多型以繼承為基礎。重寫 按照契約形成另一種形態 特殊性 後面學到了base關鍵...