線性回歸的一些思考（SVM）

1、對於線性回歸模型的代價函式，為了能應用求導來求其最小值（代價函式可導），不能用錯誤的分類個數作為代價函式（不可導）又或者用s函式（非凸函式，不能應用梯度下降，轉化為log凸函式），簡單的做法就是轉化為距離（統計學習方法書中提到的）或者機器學習課堂上講到的幾種形式，這些形式都可導。

2、線性模型中，對於簡單的代價函式是可以直接求導得到（比如機器學習課堂上講的簡單線性回歸模型），但是一般都採用梯度下降（平方最小誤差代價函式是凸函式，凸函式的性質：區域性最小就是全域性最小），而且迭代速度有上限（統計學習方法有證明），比較快。

3、svm模型的代價函式為什麼不能用梯度下降呢？因為它有限制條件。有限制條件的凸函式優化問題，利用拉格朗日的對偶性，求解不帶有限制條件的優化問題（其實還是有限制，只不過引數結果人為控制），這個求解的演算法過程其實還是用了類似梯度下降的思想。同樣對於線性回歸的沒有限制的代價函式，也是有對偶形式的。