回歸在數學上來說是給定乙個點集，能夠用一條曲線去擬合之，如果這個曲線是一條直線，那就被稱為線性回歸，如果曲線是一條二次曲線，就被稱為二次回歸，回歸還有很多的變種，如locally weighted回歸，logistic回歸，等等，這個將在後面去講。
用乙個很簡單的例子來說明回歸，這個例子來自很多的地方，也在很多的open source的軟體中看到，比如說weka。大概就是，做乙個房屋價值的評估系統，乙個房屋的價值來自很多地方，比如說面積、房間的數量（幾室幾廳）、地段、朝向等等，這些影響房屋價值的變數被稱為特徵(feature)，feature在機器學習中是乙個很重要的概念，有很多的**專門**這個東西。在此處，為了簡單，假設我們的房屋就是乙個變數影響的，就是房屋的面積。
假設有乙個房屋銷售的資料如下：
面積(m^2) 銷售價錢（萬元）
123 250
150 320
87 160
102 220
… …這個表類似於帝都5環左右的房屋價錢，我們可以做出乙個圖，x軸是房屋的面積。y軸是房屋的售價，如下
[img]
如果來了乙個新的面積，假設在銷售價錢的記錄中沒有的，我們怎麼辦呢？
我們可以用一條曲線去盡量準的擬合這些資料，然後如果有新的輸入過來，我們可以在將曲線上這個點對應的值返回。如果用一條直線去擬合，可能是下面的樣子：
梯度下降演算法 梯度下降演算法為何叫梯度下降？
首先，我們知道乙個演算法的名字可以很好地去解釋乙個演算法，那麼梯度下降演算法是什麼呢？很明顯的，就是用梯度這個工具來解決問題的一種演算法。解決什麼問題呢？如何在乙個函式曲面的某一點，找到乙個函式值變化最大的方向。比如 我們站在山上的某一點，我們想要以最快的速度上山，但是我們的步子大小是一定的，那麼最...
梯度下降演算法 梯度下降演算法公式推導
場景假設 梯度下降法的基本思想可以模擬為乙個下山的過程。假設這樣乙個場景 乙個人被困在山上，需要從山上下來 找到山的最低點 但此時山上的濃霧很大，導致可視度很低 因此，下山的路徑就無法確定，必須利用自己周圍的資訊一步一步地找到下山的路。這個時候，便可利用梯度下降演算法來幫助自己下山。怎麼做呢，首先以...
梯度下降演算法
機器學習在這幾年得到快速發展，乙個很重要的原因是 large dataset 大規模資料 這節課就來介紹用機器學習演算法處理大規模資料的問題。關於資料的重要性，有一句話是這麼說的 it s not who has the bestalgorithmthat wins.it s who has the...