個人對這方面的理解，文字純手打，來自於coursera的課件
1.線性回歸的定義：給出若干的訓練集(訓練集中x(
j)i 表示樣本j中第i個項)，然後擬合為一條直線，使得cost最小
不妨先看乙個例子，拿課程中的例子，賣房
現在已經知道了若干的房子的大小以及賣出去的**，現在跟著這些資訊，來推斷一些房子的**
我們的任務，就是把圖中的點盡可能為擬合成一條」花費最小」的直線h(
x)=θ
0+θ1
x 2.」花費」怎麼定義呢？使用的是最小二乘法 j(
θ1,θ
2)=1
2m∑m
i=1(
h(x(
i))−
y(i)
)2簡單點兒說，就是所有的點到直線上x值相等的點的距離的平方，求平均，就是對應的花費
3.花費的最小怎麼求呢，可以想到，這個函式肯定是連續的，那麼就可以通過求偏倒解決
這就是梯度下降演算法
4.接下來考慮多feature的情況，首先梯度下降演算法是肯定成立的
5.最後介紹乙個更強大normal equation(正規方程)，直接用矩陣運算就可以得到最優解(證明還沒有看)
先說這麼多，想到接著補充
線性回歸與梯度下降
以下內容是根據史丹福大學ng教授的機器學習公開課總結的內容 監督學習 即訓練資料中既包含了輸入資料又包含了對應於這個是輸入資料的正確的輸出結果。回歸問題 當給出了輸入資料後，正確的輸出結果。首先考慮乙個問題 我們需要 自己房屋的 現在擁有的資料只是幾十個房屋樣本 如下圖所示。怎樣根據這些房屋的面積以...
線性回歸與梯度下降
以下內容是根據史丹福大學ng教授的機器學習公開課總結的內容 監督學習 即訓練資料中既包含了輸入資料又包含了對應於這個是輸入資料的正確的輸出結果。回歸問題 當給出了輸入資料後，正確的輸出結果。首先考慮乙個問題 我們需要 自己房屋的 現在擁有的資料只是幾十個房屋樣本 如下圖所示。怎樣根據這些房屋的面積以...
線性回歸與梯度下降
本次課程分為幾個部分 1 模型概述 如圖，下圖是乙個房間大小和房子 的dataset，我們可以使用一條直線來模擬這些資料，以便給定指定的x值，可以得到相應的y值 將資料抽象為以下回歸的問題的dataset 首先規定以下數學符號 m 訓練樣本的數量 x 代表特徵 輸入變數 y 代表目標變數 輸出變數 ...