線性回歸(linear regression)是利用回歸方程(函式)對乙個或多個自變數(特徵值)和因變數(目標值)之間關係進行建模的一種分析方式。
線性回歸當中主要有兩種模型，一種是線性關係，另一種是非線性關係。
from sklearn.linear_model import linearregression
x = [[80, 86],
[82, 80],
[85, 78],
[90, 90],
[86, 82],
[82, 90],
[78, 80],
[92, 94]]
y = [84.2, 80.6, 80.1, 90, 83.2, 87.6, 79.4, 93.4]
# 例項化api
estimator = linearregression()
# 使用fit方法進行訓練
去求模型當中的w，使得損失最小：
缺點：當特徵過多過複雜時，求解速度太慢並且得不到結果
什麼是梯度下降？
梯度下降法的基本思想可以模擬為乙個下山的過程。
假設這樣乙個場景：
乙個人被困在山上，需要從山上下來(i.e. 找到山的最低點，也就是山谷)。但此時山上的濃霧很大，導致可視度很低。
因此，下山的路徑就無法確定，他必須利用自己周圍的資訊去找到下山的路徑。這個時候，他就可以利用梯度下降演算法來幫助自己下山。
具體來說就是，以他當前的所處的位置為基準，尋找這個位置最陡峭的地方，然後朝著山的高度下降的地方走，（同理，如果我們的目標是上山，也就是爬到山頂，那麼此時應該是朝著最陡峭的方向往上走）。然後每走一段距離，都反覆採用同乙個方法，最後就能成功的抵達山谷。
梯度下降公式：
α在梯度下降演算法中被稱作為學習率或者步長，意味著我們可以通過α來控制每一步走的距離，以保證不要步子跨的太大扯著蛋，哈哈，其實就是不要走太快，錯過了最低點。同時也要保證不要走的太慢，導致太陽下山了，還沒有走到山下。所以α的選擇在梯度下降法中往往是很重要的！
梯度前加乙個負號，就意味著朝著梯度相反的方向前進！梯度的方向實際就是函式在此點上公升最快的方向！而我們需要朝著下降最快的方向走，自然就是負的梯度的方向，所以此處需要加上負號。
線性回歸模型 線性回歸模型
回歸的思想和分類有所不一樣，分類輸出的結果為離散的值，回歸輸出的是乙個連續型的值。線性回歸的思想就是試圖找到乙個多元的線性函式 當輸入一組特徵 也就是變數x 的時候，模型輸出乙個 值y h x 我們要求這個 值盡可能的準確，那麼怎麼樣才能做到盡可能準確呢？其中 表示實際值，表示 值 其中 表示實際值...
線性回歸（標準回歸）
今天我們來討論機器學習的另乙個領域 首先我們來討論利用線性回歸來 數值型資料。利用線性回歸進行 的過程就是求解回歸係數的過程，求出回歸係數後進行係數與特徵值乘積求和即可，這裡我們使用最小二乘法進行求解 ex0.txt 提取碼 dbe2 def loaddataset filename numfeat...
回歸學習 線性回歸
匯入資料 from sklearn.datasets import load boston boston load boston print boston.descr 資料分割 from sklearn.cross validation import train test split import ...