普通最小二乘法（ ordinary least square，ols）
最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小。
設擬合曲線
y=a*x+b
離散點在擬合曲線附近 且任一點 i 距擬合曲線的距離（誤差）為
ui =yi-y
最小二乘即可寫成
d=(∑ui)2
且是d取最小值 具有最小值。那麼這就需要做求偏導了。（這也就是為什麼最小二乘有個要求就是資料需要具有二階矩），大致推導過程如下：
整理後
解出a=β1
b=β2
參考 ：
梯度下降演算法
最小二乘法和梯度下降法
通過這段描述可以看出來，最小二乘法也是一種優化方法，求得目標函式的最優值。並且也可以用於曲線擬合，來解決回歸問題。難怪 統計學習方法 中提到，回歸學習最常用的損失函式是平方損失函式，在此情況下，回歸問題可以著名的最小二乘法來解決。看來最小二乘法果然是機器學習領域做有名和有效的演算法之一。二.最小二乘...
線性回歸演算法實現（最小二乘法， 梯度下降）
一 最小二乘法 import numpy as np import matplotlib.pyplot as plt 初始化資料，網上隨便找的資料，說是奧運會100公尺短跑用時，以及對應的年份。dataarray np.array 12,1896 11,1900 11,1904 10.8,1908 ...
最小二乘法以及最小二乘法和梯度下降法的區別
通過這段描述可以看出來，最小二乘法也是一種優化方法，求得目標函式的最優值。並且也可以用於曲線擬合，來解決回歸問題。難怪 統計學習方法 中提到，回歸學習最常用的損失函式是平方損失函式，在此情況下，回歸問題可以著名的最小二乘法來解決。看來最小二乘法果然是機器學習領域做有名和有效的演算法之一。二.最小二乘...