用最小二乘法訓練神經網路尋找最小二乘法

今天聊最小二乘法的實現。

都知道線性回歸模型要求解權重向量w，最傳統的做法就是使用最小二乘法。

根據在scikit-learn的文件，模型sklearn.linear_model.linearregression，使用的就是最小二乘法（least squares ）：

可是，最小二乘法在哪實現呢？

光看api肯定是看不出來的，要深入到原始碼中去。不過，要找最小二乘法，首先我們得要知道她長什麼樣。

這個問題有點複雜。準確來說，最小二乘法是一種解法，用來求當均方誤差最小時，權重向量w的閉式解。不過好在，我們知道閉式解長這樣：

如果用python來實現，對應的**應該長這樣：

np.linalg.inv(x.t.dot(x)).dot(x.t).dot(y)

好了，可以開始按圖索驥了。

api具體檔案路徑/sklearn/linear_model/_base.py，這是個近600行的大檔案，我們要找的linearregression類，在不同版本位置略有不同，目前最新的0.22.1版在375行，起頭長這樣：

linearregression類內容也不少，不過大多數都是各種分支判斷，一行行看找得太慢。好在我們知道，最小二乘法是線性回歸的優化方法，只是在模型的訓練階段時候登場。對應到api當中，就是最小二乘法的fit方法了，在467行：

不過，**還是很長...... 沒關係，還有辦法。根據api文件，模型的權重向量w，是儲存在屬性coef_(英文coefficients的縮寫，意為「係數」)中：

既然在類中，就找self.coef_的賦值好了。很快定位到532行：

這裡出現了x和y，主角都登場了，可是舞台卻是numpy的線性代數工具庫linalg，為什麼沒找到想要找的那段**呢？

因為，這裡的lstsq，就是numpy提供的最小二乘法計算工具：

看來scikit-learn選擇的是直接呼叫現成工具，不打算重複造輪子了。如果還不放心，可以用這段**反覆比較一下，w1和w2的值是完全相等的：

import numpy as np
x =np.random.rand(4,3)
y =np.random.rand(4)
w1=np.linalg.lstsq(x, y)[0]
w2=np.linalg.inv(x.t.dot(x)).dot(x.t).dot(y)

下回再聊。

用最小二乘法訓練神經網路 尋找最小二乘法