圖2
關於圖2的證明，其實有個簡單的思路。在電腦上打數字公式太為難了，我還是在紙上寫吧：
先將圖1的x矩陣轉置為1行n列。那麼就有
在這個轉換過程中，稍微思考一下，就會有偷換概念的疑惑：
1.圖1的x、y是**關係，而圖2的x、y是實際取值，不能直接劃等號吧？
2.損失函式的最小二乘思想，在這裡怎麼體現不出來了？
是的，上述兩個問題確實存在，參考：
看完詳細論證，是不是感覺偷天換日的論證更好記憶呢！
具體編碼實現：下圖@改為乘號*
在前文案例中，套用該方法即：
import numpy as np
x=np.matrix([[1,1],[1,2],[1,2],[1,1],[1,3]])
y=np.matrix([[14],[24],[18],[17],[27]])
z=np.linalg.inv(x.tx)x.t*y #**複製後乘號顯示異常
print z
輸出結果：
[[9.71428571]
[5.71428571]]
注意：x0全部置為1，所以x矩陣至少有兩列，第1列全部是1，第2列是特徵值。
x1表示特徵1...xn表示特徵n，從單特徵角度來看x和y矩陣都是列向量。
z也是列向量，行結果分別對應截距、特徵1的向量...特徵n的向量。
標準方程法 嶺回歸
待續 import numpy as np from numpy import genfromtxt import matplotlib.pyplot as plt 讀入資料 data genfromtxt r longley.csv delimiter print data 切分資料 x data...
線性回歸的損失函式與邏輯回歸的損失函式
xi yi 我們有如下的擬合直線 yi xi構建的損失函式是 c i 1 n yi yi 2表示每乙個訓練點 x i,yi 到擬合直線yi xi的豎直距離的平方和，通過最小化上面的損失函式可以求得擬合直線的最佳引數 這裡的損失函式之所以使用平方形式，是使用了 最小二乘法 的思想，這裡的 二乘 指的是...
線性回歸的損失函式和梯度下降
損失函式 總損失定義為 理解 x為特徵值矩陣，y為目標值矩陣。直接求到最好的結果 缺點 當特徵過多過複雜時，求解速度太慢並且得不到結果 其中y是真實值矩陣，x是特徵值矩陣，w是權重矩陣 對其求解關於w的最小值，起止y,x 均已知二次函式直接求導，導數為零的位置，即為最小值。求導 注 式 1 到式 2...