回歸中最為基礎的方法, 最小二乘法.
\[\begin
j_ &= \frac -\vec \right\| }^\quad \\
\end
\]\[\begin
\vec x &= [x_1,\cdots,x_n]^\\
\|\vec x\|_p &= \left( \sum_^m\right)^\frac, \space p<+\infty
\end
\]\(l_2\)範數具體為
\[\|\vec x\|_2 = (|x_1|^2 + \cdots+|x_m|^2)^2} = \sqrt\vec x }
\]採用列向量形式定義的偏導運算元稱為列向量偏導運算元, 習慣稱為\(\color \), n x 1 列向量偏導運算元即梯度運算元記作 \(\nabla_x\), 定義為
\[\nabla_x = \frac = \left[ \frac, \cdots, \frac\right] ^
\]如果\(\vec x 是乙個n\times 1\text\), 那麼
\[\begin
\frac=y^t \\
\frac=(a+a^t)x \\
\end
\]更多參照wiki矩陣計算
通過以上準備, 我們下面進行求解
\[\begin
\therefore \quad j_ &= \frac -\vec \right\| }^ \\
&= \frac (ax-b)^t (ax-b) \\
&= \frac (x^ta^t-b^t)(ax-b) \\
&= \frac(x^ta^tax-2b^tax+b^tb)
\end \\
\]
需要注意的 b, x 都是列向量, 那麼 \(b^t ax\) 是個標量, 標量的轉置等於自身, \(b^t ax =x^ta^tb\)對\(\vec x\)求導得：
\[j_'=a^ta x-a^tb=a^t(ax-b)
\]
l2範數求導 L2 正則化為什麼可以防止過擬合
l2 regularization 權重衰減 c0代表原始的代價函式，後面那一項就是l2正則化項，它是這樣來的 所有引數w的平方的和，除以訓練集的樣本大小n。就是正則項係數，權衡正則項與c0項的比重。另外還有乙個係數1 2，1 2經常會看到，主要是為了後面求導的結果方便，後面那一項求導會產生乙個2，...
L1範數與L2範數對比
l0範數是指向量中非0的元素的個數。l0範數很難優化求解 l1範數是指向量中各個元素絕對值之和 l2範數是指向量各元素的平方和然後求平方根 l1範數可以進行特徵選擇，即讓特徵的係數變為0.l2範數可以防止過擬合，提公升模型的泛化能力，有助於處理 condition number不好下的矩陣 資料變化...
向量範數 矩陣範數（L0, L1, L2）
在數學上，範數包括向量範數和矩陣範數，向量範數表徵向量空間中向量的大小，矩陣範數表徵矩陣引起變化的大小。範數就是距離，計算距離的方法不同，就產生了l0範數 l1範數等等。在向量範數中 l0範數 向量中非零元素的數量，嚴格意義上講l0範數並不是範數。l1範數 向量各元素絕對值之和，這種方法叫曼哈頓距離...