從優化或者數值計算的角度來說,l2 範數有助於處理 condition number 不好的情況下矩陣求逆很困難的問題。κ(
a)=∥
a∥∥a
−1∥
如果方陣 a 是奇異的,那麼 a 的 condition number 就是正無窮大了。實際上,每乙個可逆方陣都存在乙個 condition number。
對condition number來個一句話總結:condition number 是乙個矩陣(或者它所描述的線性系統)的穩定性或者敏感度的度量,如果乙個矩陣的 condition number 在1附近,那麼它就是well-conditioned的,如果遠大於1,那麼它就是ill-conditioned的,如果乙個系統是 ill-conditioned 的,它的輸出結果就不要太相信了。w^
=(xt
x)−1
xtb
如果當我們的樣本 x 的數目比每個樣本的維度還要小的時候,矩陣xt
x 將會不是滿秩的,也就是xt
x 會變得不可逆,所以w^
就沒辦法直接計算出來了。
如果加上l2規則項,就變成了下面這種情況,就可以直接求逆了:w^
=(xt
x+λi
)−1x
tb
c =cond(x,p)
% norm(x,p) * norm(inv(x),p)
[1] 機器學習中的範數規則化之(一)l0、l1與l2範數 cond 求矩陣的條件數
功能簡介 求矩陣的條件數。矩陣的條件數用於衡量線性方程組的解對資料誤差的敏感性,它反映出矩陣求逆及線性方程組解的精確程度。語法格式 1 c cond x 求矩陣x的2 範數的條件數,即x的最大奇異值與最小奇異值的比值。2 c cond x,p 求矩陣x的p 範數的條件數。p 1表示1 範數條件數,p...
JUC同步條件變數Condition
condition 是乙個多執行緒協調通訊的工具類,可以讓某些執行緒一起等待某個條件 condition 只有滿足條件時,執行緒才會被喚醒,參考synchronized wait notify notifyall condition 的基本使用 1.構造帶有lock和condition的執行緒 2....
矩陣論基礎知識 病態矩陣與條件數
現在有線性系統 ax b,解方程 很容易得到解為 x1 100,x2 200.如果在樣本採集時存在乙個微小的誤差,比如,將 a 矩陣的係數 400 改變成 401 則得到乙個截然不同的解 x1 40000,x2 79800.當解集 x 對 a 和 b 的係數高度敏感,那麼這樣的方程組就是病態的 il...