參考資料：
西瓜書第三章
1、對於乙個需要進行線性回歸的函式f(x
0)=w
x+bf(x_0)=wx+b
f(x0)
=wx+
b，我們的目的是得到引數w和b，對此使得f(x
i)≈y
if(xi)
≈yi
。此處通常用均方最小化的方式確定w和b，即‾=
1m∑i
=1mx
i\overline = \displaystyle\sum_^m x_i
x=m1i
=1∑m
xi
是x的均值。
2、更一般的情形是多元線性回歸^=
(w;b
)\hat=(w;b)
w^=(w;
b)。為此我們需要在自變數矩陣x中也新增一列，這樣我們就可以將所有需要求得的係數全部集中到了乙個矩陣之中去。
令上式為0可得最優解的閉式解，即
2 xt
(xw^
−y)=
02x^t(x\hat-y)=0
2xt(xw
^−y)
=0即多元線性回歸求解問題的目標式可化為下式：
x tx
w^=x
tyx^tx\hat=x^ty
xtxw^=
xty1） 如果xtx
x^tx
xtx可逆，可得到
則最終的線性回歸模型為tx
x^tx
xtx不可逆，
不可逆的原因是不滿秩，不一定能夠求逆，為此我們需要增加乙個補足項，即引入乙個正則化項，根據正則化項的形式，就產生了不同的回歸模型。
在此我們用一種回歸模型來講解。——脊回歸（嶺回歸）
將x tx
x^tx
xtx矩陣補成乙個滿秩矩陣，進行下一步的求逆，在這裡增加乙個正則化項，將xtx
x^tx
xtx補全。即，
\lambda
λ與乙個單位矩陣的乘積作為正則化項，這樣我們就能對(xt
x+λi
)(x^tx+\lambda i)
(xtx+λ
i)進行求逆了。
在這裡特別說明，嶺引數λ
\lambda
λ是乙個人為事先設定的引數，給定不同的λ
\lambda
λ值，可以得到不同的回歸效果，一般我們將λ
\lambda
λ的值設定得比較小，目的是較小對ω的影響。
我們可以進行下面的對比
λ的本質是在定義中加入了乙個l2範數∑i=
1nwi
2\displaystyle\sum_^n w^2_i
i=1∑n
wi2
，如果我們引入的是l1範數或其他範數，可以得到不同的回歸模型，在此不再深入**。
當然，從另一種角度上考慮，我們可以認為，最小二乘法其實也引入了乙個範數，但是引數值為0，我們可以從幾何意義上直**出來。
上面的t（本質是歐式距離圍成的空間）由嶺引數λ
\lambda
λ進行控制。
CRC不可逆的「真諦
crc不可逆的 真諦 根據 菜農crc可逆定理 在任意crc多項式對應的crc演算法中，當crc多項式滿足一定條件時，該crc移動方向上 可能存在crc的逆向演算法，crc逆向演算法確保從crc正向演算法的運算結果即crc校驗值中 逆算出原始輸入時的待校驗資訊。任意crc多項式字串可逆條件判別 cr...
雜湊（不可逆）加密通用類庫函式
using system using system.io using system.security.cryptography public class hasher 雜湊金鑰 public byte hashkey get 需要產生加密雜湊的字串 public string hashtext ge...
遷移到雲 漸進但不可逆轉
近年來，全球雲服務 商紛紛進入東南亞市場。如亞馬遜網路服務 aws godaddy，數字海洋，rackspace和linode公司等都在該地區建立資料中心。雲計算運營商希望能夠挖掘該地區計算裝置的急劇增長所產生資料的需求，而他們的進入也讓當地企業越來越多地看到雲計算的價值。這些企業在不影響其業務運營...