penalty機制中有l2範數的penalty，它長這個樣子：
e是指一次前向計算， 輸入與輸出之間的 誤差。後面的一部分就是l2 penalty。
現在讓我們來看看c對某個引數wi求導的結果：
如果我們更新梯度的話：
從上面的乙個式子我們可以看出，w若越大，那麼w衰減越厲害。（梯度始終為正數）
下面來說說為什麼w不能很大：
w越大，模型就會越激進，它會不遺餘力的去擬合訓練集，所以會學習到一些對**沒用的東西。
激進的模型 中庸的模型 擺爛的模型
weight decay in neural networks - programmathically
最優化中的懲罰函式
講到懲罰函式，首先要提到約束問題，所謂的約束問題就是在一定的約束條件下，求得問題的最優解 例如 min f x s.t.gi x 0,hj x 0 i 1,m,j 1,2,l。其中s.t.是subject to的縮寫，即服從，滿足的意思。這類問題的可行解法是梯度下降演算法，或者是序列無約束優化方法 ...
DeepFM 中引數的理解
上圖為sparse feature 層到 dense embedding 層的神經元連線示意圖。1 每個圓點代表乙個神經元，神經元本身是沒有數值的，我們需要知道的是sparse feature 到 embedding 層之間連線的權重，這個權重就是所謂的embedding vector。2 一共有m...
select函式中引數nfds的理解
函式原型 include include include int select int nfds,fd set readfds,fd set writefds,fd set exceptfds,struct timeval timeout void fd clr int fd,fd set set ...