凸優化問題相關：二階導為0就是凸函式，凸函式沒有區域性最優，區域性最優即是全域性最優，典型的就是邏輯回歸，凸優化問題可以用簡單的梯度下降達到全域性最優，例如sgd。但是神經網路肯定不是，所以需要更好的優化器去求解，避免陷入區域性最優解，這也是神經網路兩次訓練基本不會得到相同的結果的原因，因為區域性最優解很多，引數初始化的不一樣就會導致陷入不同的區域性最優解
最小二乘法的原理：線性回歸的理論基礎是 y=h(x)+e；e是誤差符合高斯分布，即正態分佈，帶入概率密度函式，根據最大似然可以得到
adam優化器：動量原理，每次會根據當前的動量和梯度算出需要下降的梯度，然後每一步會有一定的衰減，當前時間步的動量就是上個時間步衰減的結果。
ftrl演算法：其實就是累計梯度做梯度，外加第一第二正則，可以保證特徵的稀疏性和噪音導致的偏離；優點：反應迅速，稀疏性，魯棒
推薦演算法實習面試
11.20 這是我第一次比較正式的面試，趁著還有兩天，把機器學習和深度學習的理論都複習了一遍。沒想到，面試官基本沒問這方面的，基本都是基礎演算法題！1，自我介紹 2，說說你都用過哪些機器學習演算法 3，說下你對bp網路反向傳播的原理的理解 4，寫一下快排非遞迴版的 面試官說這題對我來說應該很簡單吧，...
推薦系統演算法總結
最近看推薦系統方面的東西也有段日子了，有書，部落格，唯獨沒有看 總感覺 對於工業界來說用處真的不如學校做課題 那麼大，只要知道某個演算法好不好用以及怎麼用就可以了，也不必知道太多的細節和數學推導。但根據乙個好的演算法，產品部門可以設計出很多很酷的產品，讓使用者倍感web應用的人性化。在看書，看大牛們...
推薦系統演算法總結
阿俊的部落格 最近看推薦系統方面的東西也有段日子了，有書，部落格，唯獨沒有看 總感覺 對於工業界來說用處真的不如學校做課題 那麼大，只要知道某個演算法好不好用以及怎麼用就可以了，也不必知道太多的細節和數學推導。但根據乙個好的演算法，產品部門可以設計出很多很酷的產品，讓使用者倍感web應用的人性化。在...