參考：
第五頁"the analogy of boosting(9)(10) to steepest-descent minimization "
意思是，梯度提公升法用於最小化函式
由於國內的凸函式是國外的凹函式
國外的凸函式是國內的凹函式。
所以可知，上面這句意思是：
梯度提公升用於處理國外定義中的凸函式，講人話：
梯度上公升用來解決上面這種曲線的最小值問題。
啥是梯度上公升，啥是梯度下降根據上面的文獻為準。
梯度下降？梯度上公升？梯度提公升？
最近被這三個詞搞蒙了。原本沒覺得它們有多難區分，但真要向乙個人解釋清類似 為何要有梯度提公升 這類問題，似乎還是很吃力，從而發現自己其實並沒有完全理解其中的含義。也許根本就不存在什麼 梯度上公升 只有 梯度提公升 罷，但我覺得，至少在中文環境裡，大家越發的喜歡無意識地將這兩個詞分別開來，從而這兩個詞...
梯度上公升和梯度下降演算法區別與聯絡
函式上當前點對應的梯度方向是增大最快的方向，反方向是減小最快的方向 要計算的是函式的極大值，如最大化似然函式，加上學習率 梯度 要計算的是函式的極小值，如最小化損失函式，減去學習率 梯度 在某些地方可能說是梯度下降，但是用的卻是加法，有兩種解釋 減號代入了梯度中 梯度下降和梯度上公升本質上是一樣的，...
梯度上公升VS梯度下降，加還是減
梯度下降是一種常用的優化演算法，公式是這樣的 w 1 w e w w 1 w e w 其中，e w e w 是cost函式的梯度，減去這個值和學習率的乘積，就代表沿著最陡峭的面滑向最低點。嗯，沒有問題。可是有一天看到有本書提到梯度上公升，公式是這樣的 w w wf w w w w f w 嗯，也容易...