為什麼常說GBDT用負梯度近似殘差

2022-07-07 13:30:21 字數 435 閱讀 3541

殘差=真值-**值,明明可以直接計算。

為什麼要引入麻煩的梯度?有什麼用嗎?

實際上這是因果倒置,gbdt想要計算的是負梯度。參考

1、我們知道,函式中下降最快的方向是導數方向,同理:gbdt中,損失函式減小最快的方向也是本身的導數方向。

2、如上圖所示:gbdt中,損失函式的導數l(f(x))是關於擬合函式f(x)的復合函式。所以每棵樹擬合時,擬合損失函式的導數方向,就是擬合損失函式減小最快的方向,即:損失函式的負梯度方向。

3、再次強調:在gbdt模型中,我們需要擬合的是損失函式的負梯度,與殘差沒有一點關係。

4、巧合的是,當損失函式為均方誤差時,損失函式的負梯度跟殘差一模一樣。這使得模型看起來就像在擬合殘差一樣,也就是所謂的殘差代替了負梯度。實際上我們擬合的還是損失函式的負梯度,只是這個負梯度的表示式跟殘差意外一樣了而已。

為什麼RSSI訊號是負的

為什麼無線訊號 rssi 是負值 答 其實歸根到底為什麼接收的無線訊號是負值,這樣子是不是容易理解多了。因為無線訊號多為mw級別,所以對它進行了極化,轉化為dbm而已,不表示訊號是負的。1mw就是0dbm,小於1mw就是負數的dbm數。弄清訊號強度的定義就行了 rssi 接收訊號強度 receive...

為什麼說資訊是負熵?

資訊管理導論裡說 資訊是負熵。一般而言,可以將資訊定義為 資訊是物質系統運動的本質特徵,方式 運動狀態及運動的有序性。而熵簡單地理解就是在一種系統內物質運動的無序狀態,所以負熵就是一種有序的狀態,學習中的負熵可以轉化為大腦皮層的資訊,但是運動中的負熵就可以轉化為肌肉記憶,資訊通過被加工的特定形式的資...

python為什麼用flask 為什麼用flask

flask是python在web開發領域乙個輕量級的框架,為什麼選擇flask呢?此文可能會給你答案。選擇flask的原因 1.微框架 簡潔 只做它需要做的,給開發展提供了很大的擴充套件性。2.flask和相關的依賴 jinja2 werkzeug 設計得非常優秀,用著簡單。3.開發效率非常高,比如...