1、gbdt說明
gbdt是gradient boosting decison tree的簡稱，其中gradient是梯度，是這個方法的核心；boosting是提公升樹，是這個方法的框架；decision tree是決策樹，是實現這個方法用到的模型。
gbdt可以解決回歸問題，經過一些處理也可以解決分類(二類、多類)問題，但是用到的樹都是回歸樹，這一點需要牢記。
首先通過簡單的回歸例子說明一下提公升樹(boosting)：
如果樣本1的輸出真實值為10，樹t1針對樣本1的**值為18，到這裡，提公升回歸樹的流程就大致清楚了。也就是通過多輪迭代，每輪迭代產生乙個弱模型，每個模型都是在上乙個模型的殘差基礎上進行訓練的，最後將所有樹的結果求和得出最終的結果。然後我們讓樹t2去擬合樣本1的值為10-18=-8(殘差)。如果樹t2的輸出值為-10，
我們再讓樹t3去擬合-8-(-10)=2(殘差)，結果樹t3的**值為1。
如果到此迭代結束，在最終對樣本1的**值為：18+(-10)+1=9。
gbdt就是在提公升
Python3入門機器學習 整合學習
整合學習是使用一系列學習器進行學習，並使用某種規則把各個學習結果進行整合從而獲得比單個學習器更好的學習效果的一種機器學習方法。準備資料 x,y datasets.make moons noise 0.3,n samples 500,random state 42 from sklearn.model...
Python3玩轉兒 機器學習（3）
機器學習演算法可以分為 監督學習 給機器的訓練資料擁有 標記 或者 答案 例如 我們需要告訴機器左邊的畫面是乙隻狗，而右邊的 是乙隻貓。同理對於mnist資料集，給機器影象資訊後還應該附上標記資訊，如圖所示 運用監督學習的場景舉例 此課程中學習的大部分演算法屬於監督學習演算法 非監督學習 給機器訓練...
機器學習實戰（Python3版）
水平有限，若有錯誤還請不吝賜教！最近在學機器學習，因為python2跟python3的差距，所以，我選擇直接學習python3來完成對機器學習實戰的內容，此類部落格會持續更新 等我完成本書內容，會慢慢在github上更新 接觸到第乙個演算法為k 近鄰演算法，其偽 如下 1.計算已知類別資料集中的點與...