svm只考慮分類面附近的點，即支援向量，所以對離群點不敏感；lr考慮所有樣本點，所以對離群點敏感。
梯度提公升決策樹gbdt是一種基於整合思想的決策樹模型，即每顆樹學的是之前所有樹結論之和的殘差，這個殘差就是乙個加**值後能得真實值的累加量，將每次**出的結果與目標值的殘差作為下一次學習的目標。
（1）直方圖演算法（histogram）演算法， 基本思想是先把連續的浮點特徵值離散化成k個整數。
（2）在xgboost中，樹是按層生長的，稱為level-wise tree growth，同一層的所有節點都做**。lightgbm進行進一步的優化，採用的leaf-wise則是一種更為高效的策略，每次從當前所有葉子中，找到**增益最大的乙個葉子，然後**，如此迴圈。
（3）直方圖差加速，乙個葉子的直方圖可以由它的父親節點的直方圖與它兄弟的直方圖做差得到。
（4）直接支援類別特徵，可以直接輸入類別特徵，不需要額外的0/1展開。
關於機器學習的認知問題
2019 01 28 我覺得我之前的時候，都對機器學習的認知上有一些誤解。一直以來，大家都說，甚至各種 他們利用機器學習的任務，無外乎回歸 分類 聚類等這些任務。機器學習最開始提出來的時候 1950 並不是為了這樣的任務。提出這個觀點是的ibm的員工，他試圖讓機器自己從經驗中學會下棋。機器學習各種素...
關於機器學習的文章
看一篇關於 機器學習的文章，擷取了其中一些有啟發的話 1.統計 思想將在你學習 機器學習 相關理念時無時無刻不伴隨，相關而不是因果的概念將是支撐機器學習能夠工作的核心概念。2.線性回歸就是我們前面說過的房價求解問題。如何擬合出一條直線最佳匹配我所有的資料？一般使用 最小二乘法 來求解。最小二乘法將最...
關於社會機器學習
機器學習的目的是模擬人類的學習過程。機器學習雖然取得很大的成功，但是到目前為止，它忽視了乙個重要的因素，也就是人的社會屬性。我們每個人都是社會的一分子，很難從出生就脫離社會獨自生存 學習並不斷進步。既然人類的智慧型離不開社會，那麼我們能否讓機器們也具有某種意義的社會屬性，模擬人類社會中的關鍵元素進行...