2020整合學習面試問題總結

2021-10-07 16:17:44 字數 1878 閱讀 6223

1、整合學習分哪幾種,有何異同。

boosting:訓練基分類器時採用序列的方式,強依賴。對於錯誤分類的樣本給與更高的權重。線性加權得到強分類器。減少偏差

bagging:並行訓練,弱依賴。每個個體單獨判斷,投票做出最後的決策。減少方差。rf每次選取節點**屬性時,會隨機抽取乙個個屬性子集。

2、偏差和方差

偏差,偏離程度。訓練開始時,擬合差,偏差大。

方差,離散程度。敏感程度。

3、為什麼說bagging是減少variance,而boosting是減少bias?

boosting是把許多弱的分類器組合成乙個強的分類器。弱的分類器bias高,而強的分類器bias低,所以說boosting起到了降低bias的作用。variance不是boosting的主要考慮因素。bagging是對許多強(甚至過強)的分類器求平均。在這裡,每個單獨的分類器的bias都是低的,平均之後bias依然低;而每個單獨的分類器都強到可能產生overfitting的程度,也就是variance高,求平均的操作起到的作用就是降低這個variance。

4、adaboost演算法

基於決策樹(通常為cart)**的殘差進行迭代的學習。

gradient boosting 思想:根據當前模型損失函式的負梯度資訊來訓練新加入的弱分類器。

梯度提公升和梯度下降的區別:梯度提公升直接定義在函式空間。梯度下降中,模型以引數化表示,模型的更新即引數的更新。

gbdt的優點和缺點:優點:**階段計算速度快,樹與樹之間可以並行化計算。泛化能力好,可解釋性強。缺點:訓練過程序列,只能在決策樹內部採用區域性並行。

6、xgboost和gbdt的區別

(1)原始的gbdt演算法基於經驗損失函式的負梯度來構造新的決策樹,只是在決策樹構建完成後再進行剪枝。而xgboost在決策樹構建階段就加入了正則項。

(2)在使用cart作為基分類器時,xgboost顯式地加入了正則項來控制模型的複雜度,有利於防止過擬合,從而提高模型的泛化能力。

(3)gbdt在模型訓練時只使用了代價函式的一階導數資訊,xgboost對代價函式進行二階泰勒展開**,可以同時使用一階和二階導數。

(4)傳統的gbdt採用cart作為基分類器,xgboost支援多種型別的基分類器,比如線性分類器。

(5)傳統的gbdt在每輪迭代時使用全部的資料,xgboost則採用了與隨機森林相似的策略,支援對資料進行取樣。

(6)傳統的gbdt沒有設計對缺失值進行處理,xgboost能夠自動學習出缺失值的處理策略。**

7、常用的基分類器

決策樹。1)方便將樣本權重整合到訓練中。2)調節樹的層數可以調節泛化能力和表達能力。3)資料樣本的擾動對決策樹的影響較大。基分類器的隨機性較大。

web前端 面試問題總結2020

1.var let const 的區別,以及變數提公升,函式提公升1.不存在塊作用域 2.可以多次宣告 覆蓋 3.存在變數提公升 當var a 1 時候,會先在作用域的最頂端,var a 然後在var a 1 的位置給a賦值 1.存在塊作用域 經典例題 for迴圈給多個dom新增時間,輸出for迴圈...

面試問題錦集

已取得offer 1.融先科技 2.浙江農信 3.華為 cloud bu 雲計算方向 經典c 筆試題目100例,接近實際,值得一看!c 面試題目,整理自牛客網 堆疊相關 虛函式,純虛函式,虛函式表。程序和執行緒的同步 雜湊表構造 紅黑樹和b樹區別 函式指標 什麼情況下會棧溢位 回答了個遞迴 題二 區...

面試問題總結

學了一年多的語言還沒有真正的搞清楚什麼是面向過程什麼是物件導向,今天整理一下,還希望大家可以提出自己的寶貴意見,謝謝。第一大問題面向過程和物件導向的理解 向過程的概念 面向過程就是分析出我們完成一件事情所需要的步驟,然後用函式把這些步驟一步一步的實現,使用的時候在一步一步的按順序的呼叫。就像是洗臉 ...