a.
boosting：級聯順序訓練，不能model並行（只能每個弱分類器內部data並行）；樣本有權重；弱分類器有權重；
bagging：可並行訓練；
偏差：由於分類器的表達能力有限導致的系統性錯誤，表現在訓練誤差不收斂；（例如假設錯誤，比如資料本來符合二次函式，而建模用了一次函式）（在訓練集上即可體現出來）
方差：由於分類器對於樣本分佈過於敏感，導致在訓練樣本數較少時，產生過擬合；（模型的複雜度相對於樣本數過高導致；例如一共100個訓練樣本，用了複雜的高階模型）（在訓練集上效果特好，在測試集上效果差）
boosting: 通過逐步聚焦分錯的樣本，減少整合分類器的偏差；
bagging: 通過對訓練集的多次取樣，訓練多個不同的模型，來減少整合分類器的方差；
b.合併基分類器的方法：voting，stacking;
adaboost：不是每次都用所有樣本，根據樣本權重，進行樣本取樣；
c. 為什麼常用的弱分類器是決策樹：
1. 便於把樣本權重正整合到訓練裡；（不需要用過取樣來加權）
2. 決策樹的表達能力和泛化能力，可以通過層數來做折中；
3. 「不穩定學習器」更適合做弱分類器；樣本點**時，隨機選擇乙個特徵子集找其中的最優特徵，引入了隨機性；
神經網路也可，滿足「不穩定」，可調各種引數來引入「隨機性」；
randomforest為什麼常用決策樹：
randomforest屬於bagging類的整合學習，整合起來降低方差；所以弱分類器最好對樣本分佈敏感（即不穩定的分類器），這樣bagging才有用武之地。線性分類器或者knn都是較穩定的分類器，本身方差不大。
d.梯度提公升(例如gbdt)，是對函式空間f求導，新f沿著老f梯度的反方向走一步；
梯度下降，是對引數空間w求導，新w沿著老w梯度的反方向走一步；
gbdt的優點：
1. **階段計算速度快（樹和樹之間可並行）
2. 在分布稠密的資料集上，泛化能力和表達能力都很好，競賽之王；
3. 決策樹做弱分類器，有較好的解釋性和魯棒性，能自動發現特徵之間的高階關係，不需要對輸入資料做特徵歸一化；
gbdt的缺點：
1. 在高維稀疏的資料集上，效果差，不如svm和dnn；
2. 在文字分類特徵上，不如數值特徵上效果好；
3. 訓練需要序列訓練，所以不適合online訓練；
e. xgboost, 對
用貪心法構建不一定最優的樹結構；
**前後損失函式的差值，一定要大於0，否則就應該停止**（預剪枝）
ML讀書筆記（強化學習）
強化學習中，agent的每個action,只能收到乙個間接的反饋 進入到的狀態，n步之後可能才有正 負reward a.強化學習的核心任務 學習乙個從狀態空間s到動作空間a的對映，最大化累積收益。價值迭代 每輪更新所有狀態的狀態價值函式和動作價值函式的值，等於是策略得到了更新 策略迭代 每輪內部，所...
ML讀書筆記（非監督學習）
a.kmeans kmeans的損失函式，是假設每個簇符合方差相等的球星高斯分布，然後極大化似然概率，最小化負對數 正因為各個簇的方差相同，所以預處理必須將資料各個維度歸一化，否則方差最大的維度對聚類結果會有絕對影響。以最小化損失函式l為目的 聚類中心不動，找每個樣本最近的那個中心做他的類別，是為了...
ML讀書筆記（前向神經網路）
a.1.擬合異或的問題 2個輸入變數x和y，寫出異或真值表 0,0 0,0,1 1,1,0 1,1,1 0 擬合異或 如果直接使用線性變化 啟用函式，即f ax by c f可以為sigmoid函式，根據啟用函式單調性，由第1和第2條可得b是正數，由第1和第3條可得a是正數，第2和第4條可得a是負數...