error反映的是整個模型的準確度，bias反映的是模型在樣本上的輸出與真實值之間的誤差，即模型本身的精準度。variance反映的是模型每一次輸出結果與模型輸出期望值之間的誤差，即模型的穩定性
1.where does the error come from?
error有兩種**，分別是bias和variance，診斷error的**，可以挑選適當的方法improve model。
以進化前的寶可夢為輸入，以進化後的真實cp值為輸出，真實的函式記為f
^\hat
f^。（在上帝視角才能知道f
^\hat
f^）
從訓練資料，我們找到 f∗f^
f∗,f ∗f^
f∗是對f
^\hat
f^的乙個估計。
2.有哪些特性？
簡單模型，variance小。複雜模型，variance大
簡單模型，bias大。複雜模型，bias小
在underfitting的情況下，error大部分來自bias。
在overfitting的情況下，error大部分來自variance。
如果model連訓練樣本都fit得不好，那就是underfitting, bias大
如果model可以fit訓練樣本，但是testing error大，那就是overfitting, variance大
3.解決方法？
what to do with large variance?
4.model selection
不應該這樣做：
因為這樣做，在public testing set上的error rate，並不代表在private testing set上的error rate。
應該這樣做：
將training set分成training set 和 validation set，在training set上訓練model 1-3，選擇在validation set 上error rate最小的model。如果嫌training set中data少的話，可以在確定model後在全部training data上再train一遍該model。
這樣做，在public testing set上的error rate才會代表在private testing set上的error rate。不能用public testing set去調整model。
將training set分成n折，每次只有一折作為validation set，其它折作為training set，在各model中選擇n次訓練得到的n個validation error rate的均值最小的model。
李巨集毅機器學習筆記（3） error
這一講主要聊的是誤差到底是從 來的，誤差主要 於兩個地方，即w和b，這兩個引數其實也代表了上一講提到過的回歸模型。通過了解誤差的 我們可以提公升模型。這節課大量知識都是概率論中學的，很基礎很有趣。我們不知道實際情況下模型到底是什麼樣子的，但是我們能通過訓練資料，擬合出模型，這個模型實際上可以算是估計...
李巨集毅機器學習 Introduction
人工智慧是我們想要達到的目標，即讓機器和人一樣智慧型。而機器學習是方法，讓機器從資料中學習，從而得到智慧型的方法。智慧型是什麼呢？對於人類智慧型而言，根據霍華德 加德納的多元智慧型理論，人類的智慧型分為以下七種智慧型 這不僅涵蓋了現在人工智慧的研究領域，計算機視覺 語音識別 自然語言處理等。而且也指...
李巨集毅機器學習attack model 學習筆記
loss函式及限制條件 無目標攻擊 l 負的 y 與y true 交叉熵 輸入的x 使y 與y true越遠越好 有目標攻擊 輸入的x 使y 與y true越遠越好且y 與y false越近越好 限制條件 x與x0距離需要小於乙個值，不被發現，否則攻擊就無意義 攻擊的目標是x在乙個小的變化內使模型失...