目前所學的學習演算法：線性回歸和邏輯回歸
一、過度擬合
例子：線性擬合（房價）
：欠擬合，具有高偏差
：擬合的很好
：過擬合，具有高方差 （通常是變數太多，擬合出來的影象看起來很符合資料集，而且代價函式接近0，但是它無法泛化到新的資料集中）
二、解決過度擬合
（1）、減少變數的數量
（2）、正則化
保留所有的特徵變數，但是減少量級或引數θ的大小
三、正則化
思路：
以上圖為例，給代價函式加上懲罰項
，代價函式變為
懲罰項前的係數為1000，為了使代價函式最小，θ_3和θ_4要接近0，這就使得假設函式
後兩項幾乎為零（相當於還是乙個二次函式），從而在不減少變數的同時達到更好的擬合效果，這就是正則化的思路。
三、正則化代價函式
很多時候，我們不知道哪些變數是相關度比較低的，也就無法準確的縮小它們的值，因此我們考慮給代價函式新增額外的正則化項來縮小所有的引數，
通常θ_0這項不需要進行正則化，這是約定俗成的
如果正則化引數太大，那麼對引數的懲罰程度太大，使得引數都接近為0
吳恩達機器學習 過擬合問題
看到這篇文章的同學，我希望是已經學習了幾種不同的學習演算法，包括線性回歸和邏輯回歸，它們能夠有效地解決許多問題，但是當將它們應用到某些特定的機器學習應用時，會遇到過擬合 over fitting 的問題，可能會導致它們效果很差。如果我們有非常多的特徵，我們通過學習得到的假設可能能夠非常好地適應訓練集...
吳恩達機器學習 偏差與方差 欠擬合與過擬合
在吳恩達機器學習課程的第86課時中，講解了偏差和方差與欠擬合和過擬合的關係。1 偏差與方差的概念 先看下網上關於偏差與方差的例子。該例子可以理解為射擊打靶。偏差指的是多次射擊的平均環數與環心的偏差度，顯然上方的兩個圖的偏差較小，而下方兩圖偏離圓心較遠，偏差較大。方差指的是多次射擊的成績穩定狀態，顯然...
吳恩達機器學習問題2
吳恩達課程中遇到的問題 第三週程式設計題 問題1 如果有大佬麻煩告知下 謝謝 就是為啥寫的 m,n size x 但是size x 是118 28，但是 m n 是 100 2？問題2 代價函式costfuction裡，為啥計算梯度grad的時候，明明公式是 最後乘的是x,但是 程式卻要寫成x 即x...