監督學習的回歸問題上做了介紹,講解的是房價問題:
採用的代價函式為全域性的誤差計算,並將計算的引數結果同時更新,為批梯度下降法。
批梯度下降法在多個引數時的運算過程:
有時候,為了讓資料的影響程度,或者說是具有一致性,需要資料預處理,集中在均值0附件即可
在學習率問題上,採用倍數為3從0.001處開始進行的嘗試,是一種確定最佳學習率的方案。學習率過小只是需要更多的迭代次數,而過大則會導致誤差變大然後失去學習能力,反覆變化學習誤差等。
有些輸入資料與輸出資料在進行對映時,應該考慮資料的聯合意義如:房價和房寬與房長:
在有些資料對映時,如果在資料點圖中,已經呈現出了一定的關係,可以使用同一變數的高次函式進行擬合,並通過事先的考慮,該高次函式能否正確對映到圖中:
對於輸入x特徵,輸出y的實際結果,對應的係數a可以直接求解而不用梯度下降:(都是矩陣向量)
在m訓練樣本,n特徵的回歸問題上,梯度下降和使用矩陣運算直接求最終值時,各有優缺點。特徵數量n小於1萬,還是建議直接用正常的矩陣運算,雖然複雜度為n3:
有時候(很少)不能進行矩陣逆運算的問題:特徵之間有聯絡,多餘的特徵,或者樣本數量很少但是特徵卻很多很多:
吳恩達機器學習1
吳恩達老師近日在網易雲課堂達成合作,開始新的課程。我也跟著後面學習,順便再中做個筆記,以加深記憶!此次老師的課程主要講解五個部分 1.neural networks and deep learning 2.improve deep neural networks hyperparameter tun...
吳恩達機器學習筆記(1)
1 用來進行資料探勘 2 讓機器進行自我學習 3 能對使用者進行個性化定製的應用程式 4 了解人類大腦的執行機制 arthor samuel的定義 是在沒有對機器進行明確的程式設計的情況下讓機器具有自主學習的能力。學習演算法主要分為兩大類,監督學習演算法和非監督學習演算法。監督學習演算法就是明確告訴...
吳恩達機器學習筆記(1)
我們給計算機提供一組正確的資料集,也就是這個問題的標準答案 標準輸入對應的標準輸出 讓計算機分析這其中的聯絡,然後最後我們給他乙個輸入,讓他得到輸出 分類 在許多問題中要考慮輸入多個變數和多個特徵參考,乙個參考屬性作為乙個維度,故會出現無限維的問題,你的資料可以在二維座標畫出來 但是無限維你沒有辦法...