Andrew Ng機器學習第一章 單變數線性回歸

2022-04-29 17:12:08 字數 983 閱讀 9827

h代表假設函式,h是乙個引導x得到y的函式

如何表示h函式是監督學習的關鍵問題

線性回歸:h函式是乙個線性函式

ps:盡可能簡化問題去理解一些抽象概念,如單一的引數變化等等

可以利用代價函式去尋找你擬合效果最好的假設函式的引數

當引數很多時,利用圖表來尋找最小代價函式就變得比較複雜,故引出梯度下降法。

梯度下降法的思路:給定初始值,一般初始值為0.然後不斷修改引數直到目標函式取到最小值

梯度下降法示意圖:

一、把影象看做一座山,梯度下降法就是尋找最快下山的路徑。給定初始位置,尋找當前點下降最快的方向並往前邁進一小步,不斷重複直到找到區域性區域性最優解。

二、當初始位置不同時,所得到的區域性最優解也是不同的。

實現這個演算法的關鍵是採用同步更新,即

。梯度下降法可以收斂到區域性最低點的原因:當處於最低點時,導數為0,此時的引數和原來的引數是一樣的,而且學習率α保持不變且不為0(因為趨近於最低點時,導數的數值在不斷地變小),最終θj依然可以保持不變。

此外,α的取值需要合適。太小演算法執行時間較長,太大有可能越過區域性最低點導致演算法不收斂。

機器學習第一章

q 什麼是機器學習 機器學習不同於以往的計算機程式設計,致力於研究如何通過計算機手段,利用以往的經驗來改善系統自身的效能。一般的程式設計都是明確的告訴電腦該做什麼。機器學習希望提供資料給學習演算法,讓它自己學習,找到其種的規律。在面對新情況的時候就能應用已產生的模型,提供相應的判斷。機器學習的本質任...

機器學習第一章

今天進行了機器學習第一章的學習,我覺得首先你可以認清這些概念 1 模型 策略 演算法 2 分類與回歸的概念 3 監督 無監督 半監督問題 2 過擬合 欠擬合 下面是拓展的一些概念 海森矩陣 黑塞矩陣 hessian matrix 又譯作海森矩陣 海瑟矩陣 海塞矩陣等,是乙個多元函式的二階偏導數構成的...

《機器學習》 第一章

圖書館借了本機器學習,作者是 tom m.mitchell,亞馬遜這本書排名挺靠前的。好了,直接開篇。接下來大篇幅講述了,如何挑選訓練經驗,選擇目標函式,目標函式的表示,選擇函式逼近演算法。整個設計下來,分為了四大模組 執行系統 鑑定器 泛化器 實驗生成器。看過這本書的都會被第一章的跳棋學習深深吸引...