在學習線性回歸中,我們在初中學習的時候,一般設x,y二個離散的資料,用二維座標系畫出來的點如圖:
我們先可以回憶一下什麼叫回歸:
回歸:1 把一系列的散點的資料用一條線段盡可能的擬合出來(二維是線段 三維是平面 高維那就是超平面)
2 這條曲線不僅僅可以擬合,在未來趨勢上也會對未來數值x,進行**y
如圖為線性擬合的後的曲線:
那麼假設函式是什麼呢?
我們由上圖可以得到 :
y = a*x + b
在假設函式中,我們知道的值為x和b,而a,b是未知的,所以我們會用 以下公式來代表我們預先假設出來的函式。
h
(θ)x = θ^t*x 且xo =
1
雖然二者的公式看著不像,是我們為了方便,將b這個用θo來代替,然後令xo = 1,這樣函式就可以結合。至於這裡的函式為什麼是轉置,因為一般的向量我們預設為列向量。
現在假設函式出來,我們需要知道我們這些點和我自己本身的值的誤差有多大,就引出了損失函式,它的目的是檢視我的資料的點與曲線的差的平方(平方是為了二者相減有正有負)
j
(θ)x =(h
(θ)x - y)
^2
現在我們只是知道乙個誤差,如果我們想要所有樣本的誤差與真實值之間誤差的平均值(也就是每乙個點與曲線大概平均差了多少)
j
(θ)x =(h
(θ)x^
(i)- y^
(i))
^2
機器學習中的目標函式 損失函式 代價函式
1 損失函式 代價函式 損失函式 loss function 是用來估量模型的 值f x 與真實值y的不一致程度,它是乙個非負實值函式,通常使用l y,f x 來表示,損失函式越小,模型的魯棒性就越好。損失函式和代價函式是同乙個東西,目標函式是乙個與它們相關但更廣的概念。上面三個圖的函式依次為,我們...
代價函式和損失函式
代價函式就是用於找到最優解的目的函式,這也是代價函式的作用。損失函式 loss function 是定義在單個樣本上的,算的是乙個樣本的誤差。代價函式 cost function 是定義在整個訓練集上的,是所有樣本誤差的平均,也就是損失函式的平均。目標函式 object function 定義為 最...
機器學習 代價函式
每對資料叫訓練樣本。我們用 x,y 表示乙個訓練樣本。x就是輸入變數 通俗的說就是x軸表示的變數 y就是目標變數,也就是我們要 的變數。給演算法一些資料集也就是訓練集,然後演算法會形成乙個函式h,我們稱它為假設函式,我們利用這個函式來 結果。單變數線性回歸方程 通俗的說就是一元一次線性方程,其中一些...