ML筆記第一周(二) 模型與代價函式

2021-09-10 01:20:54 字數 1826 閱讀 7160

表示

含義xi

輸入變數

yi輸出變數

(xi,yi)

乙個訓練例項

(xi,yi),i=1,2,…m

乙個訓練集

m訓練集內訓練例項的個數

h表示hypothesis(假設)

我們將x稱為feature,hθ(x)稱為hypothesis,假設函式。

每個訓練集與輸出變數的差方的和越趨近於0,則假設函式和真實函式越相近。因此代價函式的最優解在於計算代價函式最小值。

對於不同的θ0和θ1,hθ(x)對應的曲線不同,如下圖所示:

如何選擇θ0和θ1,使得hθ(x)和yi之間的誤差最小?

為了求出使hθ(x)最小的θ0和θ1,此處先從簡單的來看,假設θ0=0,即hypothesis函式為:hθ(x)=θ1*x。

對於如下的訓練集:

xiyi11

2233

分別求出θ1=0、0.5、1時,代價函式j(θ0,θ1)的值,並做出大概影象。

從圖中可以很明顯的看到,θ1=1時,代價函式j(θ0,θ1)取得最小值0,即此時建立的模型與實際情況完全吻合(夢寐以求)。

在3中,我們簡化了情況,如果不將θ0限定為0,代價函式j(θ0,θ1)就會變成乙個二元函式,其影象也就會從二維變到了三維。其實現在也還不算特別複雜,借助matlab等軟體,我們可以很輕鬆的做出影象並求得代價函式的最小值。

代價函式的輪廓圖用二維表示如下,輪廓圖如果用二維圖表示,則如下圖所示,在一條等高線上j(θ0,θ1)相同。

我們可以對代價函式的每個取值都求一下,來簡單的確定其最優解,最最中心的那個橢圓的中心點就是我們要求的點,將其對應的θ0,θ1代入模型即為所求最吻合的模型。

代價函式實際就是所有的**值與實際值的差距,因為每個差距有正有負,算平方值可以減小工作量。

當代價函式取得最小值時,說明**值與實際值的差距之和最小,即我們建立的模型與實際情況最為吻合。要求得最合適的模型,實際上就是要求代價函式取最小值時的各個引數的值。

函式引數較少時,我們可以通過做圖很快求解出代價函式的最優解,從而建立模型。但是現實生活中,引數很可能會多到**,作圖?不存在的,至於要怎麼解決現實中滴問題,明天接著學習~~

1、機器學習1.1–模型和代價函式

2、機器學習 - introduction | coursera

3、[ml筆記]模型表示與代價函式

DICTATOR第一周二分查詢作業

author dictator 這是對有序陣列進行二分查詢的 include include intbinarysearch int arr,int a,int length else if a arr mid else return 1 如果未檢索到,則輸出 1 int main printf d...

第一周 二分法

思想 找乙個參照數,將小於該數的放到左邊,大於該數的放到右邊,分成兩部分,然後每部分再不斷地遞迴,直到排好序。網上的例子 class 二分法 quicksort a,0,a.length 1 for int i 0 i a.length i console.read static void quic...

Android筆記 第一周

activity自動跳轉的實現 使用handle在run 方法中實現,handler mhandler new handler mhandler.postdelayed new runnable 1000 注 handler.post r postdelayed r r的 實際是在ui執行緒執行的,...