PRML 4 分類的線性模型

2022-10-09 06:24:09 字數 704 閱讀 2887

\(1.輸入變數\)

\[x\]

\(2.分類\)

\[c_k,k=1,2,...,k,共k個離散值

\]\(3.決策邊界/決策面/決策區域\)

\[d維輸入空間中的(d − 1)維超平面

\]\[y(x) = constant ,即w^t x + w_0 = constant

\]\(4.**變數,是乙個實數變數\)

\[t\]

\[二元表示方法中,目標變數 t \in ,其中t = 1 表示類 c_1 ,而 t = 0 表示類別 c_2

\]\[對於k>2的情況,使用「1-of-k」編碼規則

\]模型的**\(y(x,w)\)是由引數\(w\)的線性函式給出的。在最簡單的情況下,模型對輸入變數也是線性的,因此形式為\(y(x) = w^tx + w_0\),即\(y\)是乙個實數。然而對於分類問題,我們想**的是離散的類別標籤,或更一般地,**位於區間\((0, 1)\)的後驗概 率。為了達到這個目的,我們考慮使用非線性函式\(f(\dot)\)對$ w $的線性函式進行變換,來推廣這個模型,即

$ y(x) = f(w^tx + w_0) \tag $

在機器學習的文獻中\(f(\dot)\)被稱為啟用函式(activation function),而它的反函式在統計文獻中被稱為鏈結函式(link function)

11 分類的線性模型

現在如果用這三個方法都用於二值分類的話,那麼它們各自的錯誤衡量就變為 s表示用這個模型得出的分數,取值範圍應該跟原來是一樣的,線性回歸的s wx取值範圍為實數r,logistic回歸的取值範圍為0 1 乙個概率 ys 合起來表示正確的分數 把三個模型的錯誤衡量表示在同乙個座標軸上面。cross en...

針對二分類問題的線性判別分析模型

針對二分類問題的線性判別分析模型 以下 片內容為周志華著 機器學習 習題3.5的程式 關於二分類問題的線性判別分析模型 周志華,機器學習,習題3.5,線性判別分類 導入庫 import numpy as np import matplotlib.pyplot as plt 存入訓練集 attrset...

純numpy寫線性回歸 及二分類模型

參照別人的寫法進行改進,資料標準化和資料集的切分,也完全手寫,不使用sklearn的相關方法。改進了下之前的 引用了sklearn中的資料集。通過引數設定,來指定使用線性回歸,還是二分類邏輯回歸。但是,不知道怎麼寫多分類的模型演算法。如可以,懇請高手指點下。純手寫numpy實現回歸和二分類模型 fr...