機器學習 第三章線性模型 學習筆記

2021-10-08 12:01:14 字數 1071 閱讀 9114

線性模型:給定由d個屬性描述的示例,線性模型試圖學得乙個通過屬性的線性組合來進行**的函式。f(x) = wtx+b

線性回歸試圖學得乙個線性模型以盡可能準確的**實值輸出標記,公式:f(xi) = wxi + b,使得f(xi) ≈ yi

除了利用線性模型進行回歸學習,也可以利用線性模型處理分類任務,我們只需要找乙個單調可微函式將分類任務的真實標記y與回歸模型的**值聯絡起來。

對數機率函式是乙個能在一定程度上近似單位階躍函式的常用替代函式,它將z的值轉化為乙個接近0或1的y值,並且其輸出值在z=0附近變化很陡。(類似於邏輯回歸?)

多分類學習的基本思路是拆解法:將多分類任務拆解為若干個二分類任務求解。拆分策略有:一對一ovo、一對其餘ovr、多對多mvm。

多對多mvm是每次將若干個類作為正類,若干個類作為反類,其中一對一ovo和一對其餘ovr是多對多mvm的特例。

類別不平衡問題就是指分類任務中不同型別的訓練樣例數目差別很大的情況,可以理解為樣本分佈不均勻的情況。

欠取樣:針對反類樣例,去除一些反例使得正、反例數目相近;

過取樣:針對正類樣例,增加一些正例使得正、反例數目相近;

閾值移動:基於原始資料訓練集學習,但在用訓練好的分類器進行**時,將乙個式子嵌入其決策過程。

1.什麼是邏輯回歸?

邏輯回歸就是一種用於解決分類問題的模型,可以**準確值和區間值,一般作用於二分類問題,我覺得書上寫的對數機率回歸應該就是邏輯回歸了。

2.什麼是負取樣?

負取樣好像就是相對於正取樣來說,採集的樣本避開原本最可能被採集到的,以便採集的公平性?

3.什麼是多標籤分類?

多標籤分類就是對於乙個資料集,裡面的資料可能屬於多種類別,比如一部電影可以同時屬於犯罪片和懸疑片,一篇文章可以同時屬於科技欄目和政治欄目等。與這個問題相結合的有標籤的排序問題。

4.lda和pca之間有什麼區別?

lda線性判別分析與pca主成分分析的區別有:lda是有監督的,pca是無監督的;lda投影後的組內方差小而組間方差大,使得樣本具有區分性,pca投影後的資料方差盡可能的大,以獲得更多的資訊。

機器學習 周志華 第三章 線性模型

線性模型檢視學的乙個通過屬性的線性組合來進行 的函式。如公式3 1所示。外鏈轉存失敗 img znxwdron 1564968507771 3d w 1x 1 w 2x 2 w dx d b 它可以用向量形式改寫,如公式3 2所示。外鏈轉存失敗 img kiy4xxqu 1564968472267 ...

第三章 線性模型

線性模型 linear mode 試圖學得乙個通過屬性的線性組合來進行 的函式 f x 1x1 2x 2 d xd b 向量形式 f x t x b 其中 1 2 d x x1 x2 x d 為由d個屬性描述的示例,x i 是 x 在第 i 個屬性上的取值。線性模型形式簡單,有豐富的變化,易於建模,...

第三章學習筆記

執行執行緒,簡稱執行緒,是在程序中活動的物件。核心排程的物件是執行緒,而不是程序。程序描述符中包含的資料能完整地描述乙個正在執行的程式 各種狀態之間存在轉換的條件,若滿足則進行轉換,跟模擬電路中所學的狀態機是乙個道理。通過st task state task,state 函式來設定當前程序狀態 fo...