1. 什麼是監督學習
監督學習（supervised learning），通俗來說，就是學習乙個模型，使模型對任意給定的輸入值，給出乙個貼近相應真實輸出的**值。
主要由以下三個重要部分組成：模型、引數、目標函式。
2. 模型
簡單來說，可以理解為定義乙個明確的公式，表示輸入和輸出之間的關係。在已知輸入後，能計算得到固定的輸出。舉例如下：
假設所用模型為常見的線性模型，則有**值的加權求和公式：y^i
=∑j=
1dwj
xi
j\hat_i= \sum_^w_jx_
y^i=
j=1∑
dwj
xij
其中，w
jw_j
wj，為第j
jj個特徵的權重。xij
x_xi
j，為第i
ii個樣本的第j
jj個特徵。 $ \hat_i，為第
，為第，為
第i$個樣本的**值。
對於不同型別的任務，**值$ \hat_i$有不同的解釋：
3. 引數
在上述線性模型的例子中，對於新的輸入x
ix_i
xi，能計算得到y^i
\hat_i
y^i
的前提是：權重w
jw_j
wj已知。
因此，權重集合θ
=\theta=\
θ=，即為模型需要預先從已知x
xx和真實y
yy的樣本中學習得到的引數。
4. 目標函式
那麼，如何從已知的樣本中學習到合適的引數呢？需要我們定義乙個目標函式，並求其最小化的解。
目標函式通常包含兩部分：訓練誤差、正則化項，即：obj
(θ)=
l(θ)
+ω(θ
)obj(\theta) = l(\theta) + \omega(\theta)
obj(θ)
=l(θ
)+ω(
θ)其中，l(θ
)l(\theta)
l(θ)
，為訓練誤差，表示模型對於訓練資料的擬合程度，擬合程度越高則誤差越小。 ω(θ
)\omega(\theta)
ω(θ)
，為正則化項，也稱懲罰項，表示模型複雜度，值越大則模型複雜度越高。
因此，目標函式的最小化，表示尋求訓練誤差和正則化項的同時小，即，模型對於訓練資料的擬合程度較好，同時模型又盡量簡單，泛化能力強（對於未知的資料，依然能保持較好的**效果，而非對訓練資料過擬合）。
對於訓練誤差/損失函式，可進一步表示為：l=∑
i=1n
l(yi
,yi^
)l = \sum_^l(y_i, \hat)
l=i=1∑
nl(
yi,
yi^
)其中，y
iy_i
yi，為第個樣本的真實值。$ \hat，為預
測值
。，為**值。
，為**值。
l， 為損
失函式，
表示如何
計算真實
值與預測
值之間的
誤差
。，為損失函式，表示如何計算真實值與**值之間的誤差。
，為損失函式
，表示如
何計算真
實值與預
測值之間
的誤差。
n$為訓練樣本的個數。
常用的正則化項包括：
l1正則化（l1範數），ω(θ
)=λ∥
w∥
1\omega(\theta) = \lambda\|w\|_1
ω(θ)=λ
∥w∥1
，即權重向量w
ww中，各元素的絕對值之和
l2正則化（l2範數），ω(θ
)=λ∥
w∥
2\omega(\theta) = \lambda\|w\|^2
ω(θ)=λ
∥w∥2
，即權重向量w
ww中，各元素的平方和再求平方根
參考introduction to boosted trees: tianqi chen
機器學習（二） 有監督學習 無監督學習和半監督學習
1 特徵 feature 資料的特徵。舉例 書的內容 2 標籤 label 資料的標籤。舉例 書屬於的類別，例如 計算機 圖形學 英文書 教材 等。舉例 把很多書交給乙個學生，培養他給書本分類的能力。4 分類 classification 定性輸出稱為分類，或者說是離散變數 舉例 明天是陰 晴還是雨...
監督學習和無監督學習 監督學習與非監督學習
監督學習 supervised learning 的任務是學習乙個模型，使模型能夠對任意給定的輸入，對其相應的輸出做出乙個好的 即 利用訓練資料集學習乙個模型，再用模型對測試樣本集進行 例如kaggle上的鐵達尼號比賽。官方提供旅客資料 資料集1 姓名，年齡，性別，社會經濟階層，是否生存等 要求參賽...
監督學習，無監督學習和半監督學習
監督學習 supervised learning 無監督學習 unsupervised learning 半監督學習 semi supervised learning 2 概念 監督學習 用一部分已知分類 有標記的樣本來訓練機器後，讓它用學到的特徵，對沒有還分類 無標記的樣本進行分類 貼標籤。一句話...