第3章 線性模型
3.1基本形式
給定由d個屬性描述的示例x=(x1;x2;…;xd),其中xi是x在第i個屬性上的取值，線性模型（linear model）試圖學得乙個通過屬性的線性組合來進行**的函式，即
f(x)=w1*x1+w2*x2+…+wd*xd+b
一般用向量形式寫成
f(x)=wtx+b
其中w=（w1;w2;…;wd）。w和b學得以後，模型就得以確定。
線性模型形式簡單，易於建模，有很好的可解釋性（comprehensibility）。
3.2線性回歸
給定資料集合d=其中xi=(xi1,;xi2;…;xid),yi∈r,線性回歸（linear regression）的目的就是試圖找到乙個線性模型以盡可能準確地**實值輸出，即試圖學得：
其中重要點在於w和b的確定。我們利用均方誤差，使均方誤差最小化即：
線性回歸模型的最小二乘「引數估計」（parameter estimation）為求解w和b使
最小化的過程。可以將 分別對w和b求導，得到
然後令上二式為0可得到w和b最優解的閉式解
其中 為x的均值。
當樣本由d個屬性描述，我們試圖學得
這稱為「多元線性回歸」（multivariate linear regression）。我們同樣可以用最小二乘法對w和b進行估計。具體過程這裡省略。
線性模型雖然簡單，但是有豐富的變化。對於樣例（x，y）我們希望線性模型的**值逼近真實標記y，即
但是有的時候這種做法並不方便使用，我們令模型的**值逼近y的衍生物，例如：假設我們認為示例所對應的輸出標記是在指數尺度上變化，那麼可以將線性模型設定為：
這就是「對數線性回歸」。
更一般的可以考慮單調可微函式g（.），令
得到的模型稱為「廣義線性模型」（generalized linear model），其中函式g(.)稱為「聯絡函式」（link function）。
3.3對數機率回歸
分類任務中我們需要找乙個單調可微函式將任務分類的真是標記y與線性回歸模型的**值聯絡起來。
以二分類任務為例，輸出標記為y∈，線性回歸模型產生的**值
**過程如圖3.2
但是單位階躍函式不連續，因此不能直接用作式3.15中的 。所以我們找了乙個單位階躍函式的替換函式，並希望它單調可微。對數機率函式（logisticfunction）：
從圖3.2可看出，對數機率函式是一種「sigmoid函式」，它將z值轉化成乙個接近0或1的y值，並且其輸出值在z=0附近變化很抖。然後經過數學變換求取最優w和b。具體流程我也很模糊，以後有機會再描述。
機器學習周志華筆記
1，監督學習 分類 回歸 無監督學習 聚類 2，決策樹 根據資訊增益的大小來確定節點 資訊熵 描述事務確定性程度的值 需要多少個bit來描述資訊 ent d pklog2pk 資訊增益 資訊熵 某個屬性劃分的平均資訊熵 該屬性劃分純度 3，支援向量機中對超平面的理解 劃分超平面用以下線性方程表示 w...
周志華 機器學習 筆記
學習演算法自身的歸納偏好與問題是否相配，往往會起到決定作用。對於上面這句話 你的輸入資料被怎麼處理，最終得到什麼結果，我認為偏好指的就是這個處理的過程。線性非線性？那些feature忽略掉？怎麼利用這些資料？更具體一些，你用網路處理，還是傳統方法，資料的分布和你的處理方法相符嗎？沒有免費的午餐定理 ...
《機器學習》（周志華）學習筆記（一）
一 假設空間 科學推理的兩大手段 歸納 induction 和演繹 deduction 歸納 泛化過程，從具體的事實歸結出一般性規律 演繹 特化過程，從基礎原理推演出具體狀況 學習過程可以看作乙個在所在假設組成的空間中進行搜尋的過程，搜尋目標是找到與訓練集 匹配 fit 的假設，即可以將訓練集中的樣...