【系統】：系統的學習非常非常重要，所以【看書】是非常非常必要且高效的我們先考慮一種最簡單的情形：輸入【屬性的數目只有乙個】.為便於討論，此時我們忽略關於屬性的下標，即$$d = \ , y _ ) \} _ ^ $$對離散屬性，若屬性值間【存在「序」（order）關係】，可通過連續化將其轉化為連續值，例如二值屬性「身高」的取值「高」「矮」可轉化為，三值屬性「高度」的取值【「高」「中」「低」可轉化為】；
若屬性值間【不存在序關係】，假定有k個屬性值，則通常轉化為k維向量，例如屬性「瓜類」的取值【「西瓜」「南瓜」「黃瓜」可轉化為（0，0，1），（0，1，0），（1，0，0）】
若將無序屬性連續化，則會【不恰當地引入序關係】，對後續處理如距離計算等造成誤導【均方誤差】是【回歸任務中最常用的效能度量】，因此我們可試圖讓均方誤差最小化
$$( w ^ , b ^ ) = \underset \sum _ ^ ( f ( x _ ) - y _ ) ^ = \underset \sum _ ^ ( y _ - w x _ - b ) ^ $$
均方誤差有非常好的幾何意義，它對應了常用的【歐幾里得距離】或簡稱【「歐氏距離」（euclidean distance）】.求解和b使$$e _ = \sum _ ^ ( y _ - w x _ - b ) ^ $$【最小化的過程】，稱為線性回歸模型的最小二乘「引數估計」（parameter estimation）.我們可將_$e _ _$分別對w和b求導，得到
【對w求導】：這個公式的推導非常簡單，最小二乘法求偏導一步一步即可：$$\frac } = 2 ( w \sum _ ^ x _ ^ - \sum _ ^ ( y _ - b ) x _ )$$：導數為0求得最優解：$$w = \frac ^ y _ ( x _ - \overline ) } ^ x _ ^ - \frac ( \sum _ ^ x _ ) ^ }$$
【對b求導】：這個公式的推導非常簡單，最小二乘法求偏導一步一步即可：$$\frac } = 2 ( m b - \sum _ ^ ( y _ - w x _ ) )$$：導數為0求得最優解：$$b = \frac \sum _ ^ ( y _ - w x _ )$$更一般的情形是如本節開頭的資料集d，樣本由【d個屬性】描述.此時我們試圖學得$$f ( x _ ) = w ^ x _ + b , \text f ( x _ ) \simeq y _ $$，這稱為「多元線性回歸」（multivariate linear regression）.它實際上是在試圖讓_$e ^ x + b }_$逼近y
我們把線性回歸模型簡寫為：$$y = w ^ x + b$$，可否令模型**值【逼近y的衍生物】呢？譬如說，假設我們認為示例所對應的輸出標記是在指數尺度上變化，那就可將輸出標記的對數作為線性模型逼近的目標，即$$\ln y = w ^ x + b$$，這就是「對數線性回歸」（log-linear regression）
$$\ln y = w ^ x + b$$在【形式上仍是線性回歸】，但實質上已是在求取輸入空間到輸出空間的【非線性函式對映】，如圖3.1所示.這裡的【對數函式】起到了將線性回歸模型的**值與真實標記聯絡起來的【作用】
$$y _ ^ = \ln y _ $$
在【形式上仍是線性回歸】，但實質上已是在求取輸入空間到輸出空間的【非線性函式對映】更一般地，考慮單調可微函式g(~)，令$$y = g ^ ( w ^ x + b )$$，這樣得到的模型稱為「廣義線性模型」（generalized linear model），其中函式g(~)稱為「聯絡函式」（link function）.
顯然，【對數線性回歸是廣義線性模型在g(~)=ln(~)時的特例】
廣義線性模型的引數估計常通過【加權最小二乘法】或【極大似然法】進行
機器學習 西瓜書 三 線性回歸 對數線性回歸
牆裂推薦閱讀 的衍生物 假設樣本x有d個屬性，線性模型 linear model 試圖學得乙個通過屬性的線性組合來進行 的函式，即f x w 1x1 w2x2 wdxd bf x w1 x1 w 2x2 w dxd b，向量形式 f x w tx b f x wt x b對離散屬性，若屬性值之間存在...
機器學習西瓜書筆記
概念 致力於通過計算的手段，利用經驗來改善系統自身的效能。其中，經驗以資料的形式存在。基本術語 資料集 記錄的集合。示例 樣本 每條記錄，關於乙個事件或物件的描述，反應事件或物件在某方面的表現或性質的事項。屬性 特徵 一條記錄 乙個樣本由多個屬性 特徵組成。屬性值 屬性或特徵的值。示例對應於乙個座標...
機器學習（西瓜書） 緒論筆記
正如我們根據過去的經驗來判斷明天的天氣，吃貨們希望從購買經驗中挑選乙個好瓜，那能不能讓計算機幫助人類來實現這個呢？機器學習正是這樣的一門學科，人的 經驗 對應計算機中的 資料 讓計算機來學習這些經驗資料，生成乙個演算法模型，在面對新的情況中，計算機便能作出有效的判斷，這便是機器學習。另一本經典教材的...