線性回歸在統計機器學習中佔據了核心地位，最基礎的模型。
線性回歸有三個特點，打破線性回歸的乙個或幾個特點，就形成了統計機器學習中的眾多模型。三個特點如下：
1. 線性：
1.1關於特徵x是線性的，
1.2關於引數w是線性的。
1.3從全域性看線性組合之後直接輸出了結果，沒有任何處理。
2. 全域性性：對所有的特徵空間擬合，不是將特徵分段擬合。
3. 資料為加工 ：沒有降維等。
打破1.1，就有特徵轉換，比如多項式回歸
打破1.2，就有了神經網路
打破1.3，就有了線性分類，比如加啟用函式等。
打破2，就有了決策樹，對特徵空間進行劃分，最後劃分成很多小區域。
打破3，就有了pca，流形學習等。
下面談談打破1.3，從線性回歸到線性分類
一般有兩種方法，啟用函式和降維。線性分類有硬分類和軟分類，硬分類就是將資料對映到，軟分類就是將資料對映到[0,1]。硬分類的代表有感知機和線性判別分析。軟分類有兩種，一種是生成式模型，比如高斯判別分析和樸素貝葉斯；一種是判別式模型，比如經典的邏輯回歸。
從線性回歸到logistic回歸到一般回歸
參考資料 回歸 屬於監督學習，由已有的 x,y 學習得到模型，根據輸入的x判斷y值 線性回歸 最簡單 估計函式 損失函式 loss function 損失函式採用估計函式值和觀測值的差值的平方和，乘以1 2.這個係數是為了求導時候剛好消掉 為什麼選擇平方和作為loss function？一般假設 而...
機器學習 線性回歸到廣義線性模型
1.2線性回歸模型 1.3目標函式 損失函式 1.4最小二乘法 1.5 sklearn用法 1.6 區域性加權線性回歸 1.7 總結 2 邏輯斯特回歸 logistic regression 3 廣義線性模型 generalized linear models 構建的模型由線性函式組成的回歸問題就可...
從線性回歸到多層感知機 task1
這裡對 elitesai 動手學深度學習pytorch版 task1的學習做個簡短的總結。task1中總共分為3個部分 線性回歸 softmax 多層感知機。因為之前有些基礎，所以3個部分原理部分都大致比較清楚，由於對pytorch不是那麼熟悉，所以下面主要對之前不熟悉的一些函式方法進行總結，並對部...