1、簡單線性回歸是屬於回歸(regression)，即label為連續數值型(continuous numerical variable)，所謂簡單，是指只有乙個樣本特徵，即只有乙個自變數；所謂線性，是指方程是線性的；所謂回歸，是指用方程來模擬變數之間是如何關聯的。
簡單線性回歸，其思想簡單，實現容易（與其背後強大的數學性質相關。同時也是許多強大的非線性模型（多項式回歸、邏輯回歸、svm）的基礎。並且其結果具有很好的可解釋性。
2、推導思路為：
通過分析問題，確定問題的損失函式或者效用函式；
然後通過最優化損失函式或者效用函式，獲得機器學習的模型
近乎所有引數學習演算法都是這樣的套路，區別是模型不同，建立的目標函式不同，優化的方式也不同。
3、相關概念
1、損失函式：單個樣本**值和真實值之間誤差的程度。
2、期望風險：是損失函式的期望，理論上模型f(x)關於聯合分布p(x,y)的平均意義下的損失。
3、經驗風險：模型關於訓練集的平均損失（每個樣本的損失加起來，然後平均一下）。
4、最小二乘法
對於測量值來說，讓總的誤差的平方最小的就是真實值。這是基於，如果誤差是隨機的，應該圍繞真值上下波動。
線性回歸，最小二乘法
回歸的定義 對於乙個點集，使用乙個函式去擬合該點集，使點集與擬合函式間的誤差最小，如果這個函式曲線是一條直線，則是線性回歸，如果曲線是二次曲線，則是二次回歸。廣義線性回歸 廣義線性模型是線性模型的擴充套件，其特點是不強行改變資料的自然度量，資料可以具有非線性和非恆定方差結構 59 主要是通過聯結函式...
線性回歸 最小二乘法（二）
上篇文章中介紹了單變數線性回歸，為什麼說時單變數呢，因為它只有單個特徵，其實在很多場景中只有單各特徵時遠遠不夠的，當存在多個特徵時，我們再使用之前的方法來求特徵係數時是非常麻煩的，需要乙個特徵係數乙個偏導式，而卻最要命的時特性的增長時及其迅猛的，幾 十 幾百 幾千 單變數線性回歸 多變數線性回歸 所...
線性回歸之最小二乘法
線性回歸是很常見的一種回歸，線性回歸可以用來 或者分類，主要解決線性問題。線性回歸過程主要解決的就是如何通過樣本來獲取最佳的擬合線。最常用的方法便是最小二乘法，它是一種數學優化技術，它通過最小化誤差的平方和尋找資料的最佳函式匹配。假設擬合直線為y ax b 對任意樣本點 x i,yi 誤差為e yi...