代價函式（cost function）
代價函式是定義在整個訓練集上的，是所有樣本誤差的平均，也就是損失函式的平均。
對於hx=θtx=θ0x0+θ1x1+⋯+θnxn
其中x0=1
給定m個屬性集x=x1;x2;⋯;xn線性回歸基於均方誤差的代價函式為：
jθ0,θ1,…,θn=12mi=1mhxi-yi2
m：訓練樣本的個數；
n：樣本屬性個數(有n個屬性，就應有多少個θ)
h(x)：用引數θ和x**出來的y值;
y：原訓練樣本中的y值，也就是標準答案;
下標(i)：第i個樣本;
損失函式（loss function）
損失函式是用來估量模型的**值h(x)與真實值y的不一致程度，它是乙個非負實值函式,通常使用l(y, h(x))來表示，損失函式越小，模型的魯棒性就越好。損失函式是經驗風險函式的核心部分，也是結構風險函式重要組成部分。所以從作用上來看，代價函式和損失函式是同乙個東西。
過擬合（overfitting）
過擬合現象是指在擬合乙個統計模型時，使用了過多的引數。當乙個模型足夠複雜的時候，可以完美地適應資料，但這會減少或破壞模型一般化的能力。
泛化能力（generalization ability）
在機器學習方法中，泛化能力通俗來講就是指學習到的模型對未知資料的**能力。在實際情況中，通常通過測試誤差來評價學習方法的泛化能力
正則化（regularization）
正則化在本質上是為了防止過擬合， 進而增強泛化能力。
目標函式（object function）
目標函式定義為：最終需要優化的函式。等於經驗風險+結構風險（也就是cost function + 正則化項）。
線性模型的目標函式通常可以表示成如下式子：
jθ0,θ1,…,θn= 12mi=1mhxi-yi2+λ
i=1nθj
2 評價函式
r方（r-square）
r方通常用來描述資料對模型的擬合程度的好壞。
公式為：
r2=1-i=1myi-yi2i=1myi-y2
模型的決定係數(determinate coefficient) 等於復相關係數的平方。與簡單線性回歸中的決定係數相類似，它表示反應變數y 的總變異中可由回歸模型中自變數解釋的部分所佔的比例，是衡量所建立模型效果好壞的指標之一。顯然，r2越大越好，但是也存在與復相關係數一樣的不足，即使向模型中增加的變數沒有統計學意義，值仍會增大。
修正r方（adjusted r-squared）
radj2=1-m-11-r2m-n-1
其中m是樣本數量，n是模型中變數的個數。
由於用r2 評價擬合模型的好壞具有一定的侷限性，即使向模型中增加的變數沒有統計學意義，r2 值仍會增大。因此需對其進行校正，從而形成了校正的決定係數(adjusted r square) 。與r2不同的是，當模型中增加的變數沒有統計學意義時，校正決定係數會減小，因此校正r2 是衡量所建模型好壞的重要指標之一，校正r2 越大，模型擬合得越好。但當p/n 很小時，如小於0.05 時，校正作用趨於消失。
mse/mae
均方誤差（mse）是回歸損失函式中最常用的誤差，它是**值與目標值之間差值的平方和，其公式為：
mse=i=1mhxi-yip2m
其中 yip為真實值;
hxi是**值;
平均絕對誤差（mae）是另一種常用的回歸損失函式，它是目標值與**值之差絕對值的和，表示了**值的平均誤差幅度，而不需要考慮誤差的方向（注：平均偏差誤差mbe則是考慮的方向的誤差，是殘差的和），範圍是0到∞，其公式為：
mae=i=1mhxi-yipm
顯然均方差更容易求解，但平均絕對誤差則對於異常值更穩健。
線性回歸的原理
線性回歸在假設特證滿足線性關係，根據給定的訓練資料訓練乙個模型，並用此模型進行**。給定的資料集學得乙個通過屬性的線性組合來進行的**函式
hθx=θtx
損失函式推導
mse=i=1mhxi-yip2n
mae=i=1mhxi-yipm
損失函式求解
首先考慮 n = 1 的情況，即一元線性回歸
給定屬性集x=x1;x2;⋯;xm，試圖學得：hxi=θ0+θ1xi 使得：hxi≅yi
令jθ0,θ1=i=1myi-θ1x-θ02，使jθ0,θ1最小化的過程，稱為線性回歸模型的最小二乘」引數估計」。(m是屬性數目,n是資料數目)
分別對θ1、θ0分別求導有:
∂jθ0,θ1∂θ1=2θ1i=1mxi2-i=1myi-θ0xi
∂jθ0,θ1∂θ0=2mθ0-i=1myi-θ1xi
令兩式分別為零，可得:
θ1=i=1myixi-xi=1mxi2-1mi=1mxi2
θ0=1mi=1myi-θ1xi
正則線性回歸
給定m個屬性集x=x1;x2;⋯;xn，試圖學得：hxi=θtx=θ0x0+θ1x1+⋯+θnxn ，其中x0=1。使得：hxi≅yi
令jθ0,θ1,…,θn= 12mi=1mhxi-yi2+λ
i=1nθj
2 則採用梯度下降：
θj≔θj-α∂∂θjjθ0,θ1,…,θn
θj≔θj-α1mi=1mhxi-yixij+λmθj
(j=0,1,…n)
定義乙個合理的閾值，兩次迭代之間的差值小於該閾值時，迭代結束。
邏輯回歸
y=11+ⅇ-θtx
變化為：
lny1-y=θtx
又因為：
lnpy=1xpy=0x=θtx
解得：py=1x=ⅇθtx1+ⅇθtx
py=0x=11+ⅇθtx
對其求極大對數似然函式即可得θt
sklearn引數詳解
from sklearn.linear_model import linearregression
linear = linearregression()
linear.fit(x, y) #fit函式，擬合線性模型。其中x，y分別為訓練資料的特徵和標籤。
linear.predict(y_new) #predict函式，用線性模型來進行**。
from sklearn.linear_model import logisticregression
log_reg = logisticregression()
log_reg.fit(x, y)
log_reg.predict(y_new)
實際上這篇東西我用word文件整理的，但是發布出來，只好直接複製過來。
線性回歸總結
回歸模型的最終目標是建立自變數x和y之間的關係。線性回歸採用乙個高維的線性函式來盡可能的擬合所有的資料點，最簡單的想法就是根據中心極限定理，最小化函式值與真實值誤差的平方 概率解釋 高斯分布加最大似然估計 線性回歸假設誤差服從正太分布，值y也服從正太分布。對數似然函式求最大值即為即均方誤差，因此用這...
1 線性回歸理論總結
梯度下降 1 本質 求解f x 0 2 演算法 起點x0按照步長 向f x 為0逼近 x n 1 x n f x n 3 結果 迭代操作,f x 滿足期望精度 4 前提 梯度必須為遞增 凸函式 線性回歸梯度下降 1 代數推導 1 函式 h x 0 1 x 2 損失函式 j 1 2m h x i y ...
線性回歸模型 線性回歸模型
回歸的思想和分類有所不一樣，分類輸出的結果為離散的值，回歸輸出的是乙個連續型的值。線性回歸的思想就是試圖找到乙個多元的線性函式 當輸入一組特徵 也就是變數x 的時候，模型輸出乙個 值y h x 我們要求這個 值盡可能的準確，那麼怎麼樣才能做到盡可能準確呢？其中 表示實際值，表示 值 其中 表示實際值...