參考資料：
回歸：屬於監督學習，由已有的(x,y)學習得到模型，根據輸入的x判斷y值
線性回歸：最簡單
估計函式
損失函式(loss function)
損失函式採用估計函式值和觀測值的差值的平方和，乘以1/2. 這個係數是為了求導時候剛好消掉
為什麼選擇平方和作為loss function？
一般假設
，而服從正態分佈，因此
因此loss function採用平方和的形式
引數估計的方法：最小二乘法，梯度下降法（批量，增量）
1. 最小二乘法
矩陣描述：把每個x當做一列，拼成矩陣x，仍然有
。theta的矩陣描述是
採用了x的廣義逆矩陣。前提是要求x是列滿秩的。該方法的乙個缺點是計算量大，求逆矩陣速度慢。
2. 梯度下降法
1）選取theta的初始值（有一定技巧，對最後結果有影響）
2）改變theta的值，按照梯度下降的方向減小
梯度下降的方向是梯度的反方向
擴充套件：帶權重的線性回歸（用於**特定的**點，屬於非引數估計）
上述的誤差函式權重都是1，也可以根據到目標**點的距離賦予權重
其中離目標點x越近的訓練點的權重越大，影響越大
logistic回歸
本質上仍是是線性回歸。只是多了幾個中間層：期望值，連線函式
解決問題：0/1分類
從自變數->結果的對映：無窮->0 or 1
以屬於某一類的概率p作為期望值進行分類。p的取值範圍是[0,1]，通過轉換
使得取值範圍變為(負無窮，正無窮)
因此作為模型。
從線性回歸到線性分類
線性回歸在統計機器學習中佔據了核心地位，最基礎的模型。線性回歸有三個特點，打破線性回歸的乙個或幾個特點，就形成了統計機器學習中的眾多模型。三個特點如下 1.線性 1.1關於特徵x是線性的，1.2關於引數w是線性的。1.3從全域性看線性組合之後直接輸出了結果，沒有任何處理。2.全域性性 對所有的特徵空...
機器學習之線性回歸以及Logistic回歸
1 線性回歸 回歸的目的是 數值型資料的目標值。目標值的計算是通過乙個線性方程得到的，這個方程稱為回歸方程，各未知量 特徵 前的係數為回歸係數，求這些係數的過程就是回歸。對於普通線性回歸使用的損失函式一般為平方誤差。把其用最小二乘法進行優化得到的關於係數w求導所得到的矩陣形式的表示式求得的 w便為最...
線性回歸 Logistic回歸 Softmax回歸
什麼是回歸？給定一些資料，x的值來 y的值，通常地，y的值是連續的就是回歸問題，y的值是離散的就叫分類問題。高爾頓的發現，身高的例子就是回歸的典型模型。回歸分為線性回歸 linear regression 和logistic 回歸。線性回歸可以對樣本是線性的，也可以對樣本是非線性的，只要對引數是線性...