假設 特徵 和 結果 都滿足線性。即不大於一次方。這個是針對 收集的資料而言。
收集的資料中，每乙個分量，就可以看做乙個特徵資料。每個特徵至少對應乙個未知的引數。這樣就形成了乙個線性模型函式，向量表示形式：
這個就是乙個組合問題，已知一些資料，如何求裡面的未知引數，給出乙個最優解。 乙個線性矩陣方程，直接求解，很可能無法直接求解。有唯一解的資料集，微乎其微。
基本上都是解不存在的超定方程組。因此，需要退一步，將引數求解問題，轉化為求最小誤差問題，求出乙個最接近的解，這就是乙個鬆弛求解。
求乙個最接近解，直觀上，就能想到，誤差最小的表達形式。仍然是乙個含未知引數的線性模型，一堆觀測資料，其模型與資料的誤差最小的形式，模型與資料差的平方和最小：
這就是損失函式的**。接下來，就是求解這個函式的方法，有最小二乘法，梯度下降法。
最小二乘法
是乙個直接的數學求解公式，不過它要求x是列滿秩的，
梯度下降法
分別有梯度下降法，批梯度下降法，增量梯度下降。本質上，都是偏導數，步長/最佳學習率，更新，收斂的問題。這個演算法只是最優化原理中的乙個普通的方法，可以結合最優化原理來學，就容易理解了。
線性回歸的損失函式與邏輯回歸的損失函式
xi yi 我們有如下的擬合直線 yi xi構建的損失函式是 c i 1 n yi yi 2表示每乙個訓練點 x i,yi 到擬合直線yi xi的豎直距離的平方和，通過最小化上面的損失函式可以求得擬合直線的最佳引數 這裡的損失函式之所以使用平方形式，是使用了 最小二乘法 的思想，這裡的 二乘 指的是...
邏輯回歸損失函式
眾所周知，二分類問題的損失函式為 其中y代表標籤值 0,1 h x 代表通過假設假設函式 sigmoid 函式 計算出的函式值 概率 sigmoid 函式的取值區間為 0,1 當標籤值為1時，h x 的值為 y為1的概率，這個值越靠近0，logh x 的值就會越大，從而對loss值的懲罰也就越大 反...
回歸損失函式 Huber Loss
相比平方誤差損失，huber損失對於資料中異常值的敏感性要差一些。在值為0時，它也是可微分的。它基本上是絕對值，在誤差很小時會變為平方值。誤差使其平方值的大小如何取決於乙個超引數 該引數可以調整。當 0時，huber損失會趨向於mse 當 很大的數字 huber損失會趨向於mae。的選擇非常關鍵，因...