究竟神馬是成本函式，神馬是損失函式呢？
直接拿來主義，因為這篇寫得比較好
前言：損失函式是機器學習裡最基礎也是最為關鍵的乙個要素，通過對損失函式的定義、優化，就可以衍生到我們現在常用的lr等演算法中
本文是根據個人自己看的《統計學方法》《斯坦福機器學習課程》及日常工作對其進行的一些總結。因為才疏學淺，如有不對之處，請發郵件指點[email protected]。非常感謝幫忙指正錯誤。
損失函式的作用：衡量模型模型**的好壞。
正文：首先我們假設要**乙個公司某商品的銷售量：
x：門店數 y：銷量
我們會發現銷量隨著門店數上公升而上公升。於是我們就想要知道大概門店和銷量的關係是怎麼樣的呢？
我們根據圖上的點描述出一條直線：
似乎這個直線差不多能說明門店數x和y得關係了：我們假設直線的方程為y=a0+a1x（a為常數係數）。假設a0=10 a1=3 那麼y=10+3x（公式1）
x公式y
實際y差值
-1-2
我們希望我們**的公式與實際值差值越小越好，所以就定義了一種衡量模型好壞的方式，即損失函式（用來表現**與實際資料的差距程度）。於是乎我們就會想到這個方程的損失函式可以用絕對損失函式表示：
公式y-實際y的絕對值，數學表示式：
上面的案例它的絕對損失函式求和計算求得為：6
為後續數學計算方便，我們通常使用平方損失函式代替絕對損失函式：
公式y-實際y的平方，數學表示式：l（y，f（x））=
上面的案例它的平方損失函式求和計算求得為：10
以上為公式1模型的損失值。
假設我們再模擬一條新的直線：a0=8，a1=4
x公式y
實際y差值-1
公式2 y=8+4x
絕對損失函式求和：11 平方損失函式求和：27
公式1 y=10+3x
絕對損失函式求和：6 平方損失函式求和：10
從損失函式求和中，就能評估出公式1能夠更好得**門店銷售。
統計學習中常用的損失函式有以下幾種：
(1) 0-1
損失函式
(0-1 lossfunction):
l(y,f(x))={1,0,y≠f(x)y=f(x)
(2)
平方損失函式
(quadraticloss function)
l(y,f(x))=(y−f(x))2
(3)
絕對損失函式
(absoluteloss function)
l(y,f(x))=|y−f(x)|
(4)
對數損失函式
(logarithmicloss function)
或對數似然損失函式
(log-likelihood loss function)
l(y,p(y|x))=−logp(y|x)
損失函式越小，模型就越好。
總結：損失函式可以很好得反映模型與實際資料差距的工具，理解損失函式能夠更好得對後續優化工具（梯度下降等）進行分析與理解。很多時候遇到複雜的問題，其實最難的一關是如何寫出損失函式。這個以後舉例
第二章 第三節 成本函式和損失函式推導過程
前面一節，介紹了神馬是sigmoid函式。其實他的本質，根據doctor wu所示，就是y wtx b 機器學習的重點就是能夠算出wt和b兩個不同的引數，進行模擬。損失函式，不知道為啥，doctor wu瞬間就拿出了平方差這個方法，上網搜尋了下，對於損失函式，還是有幾種選擇。請檢視。機器學習或者統計...
第二章 第三節
cpu訪問記憶體單元時要給出記憶體單元的位址，所有的記憶體單元構成的儲存空間是乙個一維的線性空間，我們將這個唯一的位址成為實體地址。概括的講，16位的cpu具有以下幾個方面特徵 1 運算器一次最多可以處理16位的資料。2 暫存器的最大寬度為16位。3 暫存器和運算器之間的通路為16位。8086有20...
第二章 第三節 運算子（一）
零 算術運算子 顧名思義，算術運算子就是用來進行算數運算的一些符號。那麼算術運算子包含哪些呢？除了有我們常用的加 減 乘 除外，還有取模 冪 取整除，這些運算子的解釋詳解見下表。設定變數 x 1，y 2 運算子名稱 說明例子 加 兩個物件相加 x y 輸出結果為3 減 乙個數減去另乙個數 y x 輸...