神經網路模型的優化目標是通過損失函式(loss function)來定義的。交叉熵作為分類任務中經典的損失函式，本文將介紹其原理。
分類問題和回歸問題是監督學習的兩大種類。在分類問題上，通過神經網路解決分類問題常用的方法是設定n個輸出節點，n為類別的個數。這時候需要判斷輸出指標，損失函式解決了該如何確定乙個輸出向量和期望的向量有多接近的問題。
熵的本質是夏農資訊量的期望。
交叉熵刻畫的是兩個概率分布的距離，即通過概率分布q表達概率分布p的困難程度。我們通常以向量的形式表徵p和q兩個概率分布，那麼問題就轉化為向量p和q之間的距離有多近。
衡量向量見距離最常用的是一範數或二範數（方差代價函式），我們從二範數說起：
神經網路模型的優化目標是通過損失函式(loss function)來定義的。交叉熵作為分類任務中經典的損失函式，本文將介紹其原理。
對機器學習中資訊熵的理解 交叉熵損失函式
剛開始看id3 c4.5 cart等演算法時，不怎麼理解資訊熵，後來看了幾篇部落格時才發現可以拿來解釋我們常用的二分類損失函式。參考 資訊熵 l1 l2正則化與交叉熵 相對熵 機器學習 四 從資訊理論交叉熵的角度看softmax 邏輯回歸損失 資訊熵是拿來消除系統不確定性的，指代的是資訊的含量 資訊...
交叉熵損失函式理解
交叉熵損失函式的數學原理 我們知道，在二分類問題模型 例如邏輯回歸 logistic regression 神經網路 neural network 等，真實樣本的標籤為 0，1 分別表示負類和正類。模型的最後通常會經過乙個 sigmoid 函式，輸出乙個概率值，這個概率值反映了 為正類的可能性 概率...
理解交叉熵作為損失函式在神經網路中的作用
通過神經網路解決多分類問題時，最常用的一種方式就是在最後一層設定n個輸出節點，無論在淺層神經網路還是在cnn中都是如此，比如，在alexnet中最後的輸出層有1000個節點 而即便是resnet取消了全連線層，也會在最後有乙個1000個節點的輸出層 一般情況下，最後乙個輸出層的節點個數與分類任務的目...