一.交叉熵損失函式形式
現在給出三種交叉熵損失函式的形式，來思考下分別表示的的什麼含義。
--式子1
--式子2
--式子3
解釋下符號，m為樣本的個數，c為類別個數。上面三個式子都可以作為神經網路的損失函式作為訓練，那麼區別是什麼？
tensorflow中的函式為： tf.nn.softmax_cross_entropy_with_logits
■2》式子2，用於那些類別之間不存在互斥關係(如:一張中可有貓和狗兩種以上的類別同時存在)的多工學習分類中。最後一層的每個節點不在是softmax函式的輸出了，而是sigmoid。把每個節點當成乙個完整的分布，而式子1是所有節點組合程乙個完整分布。
tensorflow中的函式為：tf.nn.sigmoid_cross_entropy_with_logits
■3》式子3，用於最後一層只有乙個節點的二分類任務
二.交叉熵損失意義
1.資訊量
意義：如果乙個事件發生的概率為p,那麼獲知該資訊發生能給到我們
的資訊量(可以理解為意外程度)
例子：巴西跟中國桌球比賽，歷史上交手64次，其中中國獲勝63次，那麼63/64是賽前普遍認為中國隊獲勝的概率，那麼這次中國獲勝的資訊量有多大？
如果這次是巴西獲勝，那麼帶給我們的資訊量為：
單位：bit
如果一件事件的發生概率為：100%，帶給我們的資訊量為：0
通俗點講就是，如果一件事情，本身發生的概率很大，如果再次發生，我們並沒有覺得有什麼好奇的。但是一件發生概率很小的事情發生了，我們就會非常驚訝，它能給到我們的資訊就越有價值。例如：太陽每天都是從東邊出來，這個概率幾乎是1，所以我們都其以為常，沒什麼好驚訝的，但是某天太陽從西邊出來了，這個時候，打破了我們的常識，這個概率非常小的事件居然發生了，我們就會非常驚訝，它給我們資訊量是非常大的，也許我們可以根據這個現象發現一種新的東西。
2.資訊熵
意義：用來做資訊的雜亂程度的量化描述。
定義：1.中國隊獲勝概率: 63/64，巴西獲勝概率：1/64，那麼資訊熵為：
2.中國隊獲勝概率: 1/2，巴西獲勝概率：1/2，那麼資訊熵為：
3.中國隊獲勝概率: 1，巴西獲勝概率：0，那麼資訊熵為：
結論：資訊越確定，越單一，資訊熵就越小，
資訊越不確定，越混亂，資訊熵就越大。
注意：這裡的log以2為底，實際上可以與e,10等其他為底，主要對比的時候統一就好。從計算機角度來看，計算機只有0，1兩位，用2比較符合。
3.交叉熵
意義：衡量真實分布和**的分布的差異情況
離散形式為：
其中，p(x)為真實概率，q(x)為**概率
從資訊量的角度，如果是真是真實的概率，那麼給到我們的資訊熵為：
如果是**分布，改到我們資訊熵(可以簡單理解為資訊量)為：
資訊熵的差異為：
這也叫：k-l散度
可以看出，只有當q(x)=p(x)時候差異為：0
問題：為什麼大多數情況，我們都用交叉熵而不是k-l散度作為損失函式？
我來分析下：仔細觀察k-l散度，如果是多分類時候，one-hot形式【0，1，0，0】，那麼把p(x)=0，1，0，0，帶入k-l散度函式，那麼其實跟交叉熵形式是一樣的。
例如：在多乙個4分類任務時候，計算其中乙個樣本的第2個類別損失，其one-hot形式，【0，1，0，1】，模型**出來的概率分布為：【0.1，0.6，0.2，0.1】
那麼如果是k-l散度作為損失，那麼:
實際就是：-p(x)*log(q(x))
這下明白了吧。
參考：3.書籍《白話大資料》第六章資訊理論
交叉熵損失函式
公式 分類問題中，我們通常使用 交叉熵來做損失函式，在網路的後面 接上一層softmax 將數值 score 轉換成概率。如果是二分類問題，我們通常使用sigmod函式 2.為什麼使用交叉熵損失函式？如果分類問題使用 mse 均方誤差 的方式，在輸出概率接近0 或者 接近1的時候，偏導數非常的小，學...
交叉熵損失函式
監督學習的兩大種類是分類問題和回歸問題。交叉熵損失函式主要應用於分類問題。先上實現 這個函式的功能就是計算labels和logits之間的交叉熵。tf.nn.softmax cross entropy with logits logits y,labels y 首先乙個問題，什麼是交叉熵？交叉熵 c...
損失函式 交叉熵
給定兩個概率分布p和q，通過q來表示p的交叉熵為 h p q xp x l ogq x large h p,q sum p x logq x h p,q x p x log q x 交叉熵刻畫的是兩個概率分布之間的距離，或可以說它刻畫的是通過概率分布q來表達概率分布p的困難程度，p代表正確答案，q代...