交叉熵到底是如何來定義損失函式的呢？首先看下面的公式：
不用完全對著上圖公式看，因為我的解釋沒有加上log和-號，你只要看懂文字，加log和-號是一回事
q()表示神經網路的**值
p()表示樣本屬於某一類（ground truth）的概率：這個是真實值，什麼意思呢？
(1)就是我輸入乙個貓的，這個時候如果q(x=狗)**這個為x=狗的概率是0.8，但是p()這個這個真實值，在x=狗的時候p(x=狗)=0，所以一切**是其他類的結果都等於0，那麼只有**貓的概率的時候才不等於0，如下（2）
(2)q()**這個為貓的概率為0.2即q(x=貓)=0.2這個時候因為輸入的就是貓所以真實值p(x=貓)=1，
(3)在上面(2)的基礎上，p(x=貓)×q(x=貓)=1×0.2=0.2,要使**準確，你就必須使得q(x=貓)=1，即loss=1*1=1，所以只要訓練神經網路loss=1就可以了
深度學習之softmax回歸
前言 softmax回歸 首先，我們看一下sigmod啟用函式，如下圖，它經常用於邏輯回歸，將乙個real value對映到 0,1 的區間 當然也可以是 1,1 這樣可以用來做二分類。接下來，我們再看一下softmax函式，其函式型別如下 那麼，softmax又是怎麼實現的呢？softmax把乙個...
交叉熵與Softmax
分類問題中，交叉熵常與softmax結合使用，交叉熵能夠衡量同乙個隨機變數中的兩個不同概率分布的差異程度，在機器學習中就表示為真實概率分布與 概率分布之間的差異。交叉熵的值越小，模型 效果就越好。資訊是用來消除隨機不確定性的東西 資訊量大小與資訊發生的概率成反比，概率越大，資訊量越小 概率越小，資訊...
Softmax函式與交叉熵
在logistic regression二分類問題中，我們可以使用sigmoid函式將輸入wx b對映到 0,1 區間中，從而得到屬於某個類別的概率。將這個問題進行泛化，推廣到多分類問題中，我們可以使用softmax函式，對輸出的值歸一化為概率值 這裡假設在進入softmax函式之前，已經有模型輸出...