之前看到tensorflow中文社群**（中訓練mnist資料集有乙個交叉熵函式，
首先訓練mnist資料集的演算法採用的是分類演算法，和我們上次模擬房價的線性回歸不一樣，對於分類演算法輸出值都是離散值，線性回歸演算法輸出是連續值，接下來我們講一下廣泛使用且典型的二元邏輯回歸演算法，邏輯回歸演算法的總體思路是將樣本進行聚類分類，同一類樣本放一起，將不同類的樣本分離，如下圖
對於二元邏輯回歸演算法中，其輸出值只能是0或者1。上節說到了線性回歸模型的數學模型，現給出邏輯回歸演算法的數學模型，
當
現已經給出了邏輯回歸演算法的數學模型，如果我們採用傳統的平方誤差函式，其畫出的代價函式圖就不會是乙個凸函式，而是有很多區域性最優點的歪歪扭扭的函式影象如下：
這類函式影象不是我們所想要的，因為有太多區域性最優點了，我們需要乙個全域性最優點並且曲線光滑，如下圖是我們所想要得到的代價函式曲線圖
為了達到盡可能使得曲線光滑以及盡可能使得類似於像這種一元二次函式，因此我們給出代價函式表示式如下表示：
這個代價函式是乙個分段函式，分別給出了y=0和y=1的代價函式圖，從圖中可以看出這個代價滿足了凸函式的要求且沒有區域性最優點，只有全域性最優點。
這是將分段函式組合成乙個函式的表示式，看到這裡應該明白了為什麼訓練mnist用了交叉熵函式，因為這是乙個分類問題，手寫數字0-9，對應十個0和1標籤，標籤在某乙個位置上為1代表對應的這個手寫數字。標籤值只有0和1，屬於離散值，交叉熵函式對應了y=1的分段函式。以上是本人的理解，希望對您有所幫助！
交叉熵損失函式理解
交叉熵損失函式的數學原理 我們知道，在二分類問題模型 例如邏輯回歸 logistic regression 神經網路 neural network 等，真實樣本的標籤為 0，1 分別表示負類和正類。模型的最後通常會經過乙個 sigmoid 函式，輸出乙個概率值，這個概率值反映了 為正類的可能性 概率...
邏輯回歸 交叉熵 softmax
softmax是一種歸一化函式，用於將向量中元素的值都歸一化0 1之間，並保持其加和為1。公示表達為 根據公式和可看出，前一層的啟用值越大，經過softmax函式後的值也就越大，又因為softmax的所有輸出加和為1，因此，常利用softmax層將啟用值與概率實現對映。多元分類 multi clas...
tensorflow 邏輯回歸與交叉熵
線性回歸 的是乙個連續值，邏輯回歸給出的 是 和 否 的回答 邏輯回歸 sigmoid函式是乙個概率分布函式，給定某個輸入，它將輸出為乙個概率值 多層感知器一層一層的往下對映，sigmoid 1,1 值 邏輯回歸損失函式 1.平方差所懲罰的是與損失為同一數量級的情形 1 mse刻畫它的損失非常不恰當...