分類問題和回歸問題是監督學習的兩大類，將介紹分類問題中使用的經典損失函式。
通過神經網路解決多分類問題最常用的方法是設定n個輸出節點，其中n為類別的個數。對於每乙個樣例，經過網路處理，可以得到乙個n維陣列作為輸出結果，陣列中的每乙個維度，也即是每乙個輸出節點，對應乙個類別。以識別數字 1 為例子，網路輸出結果越接近於[0,1,0,0,0,0,0,0,0,0]越好。
那麼如何判斷乙個輸出向量和期望向量有多接近呢？交叉熵是常用的評判方法之一。。它刻畫了兩個概率分布之間的距離。它是分類問題中常用的一種損失函式。
然而神經網路的輸出卻不一定是個概率分布，如何將神經網路前向傳播得到的結果也變成乙個概率分布呢？softmax回歸就是乙個常用的方法。
假設原始的神經網路輸出為z1,z2,z3,...,zn. 那麼經過softmax回歸處理之後的輸出為：
注意交叉熵刻畫的是兩個概率分布之間的距離，給定兩個概率p和q，p代表正確答案，q代表**值。通過q來表示p的交叉熵為：
h(p,q)=
交叉熵越小，兩個概率分布越接近。
eg：假設現在有乙個三分類問題，某個樣例的正確答案是（1，0，0），某個模型經過softmax回歸之後的**答案是（0.5，0.4，0.1）./那麼這個**和正確答案之間的交叉熵為
h（（1，0，0），（0.5，0.4，0.1）） = -（1*log0.5 + 0*log0.4 + 0*log0.1 ）= 0.3(約等於)
另外乙個模型**值為（0.8，0.1，0.1），那麼交叉熵為0.1，明顯這個模型優於上乙個。
2. 學習速率
梯度下降演算法中，最合適即每次跟著引數θ變化的時候，j(θ)的值都應該下降 到目前為止，我們還沒有介紹如何選擇學歷速率α，梯度下降演算法每次迭代，都會受到學習速率α的影響
1.如果α較小，則達到收斂所需要迭代的次數就會非常高；
2.如果α較大，則每次迭代可能不會減小代價函式的結果，甚至會超過區域性最小值導致無法收斂。
dropout是神經網路中最為常用的一種防止過擬合的方法。dropout的原理非常簡單，在進行前向傳播和反向傳播時，隨機的將一些神經元進行失活，使其不起作用。這樣可以簡化神經網路，防止神經網路學的一些雜訊特徵。通常使神經元失活的比例為0.5，即每次訓練時使一半 的神經元失活。使用dropout需要注意的是在測試時每個神經元要乘以這個神經元失活的概率，這樣做是為了使的訓練期望結果和測試期望結果是一致的，
損失函式 損失函式 Hinge
本文討論hinge損失函式，該函式是機器學習中常用的損失函式之一。在機器學習中，hinge loss是一種損失函式，它通常用於 maximum margin 的分類任務中，如支援向量機。數學表示式為 其中 表示 輸出，通常都是軟結果 就是說輸出不是0，1這種，可能是0.87。表示正確的類別。其函式影...
監督學習簡介 損失函式與風險函式
監督學習 supervised learning 的任務是通過訓練資料學習乙個模型，使模型能夠對任意未知的輸入，對其相應的輸出做出乙個好的 值與真實值相近 下面介紹一下監督學習中常用的幾個空間 1.在監督學習中，將輸入與輸出所有可能取值的集合分別稱為輸入空間和輸出空間。2.每個具體的輸入是乙個例項，...
常見損失函式 損失函式選擇方法
神經網路的學習通過某個指標表示現在的狀態，然後以這個指標為基準，尋找最優權重引數，這個指標就是損失函式 loss function 如上介紹，神經網路損失函式 loss function 也叫目標函式 objective function 的作用 衡量神經網路的輸出與預期值之間的距離，以便控制 調節...