條件熵的形式如下：
）這個形式與熵的定義形式，咋一看是衝突的，因為不是p(x|y),而是p(x,y)
但是，這個式子是沒有問題的，請看下圖
上面得到的計算公式是針對
y為乙個特殊值y時求得的熵。
也就是說，對條件概率p(x|y)求西格瑪x, 西格瑪y的時候，首先是固定y,對西格瑪x求和
這也符合條件概率的定義，p(x|y) 如果求西格瑪，好像不能先固定x，對y求和。這裡x是後驗，y之間沒有聯絡。所以只能先對x求和。
對x求完和之後，實際上這時h(x|yi) = h(x|y=yi)
h(x|y)=sigmap(y)h(x|y=yi)
也就是求期望。
綜上所述，對條件概率求條件熵的過程，先是固定乙個先驗概率y，對x求和。這樣算出來的是某個條件下的條件熵，然後再求期望,算出平均的條件熵。
條件熵，顧名思義，某條件下的熵，也就是說，先驗概率y預設就是固定的某個值，因此對所有的p(x|yi)按y取期望，可不正好符合定義嗎？
資訊熵 條件熵
1資訊熵以及引出條件熵 我們首先知道資訊熵是考慮該隨機變數的所有可能取值，即所有可能發生事件所帶來的資訊量的期望。公式如下 我們的條件熵的定義是 定義為x給定條件下，y的條件概率分布的熵對x的數學期望 這個還是比較抽象，下面我們解釋一下 設有隨機變數 x,y 其聯合概率分布為 條件熵h y x 表示...
熵與條件熵
熵 熵是表示隨機變數不確定性的度量，設x是乙個取有限個值的離散隨機變數，其概率分布為 則隨機變數x的熵定義為 若乙個隨機變數只有兩個值，那麼當x的分別為為p x1 p x2 0.5的時候，熵最大，變數也最不確定。條件熵設有隨機變數 x,y 其聯合概率分布為 這裡注意，這個條件熵，不是指的 舉個例子 ...
理解條件熵
1 資訊熵以及引出條件熵 我們首先知道資訊熵是考慮該隨機變數的所有可能取值，即所有可能發生事件所帶來的資訊量的期望。公式如下 我們的條件熵的定義是 定義為x給定條件下，y的條件概率分布的熵對x的數學期望 這個還是比較抽象，下面我們解釋一下 設有隨機變數 x,y 其聯合概率分布為 條件熵h y x 表...