1.設x是乙個隨機變數,取值範圍是乙個包含m個字母的符號集。證明0<=h(x)<=log2m 。
證明:當m個字母完全相同時,即m=1時,
h(x)=-∑(p(xi)*log2p(xi))=0,
此時h(x)最小;
當m個字母不相同時,即m>1時,且每個字母概率出現相等;
h(x)=-∑(p(xi)*log2p(xi))=-m(1/m*log2m)=log2m,
此時h(x)最大。
得證:0≤h(x)≤log2m
2.證明如果觀察到乙個序列的元素為iid分步,則該序列的熵等於一階熵。
證明:因為熵h(x)=limn→∞1/n*gn
gn=-∑i1=1i1=m∑i2=1i2=m.....∑in=1in=mp(x1=i1,x2=i2,....xn=in)*logp(x1=i1,x2=i2,....xn=in)
因為該序列被觀察到每個元素是獨立同(idd)分布的,所以
gn=-n∑i1=1i1=mp(x1=i1)*logp(x1=i1),則
h(x)=-∑p(x1=i1)*logp(x1=i1)為一階熵。
3.給定符號集a=,求一下條件下的一階熵:
(a)p(a1)=p(a2)=p(a3)=p(a4)=1/4
(b)p(a1)=1/2,p(a2)=1/4,p(a3)=p(a4)=1/8
(c)p(a1)=0.505,p(a2)=1/4,p(a3)=1/8,p(a4)=0.12
解:(a)
h(a)=-∑p(ai)*logp(ai)=-4*(1/4*log21/4)=2
(b)h(a)=-∑p(ai)*logp(ai)=-(1/2*log21/2+1/4*log21/4+2*1/8*log21/8)=7/4
(c)h(a)=-∑p(ai)*logp(ai)=-(0.505*log20.505+1/4*log21/4+1/8*log21/8+0.12*log20.12)
=1/2+3/8-0.505*log20.505-0.12*log20.12
=7/8-0.505*log20.505-0.12*log20.12
第二次作業
execise02 1.查詢85年以後出生的學生姓名 性別和出生日期 2.列表顯示所有可能的學生選課組合 學號 課程號 3.查詢1 2 4班中陳姓同學的資訊 4.查詢所有及格的學生姓名 所選課程名及所得分數 5.統計各門課程的及格人數 課程編號 課程名 及格人數 6.統計各門課程的總人數 及格人數和...
第二次作業
第一題 p1 1 遞迴寫法,效率低 include 1.寫乙個函式返回引數值為1的個數 比如 15 0000 1111 4個1 程式原型 int count one bits unsigned int value int fuc int x else return 0 void mainp1 p1 ...
第二次作業
檔名稱 516.cpp 作 者 闕文榮 完成日期 2016 年 3 月 11 日 版 本 號 v1.1 對任務及求解方法的描述部分 用while語句控制輸出 輸入描述 略 問題描述 現在北京有一套房子,200萬,假設房價每年 10 乙個軟體工程師每年固定能賺40萬。他想買這套房子,多大的 率能夠忍受...