信息论-信息熵.ppt

信信息息熵熵熵熵条条件件熵熵联联合合熵熵1.1.1.1.信息熵信息熵信息熵信息熵2.1.2 2.1.2 信息熵信息熵信息熵信息熵 已知单符号离散无记忆信源的数学模型已知单符号离散无记忆信源的数学模型定义：各离散消息自信息量的数学期望，即信源的定义：各离散消息自信息量的数学期望，即信源的平均信息量平均信息量平均信息量平均信息量。信源的信息熵；香农熵；无条件熵；熵函数；信源的信息熵；香农熵；无条件熵；熵函数；信源的信息熵；香农熵；无条件熵；熵函数；信源的信息熵；香农熵；无条件熵；熵函数；熵熵熵熵单位：单位：单位：单位：比特比特比特比特/符号符号符号符号例例:某地二月份天气构成的信源为某地二月份天气构成的信源为 由定义，该信源的熵为由定义，该信源的熵为总括起来，信源熵有三种物理含义：总括起来，信源熵有三种物理含义：信源熵信源熵H(X)表示表示信源输出后信源输出后信源输出后信源输出后，离散消息所提供，离散消息所提供的的平均信息量平均信息量平均信息量平均信息量。信源熵信源熵H(X)表示表示信源输出前信源输出前信源输出前信源输出前，信源的，信源的平均不确平均不确平均不确平均不确定度定度定度定度。信源熵信源熵H(X)反映了反映了变量变量变量变量X X的随机性的随机性的随机性的随机性。123例：有三个信源例：有三个信源X，Y，Z，其概率空间为其概率空间为可见可见 H(X)H(Y)H(Z)，信源符号的概率分布越信源符号的概率分布越均匀，则平均信息量越大，信源均匀，则平均信息量越大，信源X比信源比信源Y平均平均信息量大，信息量大，Z是确定事件，不含有信息量。是确定事件，不含有信息量。例：有一篇千字文章，假定每个字可从一万个汉例：有一篇千字文章，假定每个字可从一万个汉字中任选，则共有不同的千字文篇数为字中任选，则共有不同的千字文篇数为N=100001000=104000篇，按等概计算，平均每篇千字篇，按等概计算，平均每篇千字文可提供的信息量？文可提供的信息量？2.条件熵条件熵 思考：求条件熵思考：求条件熵时为什么要用联时为什么要用联合概率加权？合概率加权？例例:已已 知知 X，Y0，1，XY构构 成成 的的 联联 合合 概概 率率 为为：p(00)=p(11)=1/8，p(01)=p(10)=3/8,计算条件熵计算条件熵H(X/Y)。3.联合熵联合熵 12.1.3 信息熵的性质信息熵的性质证明：随机变量证明：随机变量X的概率分布满足的概率分布满足0p(xi)1，log2p(xi)0，所以所以H(X)0因每一项非负，所以必须是每一项为零等号才成立。因每一项非负，所以必须是每一项为零等号才成立。此时只有此时只有p(xi)=0或或p(xi)=1 时上式才成立，而时上式才成立，而所以只能有一个所以只能有一个p(xi)=1，而其他而其他p(xk)=0(ki)。这个信这个信源是一个确知信源，其熵等于零。源是一个确知信源，其熵等于零。非负性非负性 H(X)0其中等号成立的充要条件是当且仅当对某其中等号成立的充要条件是当且仅当对某i，p(xi)=1，其其余的余的p(xk)=0(ki)。对称性对称性对称性对称性2 当变量当变量 p(x1),p(x2),p(xn)的顺序任意互换时，熵函数的顺序任意互换时，熵函数的值不变，即的值不变，即信源中包含信源中包含n个不同离散消息时，信源熵个不同离散消息时，信源熵H(X)有有 当且仅当当且仅当X中各个消息出现的概率全相等时，上式中各个消息出现的概率全相等时，上式取等号。取等号。最大离散熵定理最大离散熵定理最大离散熵定理最大离散熵定理3证明：自然对数具有性质证明：自然对数具有性质对于单符号离散信源，当信源呈等概率分布时具有最大熵。对于单符号离散信源，当信源呈等概率分布时具有最大熵。对于单符号离散信源，当信源呈等概率分布时具有最大熵。对于单符号离散信源，当信源呈等概率分布时具有最大熵。确知信源的不确定度为零。确知信源的不确定度为零。确知信源的不确定度为零。确知信源的不确定度为零。确定性确定性确定性确定性4可加性可加性56香农辅助定理和极值性香农辅助定理和极值性 对于任意两个消息数相同的信源对于任意两个消息数相同的信源X和和Y，i=1,2,n,有有含义：任一概率分布对其他概率分布的自信息量含义：任一概率分布对其他概率分布的自信息量取数学期望，必大于等于本身的熵。取数学期望，必大于等于本身的熵。由上式可证明条件熵小于等于等于无条件熵，即由上式可证明条件熵小于等于等于无条件熵，即H(X/Y)H(X)二进制通信系统用符号二进制通信系统用符号“0”和和“1”，由于存在失真，传输时会产生误，由于存在失真，传输时会产生误码，用符号表示下列事件：码，用符号表示下列事件：u0：一个一个“0”发出；发出；u1：一个一个“1”发出；发出；v0：一个一个“0”收到；收到；v1：一个一个“1”收到；收到；给定下列概率：给定下列概率：p(u0)=1/2，p(v0/u0)=3/4，p(v0/u1)=1/2，求求 （1）已知发出一个）已知发出一个“0”，收到符号后得到的信息量；，收到符号后得到的信息量；（2）已知发出的符号，收到符号后得到的信息量；）已知发出的符号，收到符号后得到的信息量；（3）知道发出的和收到的符号能得到的信息量；）知道发出的和收到的符号能得到的信息量；（4）已知收到的符号，被告知发出的符号能得到的信息量；）已知收到的符号，被告知发出的符号能得到的信息量；作业：作业：2.3 2.42.3 2.3 居住某地区的女孩子有居住某地区的女孩子有25%25%是大学生，在是大学生，在女大学生中有女大学生中有75%75%是身高是身高160160厘米以上的，而女厘米以上的，而女孩子中身高孩子中身高160160厘米以上的占总数的一半。假厘米以上的占总数的一半。假如我们得知如我们得知“身高身高160160厘米以上的某女孩是大厘米以上的某女孩是大学生学生”的消息，问获得多少信息量？的消息，问获得多少信息量？2.4 2.4 设离散无记忆信源设离散无记忆信源，其发出的信息为，其发出的信息为(20212013021300120321011032101002103201122321(202120130213001203210110321010021032011223210)0)，求，求(1)(1)此消息的自信息量是多少？此消息的自信息量是多少？(2)(2)此消息中平均每符号携带的信息量是多少？此消息中平均每符号携带的信息量是多少？