信息论与编码基础教学.pptx
《信息论与编码基础教学.pptx》由会员分享,可在线阅读,更多相关《信息论与编码基础教学.pptx(67页珍藏版)》请在咨信网上搜索。
1、信息论与编码基础信息论与编码基础离散信道离散信道一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理一、信道疑义度与平均互信息一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均互信息及其性质信息论与编码基础信息论与编码基础离散信道离散信道一、信道疑义度与平均互信息一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均互信息及其性质信息论与编码基础信息论与编码基础离散信道离散信道根据输入、输出信号的时间特性和取值特性离散信道连续信道半离散或半连续信道波形信道信道的分类数字信道根据信道的用户多少单用户信道多用户信道一对多、多对一多对多信
2、息论与编码基础信息论与编码基础离散信道离散信道根据信道转移概率的性质无扰信道有扰信道实际的通信信道几乎都是有扰信道无记忆信道有记忆信道实际信道一般都是有记忆的,信道中的记忆现象来源于物理信道中的惯性,如电缆信道中的电感或电容、无线信道中电波传播的衰落现象等。按信道统计特性恒参信道变参信道卫星信道短波信道根据信道噪声的性质高斯噪声信道非高斯噪声信道信道的分类信息论与编码基础信息论与编码基础离散信道离散信道离散信道的数学模型信道信道无扰(无噪)信道有扰信道无记忆信道有记忆信道信息论与编码基础信息论与编码基础离散信道离散信道信道信道单符号离散信道例例1 BSC信道信道BSC(p)信道信道是实际中几乎
3、所有重要的二进制脉冲传输系统的模型p为交叉为交叉(crossover)概率概率等于解调器/检测器出现硬判决译码错误的概率信息论与编码基础信息论与编码基础离散信道离散信道条件转移概率转移矩阵转移概率图XY0101pp1-p1-pXYa0arb0bsP(bj|ai)信息论与编码基础信息论与编码基础离散信道离散信道单符号离散信道一定比例的bit被删除,并且接收者知道是那些bit已经被删除。例2 二进制删除信道信息论与编码基础信息论与编码基础离散信道离散信道单符号离散信道一、信道疑义度与平均互信息一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均互信息及其性质信息论与编码
4、基础信息论与编码基础离散信道离散信道先验熵先验熵后验熵后验熵若信道中存在干扰时信道疑义度0H(X|Y)H(X)损失熵信息论与编码基础信息论与编码基础离散信道离散信道一、信道疑义度与平均互信息一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均互信息及其性质信息论与编码基础信息论与编码基础离散信道离散信道互信息互信息自信息条件自信息由于条件引入获得的信息量1)对称性I(ai;bj)=I(bj;ai)2)事件统计独立时I(ai;bj)=03)可正、可负4)I(ai;bj)I(ai)信息论与编码基础信息论与编码基础离散信道离散信道信息论与编码基础信息论与编码基础绪论绪论练
5、习练习:令随机变量x表示随机抽取人群中的性别,x0为男性,x1为女性。随机变量y表示随机抽取人是否抽烟,y0表示抽烟,y1表示不抽烟。(1)若(x,y)的联合概率分布如表11所示,求“已知抽取人为男性”,对“该人抽烟”提供的信息量。(2)若(x,y)的联合概率分布如表12所示,求“已知抽取人为男性”,对“该人抽烟”提供的信息量。本课小结本课小结2 2、信道疑义度、互信息、信道疑义度、互信息信息论与编码基础信息论与编码基础离散信道离散信道1 1、信道模型、信道模型BSC,BEC信息论与编码基础信息论与编码基础离散信道离散信道一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理一、信道疑义度
6、与平均互信息一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均互信息及其性质信息论与编码基础信息论与编码基础离散信道离散信道互信息互信息由于条件引入获得的信息量1)对称性I(ai;bj)=I(bj;ai)2)事件统计独立时I(ai;bj)=03)可正、可负4)I(ai;bj)I(ai)信息论与编码基础信息论与编码基础离散信道离散信道平均互信息平均互信息定义 令为信道输入X与输出Y之间的平均互信息平均互信息接收到每个输出符号后获得的关于X的平均信息量bit/sig互信息互信息信息论与编码基础信息论与编码基础离散信道离散信道信息传输率不确定性消除的多少获得信息量的大小
7、平均互信息是互信息的统计平均值。信息论与编码基础信息论与编码基础离散信道离散信道平均互信息平均互信息1、非负性利用詹森不等式信源信源加密加密信道信道解密解密信宿信宿密钥源密钥源全损信道全损信道信息论与编码基础信息论与编码基础离散信道离散信道2、极值性接收者通过信道获得的信息量不可能超过信源本身固有的信息量。0I(X;Y)H(X)信息论与编码基础信息论与编码基础离散信道离散信道3、对称性发出X后获得的关于Y的平均信息量信息论与编码基础信息论与编码基础离散信道离散信道4、与各类熵的关系损失熵损失熵噪声熵噪声熵散布度:表示信道输入信号由于干扰作用在输出端表现的散布范围。H(X|Y)H(Y|X)I(X
8、;Y)H(XY)H(X)H(Y)信息论与编码基础信息论与编码基础离散信道离散信道5、的凸函数性信息论与编码基础信息论与编码基础离散信道离散信道例1 设二元对称信道的输入概率空间为其信道特性如图,求平均互信息。定理定理在信道转移概率给定的条件下,平均互信息是输入信源概率分布的型凸函数。XY0101pp1-p1-p00.51I(X;Y)1-H(p)00.51H()1信源熵信源熵信息论与编码基础信息论与编码基础离散信道离散信道定理定理在输入信源概率分布给定的条件下,平均互信息是信道转移概率分布的型凸函数。例例1(续)(续)当p=0时当p=1时当p=1/2时00.51pI(X;Y)H()信息论与编码基
9、础信息论与编码基础离散信道离散信道思考题思考题令X,Y1,Y2为二进制随机变量,1)如果I(X;Y1)=0 且 I(X;Y2)=0,可否推出I(X;Y1,Y2)=0?试举例说明。2)如果 I(X;Y1)=0 且I(X;Y2)=0,是否可推出 I(Y1;Y2)=0?请说明。信息论与编码基础信息论与编码基础离散信道离散信道若三个离散随机变量,又如下关系其中X和Y相互统计独立。试证明:信息论与编码基础信息论与编码基础离散信道离散信道综合例题综合例题信息论与编码基础信息论与编码基础离散信道离散信道一、信道疑义度与平均互信息三、有噪信道编码定理定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 基础 教学
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【可****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【可****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。