信 息论工程基 础.ppt

单击此处编辑母版标题样式,*,信 息论工程基 础,石志国,北京科技大学 电子信息系,信息,F082,信息,F081,2007,1,2.,石志国,薛为民,尹浩,.,计算机网络安全教程,(,修订本,).,清华大学出版社,.2007,1(,第一版于,2006,年荣获第七届全国高校出版社优秀畅销书二等奖,),3.,石志国,李向前,薛为民,.C+,程序设计教程,.,清华大学出版社,.2005,8(,荣获,2006,年度全行业优秀畅销品种,(,科技类,),Email:,szg,办公室：机电信息楼,701,电话：,62334751/13910661167,2,课程安排,总学时,45,3,信息论的起源,信息论创立的标志是,1948,年香农发表的论文“,A Mathematical Theory of Communication”,4,香农简历,克劳德,艾尔伍德,香农（,Claude Elwood Shannon,，,1916,年,4,月,30,日,2001,年,2,月,26,日），美国数学家、信息论的创始人。密西根大学学士，麻省理工学院博士。,1916,年,4,月,30,日出生于美国密歇根州的加洛德（,Petoskey,）。,1936,年毕业于密歇根大学并获得数学和电子工程学士学位。,1940,年获得麻省理工学院（,MIT,）数学博士学位和电子工程硕士学位。,1941,年他加入贝尔实验室数学部，工作到,1972,年。,1956,年他成为麻省理工学院（,MIT,）客座教授，并于,1958,年成为终生教授，,1978,年成为名誉教授。,香农博士于,2001,年,2,月,26,日去世，享年,84,岁。,5,信息论的重要性,信息论是信息科学和技术的基本理论,信息科学大厦的地基,;,没有信息论的基础，从事通信与信息领域的研究和创新是不可能的事情,;,总之,信息论是高层次信息技术人才必不可少的基础知识。,6,信息工程基础,的基本内容,信息的含义与度量,信源的模型和特性,信源编码，提高信息含量,不同类型信道的模型和特性,信道编码，解决传送的可靠性问题,信息安全、密码学,7,教学目标,掌握信息传输、存储、处理与识别系统中关于信息的概念、度量、编码理论与方法，为有效而可靠的设计信息系统打下理论基础。要求,了解信息论与编码理论的作用与意义，对信息论与编码理论的研究方法有一定的基本认识。,充分理解、熟练掌握教材的内容,熟练掌握基本的信息理论概念和定理,熟练掌握通信与信息工程中基本研究对象的数学描述,通过学习和习题练习，具备一定的解决问题分析问题的能力,课堂例题要注意记笔记,。,掌握一定的科学思想方法,(,用信息论的思想和观点,),8,总学时分布,第一章 绪论,2,学时,第二章 信息的度量,6,学时,第三章 信源及信源熵,6,学时,第四章 信道及信道容量,6-8,学时,第五章 无失真信源编码,6-8,学时,第六章 有噪信道编码,6,学时,第七章 限失真信源编码,6,学时,总复习,2-4,学时,9,参考书籍,教材,李亦农、李梅，信息论基础教程，北京邮电大学出版社,视频材料,同济大学,信息论基础,36,学时视频,华中科技大学,信息论基础,45,学时视频,参考书：,信息论,-,基础理论与应用,傅祖芸,电子工业出版社,2001,信息论与编码,曹雪虹，清华大学出版社,2004,信息论理论基础,贾世楼,哈工大出版社,2001,信息理论基础,周荫清，北航出版社,2006,Elements of Information,theoryT,M Cover,New York:,Wiley,1991,Applied Coding and Information Theory for Engineers,Richard,B.Wells,Prentice-Hall,Inc.1999.,10,平时作业,10,分,课后作业：按时独立完成,总共,6,次作业，交作业时间为留作业下一周周五,课前交作业，允许两次作业缓交，不得超过,2,周,三次（包括）以上作业不交，课程总成绩最高,59,分,作业全交，并都获得优,-,以上，得满分,10,分,考勤,10,分,保证出勤，不旷课，不迟到早退。,允许两次（包括）书面请假（特殊情况当面说明），必须有假条，,上课前,找同学代交。随机抽取,10%,考勤，无故不到扣,3,分,/,次。扣完为止，靠勤分,信息量大,，即信息量是概率的单调递减函数；,此外，信息量应该具有可加性；,29,三 信息的概念和度量,由于信息量与概率成反比，并且具有可加性，可以证明，信息量的计算式为,信息的度量：,自信息量 的含义,当事件,发生以前，表示事件,发生的不确定性；,当事件,发生以后，表示事件,所提供的信息量；,其中，是事件 发生的概率，这也是香农关于,(,自,),信息量的度量,(,概率信息,),；,k,p,30,三 信息的概念和度量,信息的度量：,计算信息量主要要注意有关事件发生概率的计算；,例：从,26,个英文字母中，随即选取一个字母，则该事件的自信息量为,I=-log,2,(1/26)=4.7,比特,例：设,m,比特的二进制数中的每一个是等概率出现的,(,这样的数共有,2,m,个,),，则任何一个数出现的自信息为,:,I=-log,2,(1/2,m,)=m,比特,/,符号,31,三 信息的概念和度量,信息的度量：,自信息量的单位,自信息量的单位取决于对数的底；,底为,2,，单位为“比特（,bit,）”；,底为,e,，,单位为“奈特（,nat,）”；,底为,10,，单位为“哈特（,hat,）”；,1,nat,=1.44bit,1 hat=3.32 bit,；,32,三 信息的概念和度量,香农关于信息定义和度量的优点与局限,优点,它是一个科学的定义，有明确的数学模型和定量计算；,它与日常生活中关于信息的理解不矛盾；,它排除了对信息一词某些主观性的含义，是纯粹形式化的概念；,局限,这个定义的出发点是假设事物状态可用一个以经典集合论为基础的概率模型来描述，然而实际存在的某些事物运动状态很难用一个合适的经典概率模型来描述，甚至在某些情况下不存在这样的模型；,这个定义和度量没有考虑收信者的主观性和主观意义，也抛开了事物本身的具体含义、用途、重要程度和引起的后果等，这与实际不完全一致。,33,