2019医学IDT第五章2..ppt

第十三讲第十三讲2003年年6月月5/1/202415.1.2信道容量信道容量 1如何刻画如何刻画DMC信道的容量信道的容量?考虑一个考虑一个DMC信道，其输入字符集是信道，其输入字符集是X=x0，x1，xq-1，输出字符集是输出字符集是Y=y0,y1，yQ-1，转移概率转移概率P（yjxi）.若给定信道的转若给定信道的转移概率和对应于输入符号的概率分布移概率和对应于输入符号的概率分布p（xi）,则则DMC信道容量信道容量C为为5/1/20242说明说明:(1)两个公式两个公式(2)限制条限制条件件:5/1/20243(3)信道容量单位信道容量单位a.C的单位是信道上每传送一个符号（每使用一次信的单位是信道上每传送一个符号（每使用一次信道）所能携带的比特数，即比特符号（道）所能携带的比特数，即比特符号（bitssymbol或或bitschanneluse）。）。b.以以e为底取自然对数时，信道容量的单位变为奈特为底取自然对数时，信道容量的单位变为奈特符号（符号（natssymbol）。）。c.如果已知符号传送周期是如果已知符号传送周期是T秒，也可以秒，也可以“秒秒”为单为单位来计算信道容量，此时位来计算信道容量，此时CsCT，以比特以比特/秒秒（bitss）或奈特或奈特/秒（秒（natss）为信道容量单位。为信道容量单位。5/1/20244(4)转换计算式转换计算式若将若将Px=p（x0）,p（x1），），.，p（xq-1）定定义为输入符号的概率矢量义为输入符号的概率矢量Px，关系式关系式I(X;Y)H(X)-H(X/Y)H(Y)-H(Y/X)可得可得:5/1/20245信道容量是否存在信道容量是否存在?定理：定理：给定转移概率矩阵给定转移概率矩阵P后，平均互信后，平均互信息息I(X;Y)是概率矢量是概率矢量Px的上凸函数。的上凸函数。(证证明略明略)用用I(Px)表示表示I是是Px的函数，则在的函数，则在I(Px)曲曲线上凸点所对应的输入符号概率矢量线上凸点所对应的输入符号概率矢量Px上，上，I(Px）取得了极大值，这个极大值就取得了极大值，这个极大值就是信道容量。是信道容量。5/1/20246如何计算信道容量如何计算信道容量?（1）对称）对称DMC信道的容量信道的容量什么叫对称什么叫对称DMC信道信道?如果转移概率矩阵如果转移概率矩阵P的每一行都是第一行的的每一行都是第一行的置换（包含同样元素），称该矩阵是输入对称置换（包含同样元素），称该矩阵是输入对称的；如果转移概率矩阵的；如果转移概率矩阵P的每一列都是第一列的每一列都是第一列的置换（包含同样元素），称该矩阵是输出对的置换（包含同样元素），称该矩阵是输出对称的；如果输入、输出都对称，则称该称的；如果输入、输出都对称，则称该DMC为为对称的对称的DMC信道。信道。5/1/20247例如：例如：5/1/20248有扰的对称有扰的对称DMC信道性质：信道性质：对称信道的条件熵对称信道的条件熵H（YX）与信道与信道输入符号的概率分布无关，且有输入符号的概率分布无关，且有H（YX）H（Yxi），），i0，1，q-1。5/1/20249当信道输入符号等概分布时，信道输出当信道输入符号等概分布时，信道输出符号也等概分布；符号也等概分布；反之，若信道输出符号等概分布，信道反之，若信道输出符号等概分布，信道输入符号必定也是等概分布。输入符号必定也是等概分布。5/1/202410当信道输入符号等概分布时，对称当信道输入符号等概分布时，对称DMC信道达到其信道容量，为信道达到其信道容量，为证明证明:由于对称信道的条件熵由于对称信道的条件熵H（YX）与信与信道输人符号的概率分布无关，所以道输人符号的概率分布无关，所以5/1/202411 于是问题就简化为求于是问题就简化为求H（Y）。）。由由信信息息论论原原理理，当当输输出出符符号号集集的的各各符符号号等概出现时可得最大信源熵，即等概出现时可得最大信源熵，即H（Y）logQ或者或者maxH（Y）=logQ 5/1/202412（2）BSC信道的容量信道的容量 如何确定如何确定BSC的信道容量的信道容量?对对于于转转移移概概率率为为p(0/1)=P（1/0）=P及及P（0/0）=p（1/1）=1-P的的BSC信信道道而而言言，当当输输出出概概率率p（y0）=P（y1）=0.5时时其其平平均均互互信信息息最最大大。所所以以，BSC的信道容量是的信道容量是C=p(x0)p(0/0)logp(0/0)/0.5+p(x0)p(1/0)logp(1/0)/0.5+p(x1)p(0/1)logp(0/1)/0.5+p(x1)p(1/1)logp(1/1)/0.5=plog2p+(1-p)log2(1-p)5/1/202413说明：说明：1)C随随p变化的曲线如图变化的曲线如图5-1-4所示。所示。由图可知，由图可知，p=0时的信道容量是时的信道容量是1比特比特每符号（每符号（lbitSymbol）；）；当当p=1/2时，从输出得不到关于输入时，从输出得不到关于输入的任何信息，互信息为的任何信息，互信息为0即信道容量是零。即信道容量是零。对于对于1/2pl的情况，可在的情况，可在BSC的输的输出端颠倒出端颠倒0和和1，导致信道容量以，导致信道容量以p=1/2点为中心对称。点为中心对称。5/1/2024142)从信息论的角度看，平均的条件自信息即条从信息论的角度看，平均的条件自信息即条件熵件熵H（X/Y）可以解释为由于信道干扰和噪声可以解释为由于信道干扰和噪声所造成的平均信息量的损伤。所造成的平均信息量的损伤。如果如果BSC信道中信道中p(0/1)=p(1/0)=p=0,即无误即无误码概率，那么从接收的码概率，那么从接收的Y可完全确定发送的可完全确定发送的X，信道的介入没有产生任何损伤或模糊度，因信道的介入没有产生任何损伤或模糊度，因此条件熵此条件熵H（X/Y）0。若若H（X/Y）0，必有必有I（X;Y）H（X），），互信息等于输人符号的信息熵。互信息等于输人符号的信息熵。换言之，信道上传送的信息量正是输人信换言之，信道上传送的信息量正是输人信号的全部信息量，相当于信道容量为号的全部信息量，相当于信道容量为1。5/1/202415 3)当当X和和Y统计独立时，接收的统计独立时，接收的Y完全与发送完全与发送的的X无关，此时无关，此时P=0.5及及H（X/Y）=H（X），），说明损失的信息达到与输人符号信息熵相等说明损失的信息达到与输人符号信息熵相等的程度。可得的程度。可得I（X;Y）=0或或C0，即信道上即信道上没能传送任何信息没能传送任何信息。5/1/202416（3）准对称）准对称DMC信道的容量信道的容量 什么叫准对称什么叫准对称DMC信道信道?如果转移概率矩阵如果转移概率矩阵P是输入对称而输出不对是输入对称而输出不对称，即转移矩阵称，即转移矩阵P的每一行都包含同样的元素的每一行都包含同样的元素而各列的元素可以不同，则称该矩阵是而各列的元素可以不同，则称该矩阵是准对称准对称DMC信道。信道。例如例如，矩阵，矩阵 就是准对称的就是准对称的DMC信道。信道。5/1/202417计算准对称计算准对称DMC信道的容量信道的容量准对称准对称DMC信道的容量信道的容量 当信道输入符号等概分布时，准对称当信道输入符号等概分布时，准对称DMC信道达到其信道容量信道达到其信道容量C。5/1/202418例例5-1-1 已知一个信道的信道转移矩阵为已知一个信道的信道转移矩阵为 。求该信道的容量。求该信道的容量。5/1/202419解：解：信道输入符号有两个，信道输入符号有两个，p(x)=,p(x)=1-设信道输出符号有三个，用设信道输出符号有三个，用y1,y2，y3表表示。由示。由p(xi,yj)=p(xi)p(yj/xi)得联合概率得联合概率的矩阵为的矩阵为5/1/202420由由得得p(y1)=0.5+0.3(1-)=0.3+0.2p(y2)=0.3+0.5(1-)=0.5-0.2p(y3)=0.2+0.2(1-)=0.2其中其中p（y3）恒定，与恒定，与xi的分布无关的分布无关。5/1/202421I（X;Y）H（y）-H（Y/X）由 得 0.2ln(0.3+0.2 )-0.2+0.2ln(0.5-0.2 )+0.2=0解得 l/2，即输入符号分布等概率时，I（X;Y）达到极大值。所以信道容量为 C=maxI（X;Y）0.036比特符号 此时输出符号的概率为 p（y1）=p（y2）0.4，p（y3）=0.2。5/1/202422（4）一般）一般DMC信道的容量信道的容量 为为使使I（X;Y）最最大大化化以以便便求求取取DMC容容量量，输输入入概概率率集集p（xi）必须满足的充分和必要条件是必须满足的充分和必要条件是I（xi;Y）C对于所有满足对于所有满足p（xi）0条件的条件的iI（xi;Y）C对于所有满足对于所有满足p（xi）=0条件的条件的I这里这里5/1/2024232离散时间无记忆信道的容量离散时间无记忆信道的容量 对加性高斯白噪声信道对加性高斯白噪声信道,如果如果DMC信道的输入信道的输入字符集为离散输入字符集为离散输入X=x0,x1,xq-1、连续输连续输出出Y=-,的离散时间无记忆信道的离散时间无记忆信道,信道容量信道容量为为5/1/2024243带限波形信道的容量带限波形信道的容量 一个受加性高斯白噪声干扰的带限波形一个受加性高斯白噪声干扰的带限波形信道容量为信道容量为5/1/202425如何求加性高斯白噪声干扰的带限波形信道在如何求加性高斯白噪声干扰的带限波形信道在平均功率受限条件下的信道容量平均功率受限条件下的信道容量?(香农公式香农公式)如果把输入、输出和噪声波形如果把输入、输出和噪声波形x(t)、y(t)和和n(t)展开成一个正交函数的完备集，可以展开成一个正交函数的完备集，可以得到与展开式对应的一组系数得到与展开式对应的一组系数xiyi和和ni，然后利用展开式中的系数来描述信然后利用展开式中的系数来描述信道特征。令道特征。令XN=x1,x2,xN及及YN=y1,y2,yN,这里这里N=2WT,yi=xi+ni 5/1/202426则加性高斯白噪声信道则加性高斯白噪声信道XN和和YN之间的平之间的平均互信息是均互信息是式中式中5/1/202427当当xi是统计独立是统计独立,零均值的高斯随机变量时零均值的高斯随机变量时,即即5/1/202428如果对如果对x(t)的平均功率加以限制的平均功率加以限制,即即 于是有于是有5/1/202429单位时间的信道容量单位时间的信道容量5/1/202430说明：说明：1)如果在带宽如果在带宽W一定时一定时,C随着随着SNR增加而增加而增加增加.2)如果如果SNR固定固定,C随着随着W增加而增加增加而增加.3)如何求如何求C无限带宽加性高斯白噪声波形无限带宽加性高斯白噪声波形信道的容量信道的容量?由由ln(1+x)x(x很小时很小时),W,CC5/1/2024314)单位带宽的信道容量单位带宽的信道容量5/1/202432编码调制的设计有两条基本途径编码调制的设计有两条基本途径是什么是什么?一条是代数途径一条是代数途径，即运用编，即运用编,解码技术来解码技术来设计特定种类的码，比如分组码、卷积码设计特定种类的码，比如分组码、卷积码等。等。第二条途径是采用概率方法第二条途径是采用概率方法，在给定信，在给定信道特性的条件下对编码信号的性能作统计道特性的条件下对编码信号的性能作统计分析，求出差错概率的上下限边界，其中分析，求出差错概率的上下限边界，其中最优码所能达到最优码所能达到的差错概率的上界，称作的差错概率的上界，称作随随机码界机码界，第二节 有扰离散信道的编码定理5/1/2024335.2.1随机编码随机编码 5/1/202434