信道容量知识总结.doc

信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。对不同的输入概率分布，互信息一定存在最大值。我们将这个最大值定义为信道的容量。一但转移概率矩阵确定以后，信道容量也完全确定了。尽管信道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。我们将不同的输入概率分布称为试验信源，对不同的试验信源，互信息也不同。其中必有一个试验信源使互信息达到最大。这个最大值就是信道容量。
　　信道容量有时也表示为单位时间内可传输的二进制位的位数（称信道的数据传输速率，位速率），以位/秒（b/s）形式予以表示，简记为bps。

通信的目的是为了获得信息，为度量信息的多少（信息量），我们用到了熵这个概念。在信号通过信道传输的过程中，我们涉及到了两个熵，发射端处信源熵——即发端信源的不确定度，接收端处在接收信号条件下的发端信源熵——即在接收信号条件下发端信源的不确定度。接收到了信号，不确定度小了，我们也就在一定程度上消除了发端信源的不确定性，也就是在一定程度上获得了发端信源的信息，这部分信息的获取是通过信道传输信号带来的。如果在通信的过程中熵不能够减小（不确定度减小）的话，也就没有通信的必要了。最理想的情况就是在接收信号条件下信源熵变为0（不确定度完全消失），这时，发端信息完全得到。
　　通信信道，发端 X，收端 Y。从信息传输的角度看，通过信道传输了 I(X;Y)=H(X)-H(X|Y) ,( 接收Y前后对于X的不确定度的变化)。 I该值与两个概率有关， p(x),p(y|x)，特定信道转移概率一定，那么在所有 p(x) 分布中，max I(X;Y)就是该信道的信道容量C(互信息的上凸性）。

信道容量（Channel capacity，又译通道容量）的单位为比特每秒、奈特每秒等等。[1] [2]在电机领域、计算机科学领域、消息理论中，信道容量是指在一个通信信道中能够可靠地传送信息时可达至的最大速率上限。
根据有噪信道编码定理，一个已知通道的信道容量，则是指在一个有限的传送速率中可达到任意小的错误率。
香农在第二次世界大战期间发展出信息论，为信道容量提了定义，并且提供了计算信道容量的数学模型。香农指出，信道容量是信道的输入与输出的互信息量的最大值，这一最大取值由输入信号的概率分布决定。[3]

X代表已传送信号的随机变量空间，Y代表已收到信号的随机变量空间。

代表已知X的情况下Y的条件机率。我们先把通道的统计特性当作已知，pY | X(y | x)就是通道的统计特性。而X与Y的分布性质： 联合分布：

边缘分布：

信道容量-正文

　　信道能无错误传送的最大信息率。对于只有一个信源和一个信宿的单用户信道，它是一个数，单位是比特每秒或比特每符号。它代表每秒或每个信道符号能传送的最大信息量，或者说小于这个数的信息率必能在此信道中无错误地传送。对于多用户信道，当信源和信宿都是两个时,它是平面上的一条封闭线,如图中的OC1ABC2O。坐标R1和R2分别是两个信源所能传送的信息率,也就是R1和R2落在这封闭线内部时能无错误地被传送。当有m个信源和信宿时，信道容量将是m 维空间中一个凸区域的外界“面”。
信道容量
　　单用户信道容量 　信道是由输入集A、输出集B和条件概率P(y│x)，y∈B,x∈A所规定的。当B是离散集时，归一性要求就是

当B是连续集时,P(y│x)应理解为条件概率密度，上式就成为积分形式。如A和B都是离散集，信道所传送的信息率（每符号）就是输出符号和输入符号之间的互信息

互信息与P(y│x)有关，也与输入符号的概率P(x)有关，后者可由改变编码器来变动。若能改变P(x)使I(X;Y)最大，就能充分利用信道传输信息的能力，这个最大值就称为单用户信道容量C，即

式中∑为所有允许的输入符号概率分布的集。
　　当A或B是连续集时，相应的概率应理解为概率密度，求和号应改为积分，其他都相仿。
　　多用户信道容量 　多用户信道容量问题要复杂一些。以二址接入信道为例， 这种信道有两个输入 X2∈A1和X2∈A2，分别与两个信源联结,发送信息率分别为R1和R2；有一个输出Y,用它去提取这两个信源的信息。若信道的条件概率为P(y│x1,x2)，则

式中I(X1;Y│X2)为条件互信息，就是当X2已确知时从Y中获得的关于X1的信息； I（X2;Y│X1）的意义相仿；I(X1,X2;Y)为无条件互信息，就是从Y中获得的关于X1和X2的信息。E1和 E2分别为所有允许的输入符号的概率分布P1(x1)和P2(x2)的集。
　　当X1和X2相互独立时,这些条件互信息要比相应的无条件互信息大,因此两个信息率R1和R2的上界必为上面三个式子所限制。若调整P1(x1)和P2(x2)能使这些互信息都达到最大，就得到式中的C1，C2，C0。

因此R1和R2的范围将如图中的一个截角四边形区域,其外围封闭线就是二址接入信道的容量上界。m址接入信道有类似的结果。更一般的多用户的情况还要复杂。
　　要使信道容量有确切的含义，尚须证明相应的编码定理，就是说当信息率低于信道容量时必存在一种编码方法，使之在信道中传输而不发生错误或错误可任意逼近于零。已经过严格证明的只有无记忆单用户信道和多用户信道中的某些多址接入信道和退化型广播信道。对某些有记忆信道，只能得到容量的上界和下界，确切容量尚不易规定。
　　计算 　为了评价实际信道的利用率，应具体计算已给信道的容量。这是一个求最大值的问题。由于互信息对输入符号概率而言是凸函数，其极值将为最大值，因此这也就是求极值的问题。对于离散信道，P(x)是一组数，满足非负性和归一性等条件，可用拉格朗日乘子法求得条件极值。对于连续信道，P(x)是一函数，须用变分法求条件极值。但是对于大部分信道，这些方法常常不能得到显式的解，有时还会得到不允许的解，如求得的P(x)为负值等。为了工程目的，常把信道近似表示成某些易于解出容量的模式，如二元对称信道和高斯信道。这两种信道的容量分别为
C＝1-H(ε)（比特／符号）
和
（比特／秒）
后者当F→∞时为
（比特／符号）
二元对称信道的输入集和输出集都是二元集｛0,1｝,条件概率为P(0│0)＝P(1│1)＝1-ε,P(0│1)＝P(1│0)＝ε，是对称的。ε一般称为误码率或差错概率,而H(x)是熵函数，即
H(x)＝-xlog2x-(1-x)log2(1-x)
高斯信道的输入集和输出集都是实数集(-∞,∞)；干扰是加性正态白噪声或称为高斯白噪声，其单边功率谱密度为N0；信道是理想低通型的，通频带为F；S是允许的输入平均功率的上限。
　　对于其他信道的容量计算曾提出过一些方法，但都有较多的限制。比较通用的解法是迭代计算，可借助计算机得到较精确的结果。运算公式是

式中　　 可先任设一组P(x)，例如等概率分布。用前一式求得各Q（x│y）,再用这些Q（x│y）代入后一式求得新的各P(x)；再用这些 P(x)代入前一式去求新的Q（x│y）；依此迭代下去,直到新的P(x)与前次的P(x)已经相等或差别小于允许值。用这时的P(x)去求I(X;Y),就是所需的信道容量C。
　　这些迭代公式也是用求极值法获得的，只是引入了反条件概率Q（x│y）作为一组新的自变量,且发现当互信息I(X;Y)取极值时，Q(x│y)恰好满足作为反条件概率的条件。这种迭代运算最后一定收敛，而误差将按迭代次数N的倒数趋向于零。也就是当N→∞时，计算误差将为零而得到精确值。当N足够大时,误差就可小于允许值。此外，只要起始所设的P(x)满足概率的非负性和归一性条件,以后运算结果不会出现P(x)大于1或小于零的情况，因此所得结果总是有效的。
　　这一公式仅适用于离散无记忆信道，对P(x)除了非负性和归一性外没有其他限制。对于连续信道，只需把输入集和输出集离散化，就仍可用迭代公式来计算。当然如此形成的离散集，包含的元的数目越多，精度越高，计算将越繁。对于信息论中的其他量，如信息率失真函数，可靠性函数等，都可以用类似的方法得到的各种迭代公式来计算。
　研究在限定失真下为了恢复信源符号所必需的信息率，简称率失真理论。信源发出的符号传到信宿后，一般不能完全保持原样，而会产生失真。要避免这种失真几乎是不可能，而且也无必要，因为信宿不管是人还是机器，灵敏度总是有限的，不可能觉察无穷微小的失真。倘若在处理信源符号时允许一定限度的失真，可减小所必需的信息率，有利于传输和存储。率失真理论就是用以计算不同类型的信源在各种失真限度下所需的最小信息率。因此，这一理论是现代所有信息处理问题的理论基础。
　　在50年代，信息论主要研究无失真的信息传输问题。信源编码着眼于无失真地恢复信源符号的最小信息率。1959年，C.E.仙农发表《逼真度准则下的离散信源编码定理》一文，提出了率失真函数的概念，逐渐形成率失真理论并不断得到完善。这一理论能解决许多类型的信源问题，并扩大到多用户相关信源问题。
　　率失真函数 　计算率失真函数是率失真理论的中心问题。要定义率失真函数，必须先定量地表达失真的程度,因此需要规定失真函数d(u,v)。u是信源符号U的样，u∈A，A是信源集，可以是连续的实数区间,也可以是离散的有限集如A＝｛ɑ1，ɑ2，…，ɑn｝。v 是信宿得到的符号V 的样,v∈B,B可以等于A也可以不同。因此失真函数d 是一个二元函数。当用v代替u不引起失真时，可使d(u,v)＝0，若引起失真，就按失真程度规定d(u,v)为正实数集内的一个数。由于U 和V 都是随机量,d(u,v)也将是随机量，因此还须定义平均失真作为失真的度量，即

式中E表示取数学期望。
　　当信源和信宿是随机序列U1,U2,…,UN和V1，V2，…，VN时，可定义平均失真为

式中ur和vr分别为第r个信源和信宿符号ur、vr的样,各失真函数dr可以是同一函数，也可以是不同的函数。对于连续参量t的随机过程的信源和信宿,可把上面的求和改成积分，即

　　有了平均失真就可定义率失真函数。若信源和信宿都是离散的，P(u)和Q(v)分别为它们的概率，则

式中P（v│u）是U 和V间的条件概率。则U和V间的互信息为

而率失真函数为

式中PD为所有满足平均失真不大于D的条件概率P(v|u)的集，即

　　当信源概率P(u)已给定时，I(U;V)是各P(v│u)的函数。在PD中选一组P（v│u）使I(U;V)最小,这最小值将是D的函数，这就是率失真函数R(D),也就是使恢复信源符号时平均失真不大于D所需的最小信息率。这一定义对于连续信源仍然适用，只要将P(u)和P(v│u)理解为概率密度，表达式中的求和号改为积分即可。
　　当信源概率P(u)已知，失真函数d(u,v)已规定时，可用求极值法来计算R(D)函数。实际计算一般相当复杂，有时尚须借助于计算机作迭代运算。最常见的二元信宿在对称失真函数时,率失真函数（图1）是

式中p为较少出现的信源符号的概率，即，失真函数是
d(0,0)＝d(1,1)＝0　　d(0,1)＝d(1,0)＝ɑ
H 是熵函数，即
H(z)＝-zlogz-(1-z)log(1-z)　　(0≤z≤1)
　　正态信源在均方失真的规定下，率失真函数是

式中σ2为正态信源的方差。失真函数d(u,v)=(u-v)2(图2)。
信息率-失真理论

信息率-失真理论
　　其实，其他信源的率失真函数也都与上述两种情况有类似的趋势，即对于离散信源，R(0)=H(p),对于连续信源，R(0)→∞；两者都有一个最大失真值Dm，当D≥Dm时，R(D)=0。此外，R(D)必为D的严格递减下凸函数，这些都可由定义直接推出。
　　限失真信源编码定理 　率失真函数只指出限失真条件下所必需的最小信息率。从理论上讲，尚应能证明实际存在一种编码方法，用这样的信息率就能实现限失真的要求。这就是限失真信源编码定理。这个定理可表述为：只要信源符号序列长度N足够大,当每个符号的信息率大于R(D)，必存在一种编码方法，其平均失真可无限逼近D；反之，若信息率小于R(D),则任何编码的平均失真必将大于D。
　　对于无记忆平稳离散信源，上述定理已被严格证明，并知其逼近误差是依指数关系 e 而衰减的。其中B(R)是信息率R的函数，当R＞R(D)时，B(R)是正值,且随R的增大而增大。因此当序列长度N增大时，误差将趋于零。对于其他信源，结果还不十分完善。

信息率失真函数

在实际问题中，信号有一定得失真是可以容忍的。但是当失真大于某一个限度时，信息质量就会有严重损伤。要规定失真限度，必须有一个定量的失真测度。为此，可以引入失真函数。

失真函数：

假若一个数据处理系统，输入样值为xi，xi∈{a1,...,an}，输出yj，yj∈{b1,...,bm}。此时定义失真函数：

将所有的d(xi,yj)排列起来，用矩阵表示：

通常情况下，失真函数d(xi,yj)都是人为设定的。常用的失真函数如下：

均方失真：d(xi,yj)=(xi-yj)2

绝对失真：d(xi,yj)=| xi-yj|

相对失真：d(xi,yj)=| xi-yj|/|xi|

误码失真：

平均失真：

定义失真的数学期望为平均失真：

其中p(ai,bj)是联合分布概率。平均失真是对于信源编码器产生失真后的总体度量。对于长度为L的序列编码情况，平均失真为：

信息率失真函数R(D)：

信源X经过有失真的信源编码器输出Y，将这样的编码器看作存在干扰的假象信道，Y作为接收端信号。信源编码器的目的是使所需的信息传输率R尽量小，但R越小，引起的平均失真就越大。给出一个失真的限制值D，在满足平均失真的条件下，选择一种编码使时，信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。而信息率R其实就是互信息I(X,Y)。

可知，当信源的分布概率已知时，互信息I是关于转移概率p(yj|xi)的∪型凸函数，存在极小值。因此定义率失真函数R(D)：

对于离散无记忆信源，R(D)可以写成：

率失真函数的性质：

定义Dmin=0对应着无失真情况，相当于无噪声信道，此时：

R(Dmin)=R(0)=H(X)

定义 ，即R(Dmax)=0。

可知R(D)的定义域为[0,Dmax]。R(D)=0的情况就是I(X,Y)=0，这时候信道的输入和输出相互独立，所以条件概率pij与xi无关，即：pij=p(yj|xi)=p(yj)=pj

此时平均失真为： 。

现在要记住： 。要求的 。在这个式子中，当某项∑pidij最小，而该j所对应的pj=1时，Dmax达到最小。此时上式可以简化为： 。

R(D)的重要性质：下凸性、连续性、单调递减性(就是JPEG2000那条著名的曲线)。

本文来自CSDN博客，转载请标明出处：