第3专题聊城大学.ppt

资源描述

《第3专题聊城大学.ppt》由会员分享，可在线阅读，更多相关《第3专题聊城大学.ppt（99页珍藏版）》请在优知文库上搜索。

1、第三章离散信道及其信道容量第一节信道的数学模型及分类第二节平均互信息及平均条件互信息第三节平均互信息的特性第四节信道容量及其一般计算方法第五节离散无记忆扩展信道及其信道容量第六节信源与信道的匹配第一节信道的数学模型及分类1、信道的分类：根据信道用户的多少，可分为：（1）单用户信道：只有一个输入端和一个输出端，单向通信（2）多用户信道：至少有一端有两个以上的用户，双向通信根据输入端和输出端的关联：（1）无反馈信道:输出端信号对输入端信号无影响、无作用（2）有反馈信道：信道输出端的信号反馈到输入端，对输入端的信号起作用，影响输入端信号发生变化根据信道参数与时间的关系：（1）固定

2、参数信道：信道的参数不随时间变换而改变（2）时变参数信道：信道的参数随时间变换而变换根据输入输出信号的特点：（1）离散信道：输入和输出的随机序列的取值都是离散的信道（2）连续信道：输入和输出的随机序列的取值都是连续的信道（3）半离散半连续信道：输入序列是离散型的但相应的输出序列是连续的信道，或者相反。（4）波形信道：信道的输入输出都是时间上连续的随机信号P(y/X)XY根据这一模型，可对信道分类如下：设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y，如图所示：规定一个离散信道应有三个参数：输入符号集：X=x1，x2，输出符号集：Y=y1，y2，信道转移概率：P(Y/X)=p(y1/x

3、1),p(y2/x1),p(/x1),p(y1/)p(/)nxmymymynxnx2、离散信道的数学模型描述输入信号和输出信号之间的统计依赖关系，反映信道的统计特性（1）无干扰（无噪）信道：输入信号与输出信号有一一对应关系1()()(/)0()yfxyfxPyxyfx，并且（3）有干扰有记忆信道：这是最一般的信道，信道中不仅有干扰，并且某一瞬间的输出符号不仅与当前时刻的输入有关，而且还与其他时刻信道输入符号及输出符号有关。（2）有干扰无记忆信道：输入与输出无一一对应关系，输出只与当前输入有关；NiiiNNxyPxxxyyyPxyP12121)()()/(单符号离散信道的输入变量为X，取值于输

4、出变量为Y，取值于。并有条件概率条件概率被称为信道的传递概率或转移概率。一般简单的单符号离散信道的数学模型可以用概率空间X,p(y|x),Y来描述。12,raaa12,sbbb(|)(|),(1,2,;1,2,)jiP y xP bair js3、单符号离散信道的数学模型1ara1bsb(|)jiP baXYP=y1y2ymx1p(y1/x1)p(y2/x1)p(ym/x1)x2p(y1/x2)p(y2/x2)p(ym/x2)xnp(y1/xn)p(y2/xn)p(ym/xn)表示成矩阵形式：X=0,1;Y=0,1;p(0/0)=p(1/1)=1-p;p(0/1)=p(1/0)=p;P=01

5、01-pp1p1-p 0 1-p 0 p p 1 1-p 1例1 二元对称信道（BSC）X=0,1;Y=0,2,1P=02101 pp010p1-p 0 1-p 0 pp 1 1-p 12例2 二元删除信道（BEC）P=y1y2ymx1p(y1/x1)p(y2/x1)p(ym/x1)x2p(y1/x2)p(y2/x2)p(ym/x2)xnp(y1/xn)p(y2/xn)p(ym/xn)由此可见，一般单符号离散信道的传递概率可以用矩阵表示为了表述简便，可以写成(/)jiijP bap111212122212.ssrrrsppppppPppp4.一般单符号离散信道的一些概率关系（1）联合概率()

6、()(/)()(/)ijijijijP abP a P baP b P ab(/)jiP ba其中称为前向概率，描述信道的噪声特性(/)ijP ab称为后向概率，有时也把称为先验概率，把称为后验概率()iP a（2）输出符号的概率1()()(/)rjijiiP bp a p ba（3）后验概率()(/)()ijijjP abP abP b(/)ijP ab1(/)1rijiP ab 表明输出端收到任一符号，必定是输入端某一符号输入所致1、信道疑义度11(/)(/)log(/)rjijiijH X bP abp ab 这是收到后关于X的后验熵，表示收到后关于输入符号的信息测度jbjb,1

7、(/)(/)()log(/)jX YH X YE H X bP xyP x y 这个条件熵称为信道疑义度，表示输出端在收到一个符号后，对输入符号尚存的不确定性，这是由信道干扰造成的，如果没有干扰，H(X/Y)=0,一般情括下H(X/Y)小于H(X)，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。第二节平均互信息及平均条件互信息I(X;Y)=H(X)-H(X/Y)2、平均互信息其中H(X)表示传输前信源的不确定性，而H(X/Y)表示收到一个符号后，对信源尚存的不确定性，所以二者之差即为通过信道消除的不确定性，信道传递的信息量。XYXyxPxyPxPxPYXI,)(1log)

8、()(1log)();(YXYXyxPxyPxPxyP,)(1log)()(1log)(YXxPyxPxyP,)()(log)(YXyPxPxyPxyP,)()()(log)(YXyPxyPxyP,)()(log)(（1）平均互信息（2）互信息互信息I（x;y)是代表收到某消息y 后获得关于某事件x的信息量。即)()(log)()()(log)()(log);(yPxyPyPxPxyPxPyxPyxI注意：互信息可取正值，也可取负值和0。对于平均互信息XYXYXYxPyxPxyPyxIxyPyxIEYXI)()(log)();()();();(永远不会取负值I(X;Y)=H(X)-H(X/Y)

9、=H(X)+H(Y)-H(XY)=H(Y)-H(Y/X)（3）互信息与其他的熵之间的关系也可以得到：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)互信息I(X;Y)也表示输出端H(Y)的不确定性和已知X的条件下关于Y的不确定性之差，也等于发送前后关于Y的不确定性之差。互信息与各类熵之间的关系可以用维拉图表示：H(X)H(Y)H(X|Y)H(Y|X)I(X;Y)H(X,Y)ABABABABABH(X)H(Y)I(X;Y)H(X|Y)H(Y|X)它们都是由于噪声干扰的存在而存在的。信道中存在噪声干扰，是减低信道传信能力的基本原因。H(X/Y)即信道疑义度，也表示通过有噪信道造成的损失，

10、故也称为损失熵，因此信源的熵等于收到的信息量加上损失的熵；而H(Y/X)表示已知输入的情况下，对输出端还残留的不确定性，这个不确定性是由噪声引起的，故也称之为噪声熵或散布度。（4）两种极端情况的信道无噪一一对应信道此时可以计算得：H(X/Y)=H(Y/X)=0在图一中表示就是两圆重合，即：此信道输入符号和输出符号完全一一对应，因此)(1)(0)(xfyxfyyxP)()();(YHXHYXIx1y1p(y1|x1)=1x2y2p(y2|x2)=1xnynp(yn|xn)=1信道模型 jijixypij01)|(1.00.0.100.01)|(XYP这种信道的输入和输出是一一对应的，即:因此

11、不难证明:H(XY)=H(X)=H(Y),H(X|Y)=H(Y|X)=0 在这种无干扰信道中，对应于输入符号有唯一的接收符号，接收端的平均不确定程度和发送端的平均不确定程度相同；在这种信道中，信息被无损地传输，故又称为“无损信道”；输入输出完全统计独立同理I(X;Y)=0 即)()()()(xPyxPyPxyPH(X/Y)=H(X)H(Y/X)=H(Y)则信道模型x x1 1x x2 2x xn ny y1 1y y2 2y ym mp p(y yn n|x x1 1)=1 1/m mp p(y y1 1|x x1 1)=1 1/m mp p(y y2 2|x x1 1)=1 1/m m这种

13、H(X)完全一样，信息无法传输，称为“全损信道”；3.平均条件互信息（1）条件互信息已知事件Zz)()()(log)()(log)()(log);(zyPzxPzxyPzyPxzyPzxPyzxPzyxIZzYy,的条件下，接收到y后获得关于某事件x的条件互信息先验概率和后验概率都是在某一特定条件下的取值，这是条件互信息与互信息的区别已知后，总共获得关于Xx的互信息)()()()(log)()(log);(yxPxPyzxPyxPxPyzxPyzxI);();()()(log)()(logyzxIyxIyxPyzxPxPyxP(2)平均条件互信息XYZXYZzyPzxPzxyPxyzPzxPy

14、zxPxyzPzyxIEZYXI)()()(log)()()(log)();();(XYZxPyzxPxyzPyzxIEYZXI)()(log)();();()()();(YZXHZXHZYXI);();();();();(ZYXIZXIYZXIYXIYZXI例2某2元通信系统，它发送1和0的概率为p(1)=1/4,p(0)=3/4,由于信道中有干扰。通信不能无差错的进行。即有1/6的1在接受端错成0，1/2的0在接受端错成1。问信宿收到一个消息后，获得的平均信息量是多少？P(y2)=5/12 y=05/61/21/21/6P(y1)=7/12 y=1P(x2)=3/4 x=0P(x1)=1/

15、4 x=1p(x1)=p(1)=1/4 p(x2)=p(0)=3/4根据题意确定p(yj/xi):p(y1/x1)=p(1/1)=5/6,p(y2/x1)=p(0/1)=1/6p(y2/x2)=p(0/0)=1/2,p(y1/x2)=p(1/0)=1/2这就叫做信道特性，如果列成矩阵，就叫信道矩阵。解：先用公式p(xi)p(yj/xi)=p(xiyj)来计算，p(xiyj)称为联合概率。p(x2y1)=p(01)=p(0)p(1/0)=3/41/2=3/8p(x2y2)=p(00)=p(0)p(0/0)=3/41/2=3/8p(x1y2)=p(10)=p(1)p(0/1)=1/41/6=1/2

16、4p(x1y1)=p(11)=p(1)p(1/1)=1/45/6=5/24再计算信宿端p(yj)p(y1)=p(1)=1/45/6+3/41/2=7/12p(y2)=p(0)=3/41/2+1/41/6=5/12再利用公式p(xi/yj)=p(xiyj)/p(yj)来计算后验概率p(xi/yj)()(111ypyxp127245145)()(112ypyxp12783149p(x1/y1)=p(x2/y1)=)()(221ypyxp125241101)()(222ypyxp12583109p(x1/y2)=p(x2/y2)=现在可以计算信宿收到一个消息后所获得的信息量：)p(x)/yp(x2224/310/9)p(x)/yp(x1114/114/5)p(x)/yp(x1214/110/1)p(x)/yp(x2124/314/9I(发0；收0)=I(x2;y2)=log=log2=log2=log210/7=0.515比特/消息=log2(通信错误，没有消除不确定性，反而增加了不确定性，相当于得到了负消息)=log2=log26/7=-0.222比特/消息I(发0；收1)=I(x2;y1

展开阅读全文