第3专题1聊城大学.ppt

《第3专题1聊城大学.ppt》由会员分享，可在线阅读，更多相关《第3专题1聊城大学.ppt（99页珍藏版）》请在优知文库上搜索。

1、第三章 离散信道及其信道容量 第一节 信道的数学模型及分类第二节 平均互信息及平均条件互信息第三节 平均互信息的特性第四节 信道容量及其一般计算方法 第五节 离散无记忆扩展信道及其信道容量第六节 信源与信道的匹配第一节 信道的数学模型及分类1、信道的分类：根据信道用户的多少，可分为：（1）单用户信道：只有一个输入端和一个输出端，单向通信（2）多用户信道：至少有一端有两个以上的用户，双向通信根据输入端和输出端的关联：（1）无反馈信道:输出端信号对输入端信号无影响、无作用（2）有反馈信道：信道输出端的信号反馈到输入端，对输入端的信号起作用，影响输入端信号发生变化根据信道参数与时间的关系：（1）固定

2、参数信道：信道的参数不随时间变换而改变（2）时变参数信道：信道的参数随时间变换而变换根据输入输出信号的特点：（1）离散信道：输入和输出的随机序列的取值都是离散的信道（2）连续信道：输入和输出的随机序列的取值都是连续的信道（3）半离散半连续信道：输入序列是离散型的但相应的输出序列是连续的信道，或者相反。（4）波形信道：信道的输入输出都是时间上连续的随机信号P(y/X)XY根据这一模型，可对信道分类如下：设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y，如图所示：规定一个离散信道应有三个参数：输入符号集：X=x1，x2，输出符号集：Y=y1，y2，信道转移概率：P(Y/X)=p(y1/x

3、1),p(y2/x1),p(/x1),p(y1/)p(/)nxmymymynxnx2、离散信道的数学模型描述输入信号和输出信号之间的统计依赖关系，反映信道的统计特性（1）无干扰（无噪）信道：输入信号与输出信号有一一对应关系1()()(/)0()yfxyfxPyxyfx，并 且（3）有干扰有记忆信道：这是最一般的信道，信道中不仅有干扰，并且某一瞬间的输出符号不仅与当前时刻的输入有关，而且还与其他时刻信道输入符号及输出符号有关。（2）有干扰无记忆信道：输入与输出无一一对应关系，输出只与当前输入有关；NiiiNNxyPxxxyyyPxyP12121)()()/(单符号离散信道的输入变量为X，取值于输

4、出变量为Y，取值于 。并有条件概率条件概率被称为信道的传递概率或转移概率。一般简单的单符号离散信道的数学模型可以用概率空间X,p(y|x),Y来描述。12,raaa12,sbbb(|)(|),(1,2,;1,2,)jiP y xP bair js3、单符号离散信道的数学模型1ara1bsb(|)jiP baXYP=y1y2ymx1p(y1/x1)p(y2/x1)p(ym/x1)x2p(y1/x2)p(y2/x2)p(ym/x2)xnp(y1/xn)p(y2/xn)p(ym/xn)表示成矩阵形式：X=0,1;Y=0,1;p(0/0)=p(1/1)=1-p;p(0/1)=p(1/0)=p;P=01

5、01-pp1p1-p 0 1-p 0 p p 1 1-p 1例1 二元对称信道（BSC）X=0,1;Y=0,2,1P=02101 pp010p1-p 0 1-p 0 pp 1 1-p 12例2 二元删除信道（BEC）P=y1y2ymx1p(y1/x1)p(y2/x1)p(ym/x1)x2p(y1/x2)p(y2/x2)p(ym/x2)xnp(y1/xn)p(y2/xn)p(ym/xn)由此可见，一般单符号离散信道的传递概率可以用矩阵表示 为了表述简便，可以写成(/)jiijP bap111212122212.ssrrrsppppppPppp4.一般单符号离散信道的一些概率关系（1）联合概率()

6、()(/)()(/)ijijijijP abP a P baP b P ab(/)jiP ba其中称为前向概率，描述信道的噪声特性(/)ijP ab称为后向概率，有时也把 称为先验概率，把 称为后验概率()iP a（2）输出符号的概率1()()(/)rjijiiP bp a p ba（3）后验概率()(/)()ijijjP abP abP b(/)ijP ab1(/)1rijiP ab 表明输出端收到任一符号，必定是输入端某一符号输入所致1、信道疑义度11(/)(/)log(/)rjijiijH X bP abp ab 这是收到 后关于X的后验熵，表示收到 后关于输入符号的信息测度jbjb,1

7、(/)(/)()log(/)jX YH X YE H X bP xyP x y 这个条件熵称为信道疑义度，表示输出端在收到一个符号后，对输入符号尚存的不确定性，这是由信道干扰造成的，如果没有干扰，H(X/Y)=0,一般情括下H(X/Y)小于H(X)，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。第二节 平均互信息及平均条件互信息I(X;Y)=H(X)-H(X/Y)2、平均互信息 其中H(X)表示传输前信源的不确定性，而H(X/Y)表示收到一个符号后，对信源尚存的不确定性，所以二者之差即为通过信道消除的不确定性，信道传递的信息量。XYXyxPxyPxPxPYXI,)(1log)

8、()(1log)();(YXYXyxPxyPxPxyP,)(1log)()(1log)(YXxPyxPxyP,)()(log)(YXyPxPxyPxyP,)()()(log)(YXyPxyPxyP,)()(log)(（1）平均互信息（2）互信息互信息I（x;y)是代表收到某消息y 后获得关于某事件x的信息量。即)()(log)()()(log)()(log);(yPxyPyPxPxyPxPyxPyxI注意：互信息可取正值，也可取负值和0。对于平均互信息XYXYXYxPyxPxyPyxIxyPyxIEYXI)()(log)();()();();(永远不会取负值I(X;Y)=H(X)-H(X/Y)

9、=H(X)+H(Y)-H(XY)=H(Y)-H(Y/X)（3）互信息与其他的熵之间的关系也可以得到：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)互信息I(X;Y)也表示输出端H(Y)的不确定性和已知X的条件下关于Y的不确定性之差，也等于发送前后关于Y的不确定性之差。互信息与各类熵之间的关系可以用维拉图表示：H(X)H(Y)H(X|Y)H(Y|X)I(X;Y)H(X,Y)ABABABABABH(X)H(Y)I(X;Y)H(X|Y)H(Y|X)它们都是由于噪声干扰的存在而存在的。信道中存在噪声干扰，是减低信道传信能力的基本原因。H(X/Y)即信道疑义度，也表示通过有噪信道造成的损失，

10、故也称为损失熵，因此信源的熵等于收到的信息量加上损失的熵；而H(Y/X)表示已知输入的情况下，对输出端还残留的不确定性，这个不确定性是由噪声引起的，故也称之为噪声熵或散布度。（4）两种极端情况的信道 无噪一一对应信道 此时可以计算得：H(X/Y)=H(Y/X)=0在图一中表示就是两圆重合，即：此信道输入符号和输出符号完全一一对应，因此)(1)(0)(xfyxfyyxP)()();(YHXHYXIx1y1p(y1|x1)=1x2y2p(y2|x2)=1xnynp(yn|xn)=1信道模型 jijixypij01)|(1.00.0.100.01)|(XYP这种信道的输入和输出是一一对应的，即:因此

11、不难证明:H(XY)=H(X)=H(Y),H(X|Y)=H(Y|X)=0 在这种无干扰信道中，对应于输入符号有唯一的接收符号，接收端的平均不确定程度和发送端的平均不确定程度相同；在这种信道中，信息被无损地传输，故又称为“无损信道”；输入输出完全统计独立 同理I(X;Y)=0 即)()()()(xPyxPyPxyPH(X/Y)=H(X)H(Y/X)=H(Y)则信道模型x x1 1x x2 2x xn ny y1 1y y2 2y ym mp p(y yn n|x x1 1)=1 1/m mp p(y y1 1|x x1 1)=1 1/m mp p(y y2 2|x x1 1)=1 1/m m这种

12、信道的干扰很强，以至任意一个输入符号 xi 可能等概率地被接收成任意一个 yj,即mnmmmmmmmmmXYP/1./1/1./1./1/1/1./1/1)|(mmmXYPxpxpxpXYPXpYPn/1./1/1)|()(.)()()|()()(21因此可得)()|(,/1)|(,/1)(ijiijjxpyxpmxypmyp即)()|(YHXYH所以)()(1)(log)(1)|(log)|()()|(11111XHXHmxpxpmyxpyxpypYXHmjmjiniimjjinijij 这种信道的输入和输出符号没有关系，Y 知道后关于 X 的不确定性 H(X|Y)和没有 Y 时的不确定性

13、H(X)完全一样，信息无法传输，称为“全损信道”；3.平均条件互信息（1）条件互信息已知事件Zz)()()(log)()(log)()(log);(zyPzxPzxyPzyPxzyPzxPyzxPzyxIZzYy,的条件下，接收到y后获得关于某事件x的条件互信息先验概率和后验概率都是在某一特定条件下的取值，这是条件互信息与互信息的区别已知后，总共获得关于Xx的互信息)()()()(log)()(log);(yxPxPyzxPyxPxPyzxPyzxI);();()()(log)()(logyzxIyxIyxPyzxPxPyxP(2)平均条件互信息XYZXYZzyPzxPzxyPxyzPzxPy

14、zxPxyzPzyxIEZYXI)()()(log)()()(log)();();(XYZxPyzxPxyzPyzxIEYZXI)()(log)();();()()();(YZXHZXHZYXI);();();();();(ZYXIZXIYZXIYXIYZXI例2某2元通信系统，它发送1和0的概率为p(1)=1/4,p(0)=3/4,由于信道中有干扰。通信不能无差错的进行。即有1/6的1在接受端错成0，1/2的0在接受端错成1。问信宿收到一个消息后，获得的平均信息量是多少？P(y2)=5/12 y=05/61/21/21/6P(y1)=7/12 y=1P(x2)=3/4 x=0P(x1)=1/

15、4 x=1p(x1)=p(1)=1/4 p(x2)=p(0)=3/4根据题意确定p(yj/xi):p(y1/x1)=p(1/1)=5/6,p(y2/x1)=p(0/1)=1/6p(y2/x2)=p(0/0)=1/2,p(y1/x2)=p(1/0)=1/2这就叫做信道特性，如果列成矩阵，就叫信道矩阵。解：先用公式p(xi)p(yj/xi)=p(xiyj)来计算，p(xiyj)称为联合概率。p(x2y1)=p(01)=p(0)p(1/0)=3/41/2=3/8p(x2y2)=p(00)=p(0)p(0/0)=3/41/2=3/8p(x1y2)=p(10)=p(1)p(0/1)=1/41/6=1/2

16、4p(x1y1)=p(11)=p(1)p(1/1)=1/45/6=5/24再计算信宿端p(yj)p(y1)=p(1)=1/45/6+3/41/2=7/12p(y2)=p(0)=3/41/2+1/41/6=5/12再利用公式p(xi/yj)=p(xiyj)/p(yj)来计算后验概率p(xi/yj)()(111ypyxp127245145)()(112ypyxp12783149p(x1/y1)=p(x2/y1)=)()(221ypyxp125241101)()(222ypyxp12583109p(x1/y2)=p(x2/y2)=现在可以计算信宿收到一个消息后所获得的信息量：)p(x)/yp(x2224/310/9)p(x)/yp(x1114/114/5)p(x)/yp(x1214/110/1)p(x)/yp(x2124/314/9I(发0；收0)=I(x2;y2)=log=log2=log2=log210/7=0.515比特/消息=log2(通信错误，没有消除不确定性，反而增加了不确定性，相当于得到了负消息)=log2=log26/7=-0.222比特/消息I(发0；收1)=I(x2;y1