第4章 信息率失真函数.ppt

《第4章 信息率失真函数.ppt》由会员分享，可在线阅读，更多相关《第4章 信息率失真函数.ppt（49页珍藏版）》请在优知文库上搜索。

1、 无失真信源编码和有噪信道编码（香农第一定理和香无失真信源编码和有噪信道编码（香农第一定理和香农第二定理）告诉我们：农第二定理）告诉我们：只要信道的信息传输速率小于信道容量，总能找到一只要信道的信息传输速率小于信道容量，总能找到一种编码方法，使得在该信道上的信息传输的差错概率任意种编码方法，使得在该信道上的信息传输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。能使信息传输差错概率任意小。但是，无失真的编码但是，无失真的编码并非并非总是必要的总是必要的。原始图像原始图像红色图像红色图像绿色图像绿色图像

2、蓝色图像蓝色图像香农首先定义了信息率失真函数香农首先定义了信息率失真函数R(D)，并论述了关于这个，并论述了关于这个函数的基本定理。函数的基本定理。定理指出：在允许一定失真度定理指出：在允许一定失真度D的情况下，信源输出的信息的情况下，信源输出的信息传输率可压缩到传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。许失真之间的关系，奠定了信息率失真理论的基础。信息率失真理论是进行量化、数模转换、频带压缩和数据信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。压缩的理论基础。本章本章主要介绍主

3、要介绍信息率失真理论的基本内容，重点讨论离散信息率失真理论的基本内容，重点讨论离散无记忆信源。无记忆信源。l给出信源的失真度和信息率失真函数的定义与性质；给出信源的失真度和信息率失真函数的定义与性质；l讨论离散信源和连续信源的信息率失真函数计算；讨论离散信源和连续信源的信息率失真函数计算；l在此基础上论述保真度准则下的信源编码定理。在此基础上论述保真度准则下的信源编码定理。一、失真度一、失真度 从直观感觉可知，若允许失真越大，信息传输率就可越小；从直观感觉可知，若允许失真越大，信息传输率就可越小；若允许失真越小，信息传输率需越大。若允许失真越小，信息传输率需越大。所以信息传输率与（信源）编码所

4、引起的失真所以信息传输率与（信源）编码所引起的失真(或误差或误差)是是有关的。有关的。首先讨论首先讨论失真的测度失真的测度。离散无记忆信源离散无记忆信源X，信源符号集，信源符号集Xa1,a2,ar，概率分，概率分布为布为p(x)p(a1),p(a2),p(ar)。信源符号通过信道传输到接收端，接收端的接收符号集信源符号通过信道传输到接收端，接收端的接收符号集Y b1,b2,bs。对应于每一对对应于每一对(ai,bj)，我们指定一个非负的函数：，我们指定一个非负的函数：称为单个符号的称为单个符号的失真度失真度(或失真函数或失真函数)。通常较小的通常较小的d值代表较小的失真，而值代表较小的失真，而

5、d(ai,bj)0表示没有表示没有失真。失真。0(,)(0)ijijd a bij若信源变量若信源变量X有有r个符号，接收变量个符号，接收变量Y有有s个符号，则个符号，则d(ai,bj)就有就有rs个个,它可以排列成矩阵形式，即：它可以排列成矩阵形式，即：该失真矩阵该失真矩阵D，是，是 rs 阶矩阵。阶矩阵。111212122212(,)(,).(,)(,)(,).(,):.:(,)(,).(,)ssrrrsd a bd a bd a bd a bd a bd a bDd a bd a bd a b实际实际这里这里X X指的是原始的未失真信源，而指的是原始的未失真信源，而Y Y是指失真以后是指

6、失真以后的信源。如果的信源。如果假设假设X X是信源，是信源，Y Y是信宿，那么是信宿，那么X X和和Y Y之间必有信之间必有信道。道。从从X X到到Y Y之间实际上是失真算法，所以这里的转移概率之间实际上是失真算法，所以这里的转移概率p(b(bj j/ai i)是指一种失真算法，是指一种失真算法，有时又把有时又把 p(b(bj j/ai i)称为称为试验信道试验信道的转移概率，如图所的转移概率，如图所示。示。原始信源原始信源失真信源失真信源试验信道试验信道信道信道XYp(bj/ai)例例1 离散对称信源离散对称信源(r=s)，“0-1”失真失真。信源。信源Xa1,a2,ar，接收接收Y b1

7、,b2,bs。定义单个符号失真度：。定义单个符号失真度：这种失真称为汉明失真。汉明失真矩阵是一方阵，对角线上的这种失真称为汉明失真。汉明失真矩阵是一方阵，对角线上的元素为零，即：元素为零，即：0(,)1ijijijabd a babrrD0.11:.:1.011.10 对二元对称信源对二元对称信源(sr2)，信源，信源X0,1，接收，接收变量变量Y0,1。在汉明失真定义下，失真矩阵为：。在汉明失真定义下，失真矩阵为：0110D 例例2 删除信源删除信源。信源。信源Xa1,a2,ar，接收，接收Y b1,b2,bs(s=r+1)。定义其单个符号失真度为：。定义其单个符号失真度为：其中接收符号其中

8、接收符号bs作为一个删除符号。作为一个删除符号。此时，意味着若把信源符号再现为删除符号此时，意味着若把信源符号再现为删除符号bs时，其失真时，其失真程度要比再现为其他接收符号的失真程度少一半。程度要比再现为其他接收符号的失真程度少一半。二元删除信源二元删除信源 r 2，s 3，X0,1，Y0,1,2。失真度为：失真度为：则10121102D d(0,0)=d(1,1)=0 d(0,1)=d(1,0)=1d(0,2)=d(1,2)=1/20(,)1 1/2ijijd a bijjs除除j=s以外所有的以外所有的j和和i所有所有i 例例 对称信源对称信源(s=r)。信源。信源Xa1,a2,ar，接

9、收，接收Y b1,b2,bs。若若失真度定义为：失真度定义为：如果信源符号代表信源输出信号的幅度值，这就是一种如果信源符号代表信源输出信号的幅度值，这就是一种平平方误差失真度方误差失真度。它意味着幅度差值大的要比幅度差值小的所引。它意味着幅度差值大的要比幅度差值小的所引起的失真更为严重，其严重的程度用平方来表示。起的失真更为严重，其严重的程度用平方来表示。当当 r3时，时，0,1,2，0,1,2，则失真矩阵为：，则失真矩阵为：2(,)()ijjid a bba014101410D上述例子说明了失真度的具体定义。上述例子说明了失真度的具体定义。一般情况下根据实际信源的失真，可以定义不同的失真和一

10、般情况下根据实际信源的失真，可以定义不同的失真和误差的度量。另外还可以按其他标准，如引起的损失、风险误差的度量。另外还可以按其他标准，如引起的损失、风险、主观感觉上的差别大小等来定义失真度、主观感觉上的差别大小等来定义失真度d(a,b)。二、序列失真度二、序列失真度设设 ，其中，其中12,Nxx xxix取自信源符号集取自信源符号集A；12,Nyy yy 其中其中iy取自取自信宿信宿符号集符号集B。则序列失真度定义为：则序列失真度定义为：11(,)(,)NNiiidx yd x yN 三、三、平均失真度平均失真度信源信源 X 和信宿和信宿 Y 都是随机变量，故单个符号失真度都是随机变量，故单个

11、符号失真度d(ai,bj)也也是随机变量。是随机变量。规定了单个符号失真度规定了单个符号失真度d(ai,bj)后，后，传输一个符号引起的平均传输一个符号引起的平均失真，即信源平均失真度失真，即信源平均失真度：在在离散情况下离散情况下，信源，信源Xa1,a2,ar，其概率分布，其概率分布p(x)p(a1),p(a2),p(ar)，信宿，信宿Y b1,b2,bs。若已知试验信道的传递概率为若已知试验信道的传递概率为p(bj/ai)时，则平均失其度为：时，则平均失其度为：(,)(,)ijDE d a bE d a b11()(,)()(/)(,)rsijiijXYijDp ab d a bp a p

12、 ba d a b 若平均失真度若平均失真度D不大于我们所允许的失真不大于我们所允许的失真D0，即：，即：D D0 称此为称此为保真度准则保真度准则。信源固定（即给定了信源固定（即给定了p(x)），单个符号失真度固定时（即），单个符号失真度固定时（即给定了给定了d(ai,bj)），选择不同试验信道，相当于不同的编码方，选择不同试验信道，相当于不同的编码方法，所得的平均失真度是不同的。法，所得的平均失真度是不同的。有些试验信道满足有些试验信道满足D D0，而有些试验信道，而有些试验信道DD0。凡满足保真度准则凡满足保真度准则-平均失真度平均失真度D D0的试验信通称为的试验信通称为-。把所有把所

13、有D失真许可的试验信道组成一个集合，用符号失真许可的试验信道组成一个集合，用符号PD表表示，则：示，则：PD=p(bj/ai)：D D04.2 4.2 信息率失真函数及其性质信息率失真函数及其性质一、信息率失真函数的定义一、信息率失真函数的定义 信源给定，且又具体定义了失真函数以后，总希望在满足信源给定，且又具体定义了失真函数以后，总希望在满足一定失真的情况下，使信源传输给收信者的信息传输率一定失真的情况下，使信源传输给收信者的信息传输率R尽可尽可能地小。能地小。-即在满足保真度准则下，寻找即在满足保真度准则下，寻找信源必须传输给信信源必须传输给信宿的信息率宿的信息率R的下限值的下限值-这个下

14、限值与这个下限值与D有关。有关。从接收端来看，就是在满足保真度准则下，寻找再现信源从接收端来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量。消息所必须获得的最低平均信息量。而接收端获得的平均信息量可用平均互信息而接收端获得的平均信息量可用平均互信息I(X;Y)来表示来表示，这就变成了在满足保真度准则的条件下，这就变成了在满足保真度准则的条件下，寻找平均互信息寻找平均互信息I(X;Y)的最小值的最小值。寻找平均互信息寻找平均互信息I(X;Y)的最小值。而的最小值。而PD是所有满足保真度是所有满足保真度准则的试验信道集合，因而可以在准则的试验信道集合，因而可以在D失真许可的

15、试验信道集合失真许可的试验信道集合PD中寻找一个信道中寻找一个信道p(bj/ai)，使，使I(X;Y)取极小值。取极小值。由于平均互信息由于平均互信息I(X;Y)是是p(bj/ai)的的U型凸函数型凸函数，所以在，所以在PD集合中，极小值存在。这个最小值就是在集合中，极小值存在。这个最小值就是在D D0的条件下，的条件下，信信源进行传输的最小平均信息量源进行传输的最小平均信息量。即：。即：(/)()(;)minjiDp baPR DI X YR(D)-信息率失真函数或简称信息率失真函数或简称率失真函数率失真函数 单位是：比特信源符号单位是：比特信源符号 率失真函数给出了熵压缩编码可能达到的最小

16、熵率与失真的率失真函数给出了熵压缩编码可能达到的最小熵率与失真的关系关系;其逆函数其逆函数D(R)称为失真率函数称为失真率函数,D(R)表示一定信息速率下所表示一定信息速率下所可能达到的最小的平均失真。可能达到的最小的平均失真。二、信息率失真函数的性质二、信息率失真函数的性质 允许失真度允许失真度D的下限可以是零，这是不允许任何失真的情况。的下限可以是零，这是不允许任何失真的情况。1、R(D)的定义域的定义域R(D)的定义域为的定义域为 且：且：minmax0DDDmin()min(,)yxDp xd x ymaxmin()(,)yxDp x d x y 123,a a aminDmaxD 123213321d123()min(1,2,3)()min(2,1,3)()min(3,2,1)p ap ap a min()min(,)yxDp xd x y(,)ijd a b(|)1jip baminD100(|)010001p y x max123123123min()(,)min()1()2()3,()2()1()2,()3()3()1yxDp x d x yp ap ap ap ap