霍普菲尔德Hopfield.ppt

《霍普菲尔德Hopfield.ppt》由会员分享，可在线阅读，更多相关《霍普菲尔德Hopfield.ppt（51页珍藏版）》请在优知文库上搜索。

1、霍普菲尔德（Hopfield）神经网络1、网络结构形式2、非线性系统状态演变的形式3、离散型的霍普菲尔德网络（DHNN）4、连续性的霍普菲尔德网络（CHNN）网络结构形式 Hopfield网络是单层对称全反馈网络，根据激活函数选取的不同，可分为离散型和连续性两种（DHNN,CHNN）。DHNN：作用函数为hadlim，主要用于联想记忆。CHNN：作用函数为S型函数，主要用于优化计算。反馈网络的结构如图2.8.1所示。图2.8.1Hopfield网络结构非线性系统状态演变的形式 在Hopfield网络中，由于反馈的存在，其加权 输入和ui，i=1n为网络状态，网络的输出为y1yn，则u,y的变化

2、过程为一个非线性动力学系统。可用非线性差（微）分方程来描述。一般有如下的几种状态演变形式：（1）渐进稳定 （2）极限环 （3）混沌现象 （4）状态轨迹发散 Hopfield网络的稳定性可用能量函数进行分析。目前，人工神经网络常利用渐进稳定点来解决某些问题。例如，如果把系统的稳定点视为一个记忆的话，那么从初态朝这个稳定点的演变过程就是寻找记忆的过程。初态可以认为是给定的有关记忆的部分信息。如果把系统的稳定点视为一个能量函数的极小点，把能量函数视为一个优化问题的目标函数，那么从初态朝这个稳定点的演变过程就是一个求该优化问题的过程。这样的优点在于它的解并不需要真的去计算，而只要构成这种反馈网络，适当

3、的设计其连接值和输入就可达到目的。离散型的 Hopfield神经网络1、I/O关系2、两种工作方式3、网络的稳定性分析4、DHNN网络设计网络结构及I/O关系 图2.8.2是一个有三个节点的DHNN结构。对于以符号函数为激活函数的网络，网络的方程可写为：图2.8.2 nitutxtxwtuiinjijiji,2,1 )1(sgn)1()1(1两种工作方式 DHNN主要有以下两种工作方式：（1）串行工作方式 在某一时刻只有一个神经元按照上式改变状态，而其它神经元的输出不变。这一变化的神经元可以按照随机的方式或预定的顺序来选择。（2）并行工作方式 在某一时刻有N个神经元按照上式改变状态，而其它的神

4、经元的输出不变。变化的这一组神经元可以按照随机方式或某种规则来选择。当N=n时，称为全并行方式。DHNN的稳定工作点Xi(t+1)=Xi(t)=sgn(j=1nWijXi(t)-i)i=1,2,n网络的稳定性分析 DHNN的能量函数定义为：有界EwxxxwEXWXXxxxwEniininjijniiininjjiijTTniiininjjiij11111111121 2121 21 关于DHNN的稳定性有如下的定理：当网络工作在串行方式下时，若W为对称阵，且其对角元素非负，则其能量函数单调下降，网络总能收敛到一个稳定点。kkkkknjjkjkniiikkkkkkkkkkkkkxxwtxwxtx

5、wxEtutxtutxtutxxxtxtxxtE 211sgn,1 21sgn,1 2sgn 0 1 1 1tEE 211证明 一个局部极小点。所以它总能收敛到它的的，。另外能量函数是有界有故对任意的神经元，。又因为的运行规则，根据故有因为根据定理条件有0001 211 21 ,221EkwtuxDHNNkwtuxkwtxwxEwwkkkkkkkkkknjkjkjkjiij 全并行方式下也有同样的结论。DHNN网络设计 用 DHNN实现联想记忆需要考虑两个重要的问题：怎样按记忆确定网络的W和；网络给定之后如何分析它的记忆容量。下面将分别讨论。1、权值设计的方法2、记忆容量分析3、权值修正的其它

6、方法 在MATLAB中，用函数newhop.m来设计一个Hopfield网络：net=newhop(T)权值设计的方法 权值设计的方法有外积法、伪逆法、正交设计法等。下面仅介绍外积法，它是一种比较简单，在一定条件下行之有效的方法。niwxxwIXXWnnIRXmKXiimkkjkiijmkTKKnK1 0 ,1,11单位阵，则为给定输入例例 设计DHNN，并考察其联想性能。说明所设计的网络没有准确的记忆所有期望的模式。3233222!1131sgn Y sgn Y sgn Y031301110 111111111 TTWXTWXTWXIXXWTXKTKK验证：解：记忆容量分析 当网络只记忆一个

7、稳定的模式时，该模式肯定被网络准确无误的记忆住。但当所要记忆的模式增加时，情况则发生了变化，主要表现在下列两点上：1、权值移动2、交叉干扰权值移动 在网络的学习过程中，网络对权值的记忆实际上是逐个实现的。即对权值W，有程序:当网络准确的X1时，为了记忆X2,需要在记忆样本X1的权值上加上对样本X2的记忆项X2 X2T-I，将权值在原来值的基础上产生了移动。这样网络有可能部分得遗忘了以前以记忆住的模式。endIXXWWqkforWTKK,1 0 从动力学的角度来看，k值较小时，网络Hebb学习规则，可以使输入学习样本成为其吸引子。随着k值的增加，不但难以使后来的样本成为网络的吸引子，而且有可能使

8、已记忆住的吸引子的吸引域变小，使原来处于吸引子位置上的样本从吸引子的位置移动。对一记忆的样本发生遗忘，这种现象称为“疲劳”。交叉干扰 网络在学习多个样本后，在回忆阶段即验证该记忆样本时，所产生的干扰，称为交叉干扰。对外积型设计而言，如果输入样本是彼此正交的，n个神经元的网络其记忆容量的上界为n。但是在大多数情况下，学习样本不可能是正交的，因而网络的记忆容量要比n小得多，一般为(0.130.15)n，n为神经元数。权值修正的其它方法1、学习规则2、伪逆法3、正交化权值设计 学习规则 学习规则基本公式是：即通过计算该神经元节点的实际激活值A(t)，与期望状态T(t)进行比较，若不满足要求，将两者的

9、误差的一部分作为调整量，若满足要求，则相应的权值保持不变。tPtAtTtwtwPWijij1伪逆法 来。求出权矩阵满秩，其逆存在，则可线性无关的，则如果样本之间是为伪逆，有其中由此可得来映射，则有输入输出之间用权值设输入样本WPPPPPPPPNWNYXWNWXXXXTTTN,sgn,121正交化权值设计 这一方法的基本思想和出发点是为了满足下面四个要求：1）保证系统在异步工作时的稳定性，即它的权值是对称的；2）保证所有要求记忆的稳定平衡点都能收敛到自己；3）使伪稳定点的数目尽可能的少；4）使稳定点的吸引域尽可能的大。MATLAB函数w,b=solvehop(T);连续性的Hopfield网络

10、CHNN是在DHNN的基础上提出的，它的原理和DHNN相似。由于CHNN是以模拟量作为网络的输入输出量，各神经元采用并行方式工作，所以它在信息处理的并行性、联想性、实时性、分布存储、协同性等方面比DHNN更接近于生物神经网络。我们将从以下几点来讨论CHNN。1、网络模型2、CHNN方程的解及稳定性分析3、关于Hopfield能量函数的几点说明4、关于CHNN的几点结论CHNN的网络模型 图2.8.3是Hopfield动态神经元模型。对于神经元，放大器的I/O关系可用如下的方程来描述：图2.8.4是CHNN的结构图。xxexuvIuvRRudtducxiiinjijijiiiitanh 11 1

11、10或Hopfield动态神经元模型图2.8.4u1 u 1 u 2 u n v 1 v n v 2 对上述方程变形得：iiiiijijnjiijiiiinjjijiiicIcRwcRcRvwudtdu ,1 ,111101的一种特殊情况。视为可以此可见，模型有相同的形式。由上式与则有如果令为向量矩阵形式：CHNNDHNNDHNNWvuuRvdiagwwwwWWvuunnnnnn ,0,12111111CHNN方程的解及稳定性分析 对于CHNN来说，关心的同样是稳定性问题。在所有影响电路系统稳定的所有参数种，一个比较特殊的参数值是放大器的放大倍数。从前面的分析中可以看出，当放大器的放大倍数足够

12、大时，网络由连续性转化成离散型，状态与输出之间的关系表现了激活函数的形状，而正是激活函数代表了一个网络的特点，所以，下面着重分析不同激活函数关系对系统的稳定性的影响。1、激活函数为线性函数时2、激活函数为非线性函数时 当激活函数为线性函数时，即不同的系统解的情况。的不同情况，可以得到，解出的特征值为单位对角阵。通过对其中此系统的特征方程为：。其中：此时系统的状态方程为riiIIAWBRABAUUuv21 0 1 对于非线性系统进行稳定性分析，方法之一就是在系统的平衡点附近对系统进行线性化处理。也可以基于网络的能量函数。下面介绍Hopfield能量函数法。:121 :101111的稳定性有如下的

13、定理关于能量项。入状态和输出值关系的上式第三项表示一种输能量函数定义为CHNNdvvRIvvvwEniviiniiininjjiiji dtdvvcdtducRuIvwRuIvwvwvEdtdvvEdtdEnidtdEdtdvdtdEwwcviiiiiiiiinjjijiiinjjjinjjijiniiiijiijii111111 2121 ,2,100,0 ,0 证明：，时，当且仅当，有则随着网络状态的变化，且为单调连续递增的函数定理：若 idtdEdtdvdtdEvcdtdvvcdtdEiiiiniiiii 0 00 ,0 1121时仅当单调递增，此定理表明，随着时间的演化，网络的状态总是

14、朝能量减少的方向运动。网络的平衡点就是E的极小点。关于Hopfield能量函数的几点说明 当对反馈网络应用能量函数后，从任一初始状态开始，因为在每次迭代后都能满足E0，所以网络的能量将会越来越小，最后趋于稳定点E=0。Hopfield能量函数的物理意义是：在那些渐进稳定点的吸引域内，离吸引点越远的状态，所具有的能量越大，由于能量函数的单调下降特性，保证状态的运动方向能从远离吸引点处，不断地趋于吸引点，直到达到稳定点。几点说明：1）能量函数为反馈网络的重要概念。根据能量函数可以方便的判断系统的稳定性；2）能量函数与李雅普诺夫函数的区别在于：李氏被限定在大于零的范围内，且要求在零点值为零；3）Ho

15、pfield选择的能量函数，只是保证系统稳定和渐进稳定的充分条件，而不是必要条件，其能量函数也不是唯一的。关于CHNN的几点结论 1）具有良好的收敛性；2）具有有限个平衡点；3）如果平衡点是稳定的，那么它也一定是渐进稳定的；4）渐进稳定平衡点为其能量函数的局部极小点；5）能将任意一组希望存储的正交化矢量综合为网络的渐进平衡点；6）网络的存储信息表现为神经元之间互连的分布式动态存储；7）网络以大规模、非线性、连续时间并行方式处理信息，其计算时间就是网络趋于平衡点的时间。Hopfield网络在组合优化中的应用 w组合优化问题，就是在给定约束条件下，求出使目标函数极小（或极大）的变量组合问题。w将H

16、opfield网络应用于求解组合优化问题，就是把目标函数转化为网络的能量函数，把问题的变量对应于网络的状态。这样当网络的能量函数收敛于极小值时，问题的最优解也随之求出。w旅行商问题，简称TSP（Traveling Salesman Problem）。问题的提法是：设有N个城市，,记为：,用dij表示ci和cj之间的距离，dij0,(i,j=1,2,n)。w有一旅行商从某一城市出发，访问各城市一次且仅一次后再回到原出发城市。要求找出一条最短的巡回路线。Nccc,21NcccC,21N=5 TSP Probelm N=5，并用字母A、B、C、D、E、分别代表这5个城市。当任选一条路径如B-D-E-A-C,，则其总路径长度可表示为 第一步就是将问题映照到一个神经网络。假定每个神经元的放大器有很高的放大倍数，神经元的输出限制在二值0和1上，则映照问题可以用一个换位矩阵（Permutation Matrix）来进行，换位矩阵可如下图所示。CBACEADEBDdddddS换位矩阵次序城市12345A00010B10000C00001D01000E00100约束条件和最优条件 矩阵的每个元素对应于神