第10章人工神经网络Hopfield.ppt

《第10章人工神经网络Hopfield.ppt》由会员分享，可在线阅读，更多相关《第10章人工神经网络Hopfield.ppt（74页珍藏版）》请在优知文库上搜索。

1、第第10章章霍普菲尔德（霍普菲尔德（Hopfield）神经网络神经网络1985年，年，J.J.Hopfield和和D.W.Tank建立了相互连接型的神经建立了相互连接型的神经网络模型，简称网络模型，简称HNN(Hopfield Neural Network)，并用它成，并用它成功地探讨了旅行商问题功地探讨了旅行商问题(TSP)的求解方法。前几章介绍的神经的求解方法。前几章介绍的神经网络模型属于前向神经网络，从学习的观点上看，它们是强网络模型属于前向神经网络，从学习的观点上看，它们是强有力的学习系统，结构简单，易于编程。从系统的观点看，有力的学习系统，结构简单，易于编程。从系统的观点看，它们属于

2、一种静态的非线性映射，通过简单非线性处理单元它们属于一种静态的非线性映射，通过简单非线性处理单元的复合映射可获得复杂的非线性处理能力，但它们因缺乏反的复合映射可获得复杂的非线性处理能力，但它们因缺乏反馈，所以并不是一个强有力的动力学系统。馈，所以并不是一个强有力的动力学系统。Hopfield模型属于反馈型神经网络，从计算的角度上讲，它模型属于反馈型神经网络，从计算的角度上讲，它具有很强的计算能力。这样的系统着重关心的是系统的稳定具有很强的计算能力。这样的系统着重关心的是系统的稳定性问题。稳定性是这类具有联想记忆功能神经网络模型的核性问题。稳定性是这类具有联想记忆功能神经网络模型的核心，学习记忆

3、的过程就是系统向稳定状态发展的过程。心，学习记忆的过程就是系统向稳定状态发展的过程。Hopfield网络可用于解决联想记忆和约束优化问题的求解。网络可用于解决联想记忆和约束优化问题的求解。反馈型神经网络作为非线性动力学系统，可表现出丰富多样反馈型神经网络作为非线性动力学系统，可表现出丰富多样的动态特性，如稳定性、极限环、奇怪吸引子的动态特性，如稳定性、极限环、奇怪吸引子(混沌混沌)等。这些等。这些特性是神经网络引起研究人员极大兴趣的原因之一。研究表特性是神经网络引起研究人员极大兴趣的原因之一。研究表明，由简单非线性神经元互连而成的反馈动力学神经网络系明，由简单非线性神经元互连而成的反馈动力学神

4、经网络系统具有两个重要特征：统具有两个重要特征：1.系统有若干个稳定状态，如果从某一个初始状态开始运动，系统有若干个稳定状态，如果从某一个初始状态开始运动，系统总可以进入其中某一个稳定状态；系统总可以进入其中某一个稳定状态；2.系统的稳定状态可以通过改变各个神经元间的连接权值而系统的稳定状态可以通过改变各个神经元间的连接权值而得到。得到。Hopfield神经网络设计与应用的关键是对其动力学特性的正神经网络设计与应用的关键是对其动力学特性的正确理解：网络的稳定性是其重要性质，而能量函数是判定网确理解：网络的稳定性是其重要性质，而能量函数是判定网络稳定性的基本概念。络稳定性的基本概念。网络结构形式

5、网络结构形式 Hopfield网络是单层对称全反馈网络，根据激励函数选取网络是单层对称全反馈网络，根据激励函数选取的不同，可分为离散型和连续性两种（的不同，可分为离散型和连续性两种（DHNN,CHNN）。）。DHNN：作用函数为：作用函数为函数函数，主要用于联想记忆。，主要用于联想记忆。CHNN：作用函数为：作用函数为S型函数，主要用于优化计算型函数，主要用于优化计算 非线性系统状态演变的形式非线性系统状态演变的形式 在在Hopfield网络中，由于反馈的存在，其加网络中，由于反馈的存在，其加权权 输入和输入和ui，i=1n为网络状态，网络的输出为为网络状态，网络的输出为y1yn，则则u,y的

6、变化过程为一个非线性动力学系的变化过程为一个非线性动力学系统。可用非线性差（微）分方程来描述。一般统。可用非线性差（微）分方程来描述。一般有如下的几种状态演变形式：有如下的几种状态演变形式：（1）渐进稳定）渐进稳定 （2）极限环）极限环 （3）混沌现象）混沌现象 （4）状态轨迹发散）状态轨迹发散网络结构及网络结构及I/O关系关系对于以符号函数为激励函数的网络，网络的方程可对于以符号函数为激励函数的网络，网络的方程可写为：写为：图2.8.2 nitutxtxwtuiinjijiji,2,1 )1(sgn)1()1(1离散型 Hopfield神经网络Hopfield网络为对称网络，网络为对称网络，

7、wij=wji。当。当wii0时为无时为无自反馈型，反之为全自反馈型自反馈型，反之为全自反馈型两种工作方式两种工作方式 （1）串行工作方式）串行工作方式 在某一时刻只有一个神经元在某一时刻只有一个神经元改变状态，而其它神经元的输出不变。这一变化改变状态，而其它神经元的输出不变。这一变化的神经元可以按照随机的方式或预定的顺序来选的神经元可以按照随机的方式或预定的顺序来选择。择。（2）并行工作方式）并行工作方式 在某一时刻有在某一时刻有N个神经元改个神经元改变状态，而其它的神经元的输出不变。变化的这变状态，而其它的神经元的输出不变。变化的这一组神经元可以按照随机方式或某种规则来选择。一组神经元可以

8、按照随机方式或某种规则来选择。当当N=n时，称为全并行方式。时，称为全并行方式。DHNN的稳定工作点的稳定工作点1(1)()sgn()niiijiijX tX tw x t DHNN的状态变换的状态变换从从Hopfield网络的模型定义中可以看到对于网络的模型定义中可以看到对于n节点的节点的HNN有有2n个可能的状态，即网络状态可以用一个包含个可能的状态，即网络状态可以用一个包含0和和1的矢量表示的矢量表示每一个时刻整个网络处于一个状态，状态的变化采每一个时刻整个网络处于一个状态，状态的变化采用随机异步更新方式，即随机地选择下一个要更新的用随机异步更新方式，即随机地选择下一个要更新的神经元，且

9、允许所有神经元具有相同的平均变化概率。神经元，且允许所有神经元具有相同的平均变化概率。节点状态更新包括三种情况：由节点状态更新包括三种情况：由0变为变为1、由、由1变为变为0和状态保持不变。和状态保持不变。按照单元异步更新工作方式，某一时刻网络中只有按照单元异步更新工作方式，某一时刻网络中只有一个节点被选择进行状态更新，当该节点状态变化时，一个节点被选择进行状态更新，当该节点状态变化时，网络状态就以一概率转移到另一状态；当该节点状态网络状态就以一概率转移到另一状态；当该节点状态保持时，网络状态更新的结果保持前一时刻的状态。保持时，网络状态更新的结果保持前一时刻的状态。DHNN的状态变换的状态变

10、换通常网络从某一初始状态开始经过多次更新后才可通常网络从某一初始状态开始经过多次更新后才可能达到某一稳态。使用异步状态更新策略有以下优点：能达到某一稳态。使用异步状态更新策略有以下优点：（1）算法实现容易，每个神经元节点有自己的状态）算法实现容易，每个神经元节点有自己的状态更新时刻不需要同步机制；更新时刻不需要同步机制；（2）以串行方式更新网络的状态可以限制网络的输）以串行方式更新网络的状态可以限制网络的输出状态，避免不同稳态以等概率出现。出状态，避免不同稳态以等概率出现。一旦给出一旦给出HNN的权值和神经元的阈值，网络的状态转的权值和神经元的阈值，网络的状态转移序列就确定了。移序列就确定了。

11、DHNN的状态变换的状态变换例例 计算如图所示计算如图所示3节点节点HNN的状态转移关系。的状态转移关系。该网络的参数为：该网络的参数为：现在以初态现在以初态(可任意选定可任意选定)v1v2v3(000)为例，以异步方式运行为例，以异步方式运行网络，考察各个节点的状态转移情况。现在考虑每个节点网络，考察各个节点的状态转移情况。现在考虑每个节点v1v2v3以等概率以等概率(13)被选择。假定首先选择节点被选择。假定首先选择节点v1，则节点状，则节点状态为：态为：网络状态由网络状态由(000)变化到变化到(100)，转移概率为，转移概率为I3假定首先选择节点假定首先选择节点v2，则节点状态为：，则

12、节点状态为：1221133123321231235,0,3wwwwww 31111sgn()sgn(0 01 02 0(5)sgn(5)1jjjvw v 2sgn(1 0(3)00)sgn(3)0v DHNN的状态变换的状态变换3sgn(2 0(3)03)sgn(3)0v 网络状态由网络状态由(000)变化到变化到(000)(也可以称为网络状态保持不变也可以称为网络状态保持不变)，转，转移概率为移概率为13。假定首先选择节点假定首先选择节点v3，则节点状态为：，则节点状态为：网络状态由网络状态由(000)变化到变化到(000)，转移概率为，转移概率为13。从上面网络的运行看出，网络状态从上面网

13、络的运行看出，网络状态(000)不会转移到不会转移到(010)和和(001)，而以而以13的概率转移到的概率转移到(100)，以，以23的概率保持不变的概率保持不变 同理，可以计算出其他状态之间同理，可以计算出其他状态之间的转移关系如图所示。图中标出了的转移关系如图所示。图中标出了状态保持不变的转移概率，其余未状态保持不变的转移概率，其余未标注的均为标注的均为13。DHNN的状态变换的状态变换 从这个例子，可以看出两个显著的特征：从这个例子，可以看出两个显著的特征：(1)状态状态(110)是一个满足前面定义的稳定状态。是一个满足前面定义的稳定状态。(2)从任意初始状态开始，网络经过有限次状态更

14、新后，都从任意初始状态开始，网络经过有限次状态更新后，都将到达该稳定状态。将到达该稳定状态。Hopfield网络是一类反馈动力学系统，稳定性是这类系统的网络是一类反馈动力学系统，稳定性是这类系统的重要特性。对于这类模型，有如下稳定性判据：重要特性。对于这类模型，有如下稳定性判据：当网络工作在串行方式下时，若当网络工作在串行方式下时，若W为对称阵，且其对角元为对称阵，且其对角元素非负，则其能量函数单调下降，网络总能收敛到一个稳定点。素非负，则其能量函数单调下降，网络总能收敛到一个稳定点。DHNN的能量函数的能量函数上例的状态转移关系有这样的规律：任意一个状态要么在同一上例的状态转移关系有这样的规

15、律：任意一个状态要么在同一“高度高度”变化，要么从上向下转移。变化，要么从上向下转移。Hopfield网络模型是一个多输入、多输出、带阈值的二态非线网络模型是一个多输入、多输出、带阈值的二态非线性动力学系统。在满足一定的参数条件下，能量函数在网络运性动力学系统。在满足一定的参数条件下，能量函数在网络运行过程中是不断降低、最后趋于稳定平衡状态的。行过程中是不断降低、最后趋于稳定平衡状态的。这种以能量函数作为网络计算的求解工具，被称为计算能量函这种以能量函数作为网络计算的求解工具，被称为计算能量函数。数。Hopfield网络状态变化分析的核心是对每个网络的状态定网络状态变化分析的核心是对每个网络的

16、状态定义一个能量义一个能量E，任意一个神经元节点状态发生变化时，能量值，任意一个神经元节点状态发生变化时，能量值都将减小。都将减小。假设第假设第i个神经元节点状态个神经元节点状态vi的变化量记为的变化量记为vi相应的能量变化相应的能量变化量记为量记为Ei。所谓能量。所谓能量Ei随状态变化而减小意味着随状态变化而减小意味着Ei总是负值。总是负值。考察两种情况：考察两种情况：(1)当状态当状态vi由由0变为变为1时，时，vi 0。(2)当状态当状态vi由由1变为变为0时，时，vi 0。DHNN的能量函数的能量函数按照能量变化量为负的思路，可将能量的变化量按照能量变化量为负的思路，可将能量的变化量Ei表示为表示为故节点故节点i的能量可定义为：的能量可定义为：1()niijjiijEw vv 1111()12niijjiijj innnijijiiijij iEw vvEw v vv 显然显然E是对所有的是对所有的Ei按照某种方式求和而得到，即式中出现的按照某种方式求和而得到，即式中出现的12因子。其原因在于离散因子。其原因在于离散Hopfield网络模型中，网络模型中，wij=wji，如直，