第二篇 第六章 神经网络（焦）——汤 .docx

《第二篇 第六章 神经网络（焦）——汤 .docx》由会员分享，可在线阅读，更多相关《第二篇 第六章 神经网络（焦）——汤 .docx（17页珍藏版）》请在优知文库上搜索。

1、第八章人工神经网络第一节人工神经网络概述在您阅读这本书的时候，大约有10个相互连接的神经元在帮助您阅读、呼吸、思考，以及完成各种各样的动作。这些神经元中，有些有着与生俱来的功能，比如呼吸、吮吸，有些则是由后天训练得到的，比如阅读、语言。虽然人们并不完全清楚生物的神经网络是如何工作的，但是根据神经元的基本工作原理而构造的“人工神经元”，可以模拟“人脑”的某些功能，这就是本部分所要讨论的内容。人工神经网络(ArtificialNeuralNetwork,ANN)是在人类对大脑神经网络认识理解的基础上人工构造的能够实现某种功能的神经网络。它是理论化的人脑神经网络的数学模型，是基于模仿大脑神经网络结构

2、和功能而建立的一种信息处理系统。它实际上是由大量简单元件相互连接而成的复杂网络，具有高度的非线性，是能够进行复杂的逻辑操作和非线性关系实现的系统。人工神经网络吸取了生物神经网络的许多优点，因而有其固有的特点，包括：(1)高度的并行性；(2)高度的非线性全局作用；(3)良好的容错性与联想记忆功能；(4)十分强的自适应、自学习功能。人脑神经系统的基本构造单元是神经元，它与人体中其它细胞的关键区别在于具有产生、处理和传递信号的功能。每个神经元都包括三个主要部分：细胞体、树突和轴突。树突的作用是向四方收集由其他神经元传来的信息，轴突的功能是传出从细胞体送来的信息。每个神经元所产生和传递的基本信息是兴奋

3、或抑制。在两个神经元之间的相互接触点称为突触。简单神经元模型如图8-1所示。图8-1简单神经元模型从信息的传递过程来看，一个神经元的树突，在突触处从其他神经元接受信号。这些信号可能是兴奋的，也可能是抑制的。所有树突接受到的信号都传到细胞体进行综合处理。如果在一个时间间隔内，某一细胞接受到的兴奋信号量足够大，以至于使该细胞被激活，而产生一个脉冲信号。这个信号将沿着该细胞的轴突传送出去，并通过突触传给其他神经元。神经元通过突触的联接形成神经网络。人们正是通过对人脑神经系统的初步认识,尝试构造出人工神经元以组成人工神经网络系统，来对人的智能，甚至是思维行为进行研究，尝试从理性角度阐明大脑的高级机能。

4、人工神经元仿效生物神经元最基本的特征，与生物原形相对应,其主要结构单元是信号的输入、综合处理和输出，其输出信号的强度大小反映了该单元对相邻单元影响的强弱。人工神经元之间通过相互联接形成网络，称为人工神经网络。神经元之间相互连接的方式成为连接模式,相互之间的连接度由连接权值体现。在人工神经网络中，改变信息处理过程及其能力的过程,就是修改网络权值的过程。目前多数人工神经网络的构造都采用以下原则：(1)由一定数量的基本单元分层连接构成；(2)每个单元的输入、输出信号以及综合处理内容都比较简单；(3)网络的学习和知识的存储体现在各单元之间的联接强度上。随着人工神经网络技术的发展，其用途日益广泛，应用领

5、域也在不断扩展，己在各工程领域中得到广泛应用。人工神经网络技术可用于如下信息处理工作：函数逼近、感知觉模拟、多目标跟踪、联想记忆及数据恢免等。具体而言，主要用于解决下述几类问题：(1)模式信息处理和模式识别。神经网络经过训练可有效地提取信号、语音、图像、雷达、声纳等感知模式的特征,并能解决现有启发式模式识别系统不能很好解决的不变测量、自适应、抽象或概括等问题。神经网络可以应用于模式识别的各个环节，如特征提取、聚类分析、边缘检测、信号增强、噪声抑制、数据压缩等。模式识别是人工神经网络特别适宜求解的一类问题，神经网络模式识别技术在各领域中的广泛应用是神经网络技术发展的一个重要侧面。(2)人工智能。

6、专家系统是人工智能领域研究时间最长，应用最成功的技术，但人们在应用专家系统解决诸如语音识别、图像处理和机器人控制等这类类似于人脑的形象思维的问题时，却遇到很大困难.神经网络为人工智能开辟了一条暂新的途径，成为人工智能研究领域中的后起之秀。(3)控制工程。神经网络在诸如机器人运动控制、工业声场中的过程控制等复杂控制问题方面有独到之处。较之基于传统数字计算机的离散控制方式，神经网络更适于组成快速实时自适应控制系统。(4)联想记忆。联想记忆的作用是用一个不完整或模糊的信息联想出储存在记忆中的某个完整、清晰的模式来。如何提高模式存贮量和联想质量仍是神经网络的热点之一。目前在这方面的应用有内容寻址器、人

7、脸识别器、知识数据库等。(5)信号处理。神经网络的自学习和自适应能力使其成为对各类信号进行多用途加工处理的一种天然工具，主要用于解决信号处理中的自适应和非线性问题。包括自适应均衡、自适应滤波、回波抵消、自适应波束形成和各种非线性问题。虽然神经网络在许多领域都有成功的应用案例，但神经网络也不是尽善尽美的。目前，神经网络的理论研究和实际应用都会在进一步的探索之中，相信随着人工神经网络研究的进一步深入，其应用领域会更广，用途会更大。第二节人工神经网络的基本结构与模型一个人工神经网络的神经元模型和结构描述了一个网络如何将他的输入矢量转化为输出矢量的过程。这个转化过程从数学的角度来看就是一个计算过程。也

8、就是说，人工神经网络的实质体现了网络输入和输出之间的函数关系。通过选取不同的模型结构和激活函数，可以形成各种不同的人工神经网络，达到不同的设计目的。一、人工神经元的模型神经元是人工神经网络的基本处理单元，它一般是一个多输入、单输出的非线性元件。神经元输出除受信号影响外，同时也受到神经元内部其他因素的影响，所以在人工神经元的建模中，常常还加有一个额外的输入信号，成为偏差(bais),有时也称为阈值或门限值。一个具有r个输入分量的神经元如图8-2所示。其中，输入分量PJ(/=1,2,/)通过与和它相乘的权值分量Wj(J=1,2,)相连，以=S吗Pj的形式形成激活函7=1数f()的输入。激活函数的另

9、一个输入是神经元的偏差力。图8-2单个神经元模型权值Wj和输入P,的矩阵形式可以由行向量W和列向量P来表示：W=卬,卬2，叼P=Pl，P2，PrY神经元的输入向量可以表示为：A=f(WP+b)=；=1可以看出偏差被简单的加在WP上作为激活函数的另一个输入分量。实际上偏差人也是一种权值，只是它的输入为恒为1,这就保证了输入与权值的乘积仍为人。在网络设计中，偏差起着重要的作用，它使得激活函数的图形可以左右移动而增加了解决问题的可能性。二、激活转移函数激活函数(ACtiVatiOntransferfunction)是一个神经元及网络的核心。网络解决问题的能力与功效除了与网络结构有关，在很大程度上取决

10、于网络所采用的激活函数。激活函数的基本作用是：(I)控制输入对输出的激活作用；(2)对输入、输出进行函数转换；(3)将可能无线域的输入变换成制定的有限范围内的输出。下面是几种常用的激活函数:(1)阈值型这种激活函数将任意输入转化为。或1输出,函数/()为单位越阶函数，具有此函数的神经元的输入输出关系为:1A=/，+。）/VVP+Z?0WP+b-2(nZ?)S型激活函数具有非线性放大增益，对任意输入的增益等于在输入输出曲线中该输入点处的曲线斜率值。利用该函数可以使同一神经网络既能处理小信号，又能处理大信号。如果网络神经元中所具有的激活函数是线性的，则称这个神经网络是线性的，反之则称之为非线性的。

11、例1设尸=23-54r,W=().1().3().50.1r,6=0.2,求其阈值型输出结果和线性型输出结果。解：WP+b=ZWjP/+Z?=0.2+0.92.5+0.4+0.2=-0.8；=1由于WP+7V,所以阈值型输出结果/(WP+力=0线性型输出结果/(WP+h)=-0.8三、单层与多层神经网络模型结构将两个或更多的简单的神经元并联起来，使每个神经元具有相同的输入矢量P,即可组成一个神经元层，其中每一个神经元产生一个输出，图8-3给出了一个具有个输入分量,S个神经元组成的单层神经元网络。图8-3单层神经网络模型结构从结构图中可以看出，输入矢量P的每个元素Pj(I/=1,2,j),通过权

12、矩阵W与每个输出神经元相连，每个神经元通过一个求和符号，再与输入矢量进行加权求和运算，形成激活函数的输入矢量，并经过激活函数了()作用后得到输出矢量A,它可以表示为：Avxl=(11)其中S为神经元个数，上式字母的下标给出了矢量矩阵的维数。一般情况下，输入分量数目r与神经元数目S不一定相等。网络权矩阵为：其中行表示神经元的个数，列表示是入矢量的维数，例如“2表示第二个输入的数值到第一个神经元之间的连接权值。将两个以上的单层神经网络连接起来，就组成了多层神经网络。一个人工神经网络可以有许多层，每层都有一个权矩阵W,一个偏差矢量3和一个输出矢量A,一般称第一层的权矩阵和输出矢量为Wl和Al,第二层

13、的权矩阵和输出矢量为W2和A2,以此类推。以三层神经网络为例，其简化的网络结构见图8-4,第一层的输出结果为第二层的输入矢量，第二层的输出结果又为第三层的输入矢量，第三层则输出最终的结果。一般情况下，不同层有不同的神经元个数，每个神经元都带有一个输入为常数I的偏差值。多层神经网络的每一层起着不同的作用，最后一层为网络的输出，称为输出层，所有其它层称为隐含层，因此一个三层的神经网络是包含两个隐含层和一个输出层的。第三节线性神经网络自适应线性神经元ADA1.INE(ADAptive1.inearNEuron)是在1960年由斯坦福大学教授B.Widrow和MHoiT提出的，它是线性神经网络最早的典

14、型代表，其学习算法称之为1.MS(leastmeansquares)算法或W-H(Widrow-Hoff)学习规则。一、线性神经网络模型及学习规则线性神经网络模型如图8-4所示。图8-4线性神经网络层模型线性神经元的传输函数为线性函数，线性神经网络层的输出为A=f(WP+b)=WP+b线性神经网络层的输出可以取任意值，而且可以是多层的，但是只能求解线性问题，而不能用于非线性计算。自适应线性神经元是一个自适应可调的网络，适用于信号处理中的自适应滤波、预测和模式识别。对线性神经网络可以不经过训练直接求出网络的权值和阈值，如果网络由多个零误差解，则取最小的一组权值和阈值；如果网络不存在零误差解，则取

15、网络的误差平方和最小的一组权值和阈值。因为线性系统有唯一的误差最小值，在这种情况下，根据给定的一组输入向量和目标向量，可以计算出实际输入向量和目标向量的误差最小值。另外，当不能直接求出网络权值和阈值时，线性神经网络及自适应线性神经网络可采用使均方误差最小的学习规则，即1.SM算法，或称之为W-H学习规则来调整网络的权值和阈值，它是一种沿误差的最陡下降方向对前一步权值向量进行修整的方法。对于r个训练样本(P1，。)，(P22)(Pr/r)W-H学习规则的基本思想是要寻找最佳的W,b,使各设神经元输出的均方误差最小。神经元的均方误差为f&-氏)2_=lI上式中：r一训练样本数；。一神经元输出的实际值;t神经元输出的期望值。为了寻找最佳的W,，使每个神经元输出的均方误差最小，以X代表W或力，