第四讲人工神经网络.docx

《第四讲人工神经网络.docx》由会员分享，可在线阅读，更多相关《第四讲人工神经网络.docx（9页珍藏版）》请在优知文库上搜索。

1、第四讲人工神经网络教学内容：本章主要学习经典人工神经网络模型、深度神经网络模型以及它们之间的联系和区别。(学点：反向传播算法、深度卷积神经网络模型。教学难点：反向传播算法、深度循环神经网络模型。教学方法：课堂教学为主,结合智慧树等在线平台实时提问、收集学生学习情况，充分利用网络课程中的多媒体素材来表示深度神经网络的结构和功能。讨论五分钟。课后布置作业，要求学生查找、阅读与人工神经网络有关的经典论文等。学习慕课第四章人工神经网络并完成章节测试。教学要求：重点掌握基本人工神经元模型、经典反向传播穿法原理、深度卷积神经网络原理及实现过程。了解深度神经网络是在浅层神经网络基础上发展而来的，是联结主义发

2、展而来的新方法。课程思政内容：在人工神经网络的发展历史上，曾经经历三次低谷和两次高潮，伴随着人工智能的发展历史。但是，即使是在处于低潮时期，少数科学家仍然坚持自己的努力方向，不随波逐流，凭借长期的努力和坚定的信念，终于发展出深度神经网络，并在今天的社会发挥巨大作用。要学习科学家们这种咬定青山不放松、持之以恒、不忘初心的科学拼搏精神。学习目标：1 .掌握和理解人工神经网络基本原理、算法和实现过程；2 .掌握和理解传统人工神经网络与深度神经网络的关系：3 .学习和了解人工神经网络研究内容和应用。学习导言人工神经网络(ArlifiCiaINeU同NelWork,ANN)自诞生以来，在人工智能领域有着

3、举足轻重的地位和作用，整个人工神经网络发展历史都可以看作是人工智能的发展史。特别是20世纪80年代，人工神经网络的研究取得了重大进展，有关理论、方法已经发展成一门介于物理学、数学、计算机科学和神经生物学之间的交叉学科，它不仅是当今人工智能学术研究的核心,更在实际应用中大放异彩,成为人工智能的主流技术。人工神经网络在包括视觉、听觉等感知智能，机器翻译和语音识别、聊天机器人等语言智能，棋类、游戏等决策类应用，以及艺术创造等方面所取得的重要成就，证明了多年来联结主义路线，即以人类大脑神经系统为原型设计人工智能方法的正确性，也是结构主义思想的胜利。本章从最基础的人工神经元开始，经典的人工神经网络方法过

4、渡到深度神经网络，全面理解现阶段主流的深度学习技术的基础一深度神经网络的发展脉络和原理,为了解目前人工智能应用背后的核心技术奠定基础。4 .1如何构建人工神经网络人工神经网络从域初的心理学研究发展到早期人工智能联结主义方法，到现在成为人工智能的主流方法，也是最重要的方法，其取得成功的原因在于对大脑的结构模拟。尽管这种模拟是粗略，并不是真实更现大脑的神经元之间的联结模式和结构，但其在应用上取得的成功说明“结构决定功能”在人工智能中一定程度是成立的。(4-1)(4-2)(4-3)(4-4)j批注11：怎么两个式子？ ？ ？上述神经元的活动可以用公式4/和42进行表达：=心=%-Q)i=dik)尤=

5、以匕)=/(-9)=/(吗七一6)”=/(；)将式子42进行整理，则有：。=w,EJ-Oy=()=dE%J式子4-3和4乂中，Xi)=-I时，权值%=0。1.单层感知器感知器模型是一个只有单层计算单元的前馈神经网络，称为单层感知器，其结构如图4.5,圆圈代表神经元，神经元作为基本单位，也是输入信号的节点，网络连接权值3模拟生物神经元间的连接关系，在输入层和输出层的神经元之间建立起连接关系，同一层神经元之间不连接。感知器的网络结构可以用式子4-6进行表达：|y.=g(u,0)=g(alXWl+a2m+aiw)y=F(X)=maxx,x.(4-5)式子4-6中，y代表感知器的输出信号，(4M2,q

6、)和分别代表输入信号和网络连接权值,将所有的输入信号加权求和类似神经元模型中的激活函数f(),这里也有个功能函数g(),R(E)决定输出信号的状态。图4.5中的感知器模型近似模拟了神经元的功能，现在利用这个感知器模型就可以实现简单的分类了。例子4.1:假设待分类的生鲜有：豆角、绿苹果、茄子、洋葱和西瓜，要求将这些生鲜分成水果和蔬菜两类。解：首先，对待分类的生鲜进行特征提取，采用颜色、形状和口感三个特征量作为输入，用0、如、。3来分别表示，设定生鲜的特征值如表4.1。表4.1中，颜色特征1代表绿色，-1代表紫色：形状特征1代表圆形，T代表条形：口感特征1代表（生吃）好吃，-1代表（生吃）不好吃；

7、表4.1特征值定义生鲜颜色4形状g口感外豆角1血色）-I（条形）-I（不好吃）绿球果1（绿色）I（圆形1（好吃）茄子-1（紫色）-I（条形）-1（不好吃）洋葱-1（紫色）1（圆形）-I（不好吃）西瓜1俗色）1（圆形）1（好吃）其次，定义感知器的输出：1代表水果,T代表蔬菜。假设网络连接权值以=吗=吸=1,功能函数g（）选用Sign函数g（x）=F;现在我们看一下，利用感知器模型式子4-5计-LXO算的分类结果：豆角：yi=gll+（-ll）+（-ll）=g（-l）三-l绿苹果：yl=（1l+ll+l1）=g（3）=l茄子：2=（-11）+-1x1+（-11）J=（-3）=-1同理，对表4.1中

8、的洋葱和西瓜进行分类计算，洋葱以-1）=-1、西瓜g（3）=l,可以看到图4.5中的单层感知器能够对表4.1中的生鲜进行准确分类。4.2神经网络的训练-反向传播算法反向传播（BackPropagation.BP）算法就是迄今为止最成功和使用最多的神经网络学习算法。BP算法是一种相对感知器的简单学习规则有了较大进步的学习算法，一类通用“学习规则”的本质就是梯度下降，即找到一个函数的局部极小值.梯度下降法是个阶最优化算法，要找到一个函数的局部极小值，必须在函数上当前点对应梯度(或者是近似梯度)的反方向以规定步长进行迭代搜索。般的人工神经网络确定网络结构之后，就会利用算法进行训练。在4.1.2节单层

9、感知器分类水果和蔬菜的例子中，我们得知正确分类的关键就是选择或者找到一组合适的网络权值卬，这个过程就是算法训练的过程。(1)激活函数的选择/W1T+77(4-12). 批注|3:图中正余I体不规范，大小写不规范激活函数/(.)选用式子4-13的Sigmoid函数，因为采用梯度下降法求导，娈求函数是连续可导的，阶跃函数不连续因此不可导，而Sigmoid函数曲线平滑连续可导(如图4.9),并且如公式4-13有“函数导数可以用函数本身表示”的特性，可以使BP算法的公式推导获得简化的表达。(4-13)(2)确定网络模型结构和参数假设输入层有，“个神经元，隐藏层有A个神经元，输出层有个神经元，则网络模型

10、：输入层输入xxltxiXG隐藏层输入%=(%,%ha)隐藏层输出=(i,2,.,m)输出层输入y=(%,%)输出层输出%=(为,%,.,%)期望输出do(dl,d2vl,htb(k)-boo=,2n(4-16)-l输出层输出%,(左)=/(拈伏)？O=L2(4-17)（4）损失函数P的计算P=1力4,伏）-凡（初24-18）2“t我们需要找到一组连接权值卬，让系统实际输出或等于或接近期望输出4,用损失函数尸来评价实际输出和期望输出的差距，则问题就变为求。的极小值。（5）采用梯度下降法找到损失函数P的局部极小值。ap P yio=-Wk)-ytxf(k)fyi,(k)htjll(k)G幻= Y

11、(W心(4-19)其中，(k) = dn(k)-ym(k)fyjk)(4-20)批注4：正斜体不规范！ ！ ！【注】：全文注意此类问题，3PAP如伏）孤伏）加k=%“”加以初卜伏）（4-21）fo=-ll（k）xi（k）其中，“=停,伏山1%伏）j）4-22）这里省略式子4-19和式子4-21的详细推导过程，由式子422我们可以看到，误差项心（幻可以由误差项2伏）计算得到，如果存在多个隐藏层，这个特质依然成立，即第/层的个神经元的误差项是所有与该神经元相连的第1+1层的神经元的误差项乘以权值再求和，然后再乘上该神经元激活函数的梯度，这就是误差的反向传播。（6）调整权值和偏置参数(4-23)(4-24)*=H+嗝(&)%(2)喏=喷+哂,(DMR：为控制权值调整速度的常数，又称为学习率，0v用式子4-20和4-22反向计算斑层的谩差X,/为腐络的层数；(3用式子4I9和421计算摊一层参数的偏导：=-,(*K,(*)4-25)=-(),(*)4-26)(4)史新赛数：变=磋+9427)M)=W+“焉:：1000imageIMhiddenuntFillersize：10*10lMparameters从输入层到隐藏层的这种映射为特征映射，共享权值和共享偏置就是定义在特征图上