3、人工智能技术基础思考与练习题答案.docx

《3、人工智能技术基础思考与练习题答案.docx》由会员分享，可在线阅读，更多相关《3、人工智能技术基础思考与练习题答案.docx（18页珍藏版）》请在优知文库上搜索。

1、思考与练习题答案第1章1 .什么是人工智能？试从学科和能力两方面加以考虑.答：人工智能是研究用计算机对人类的智能进行模拟和扩展的一门技术科学,其目的是让机器使用与人类相似的智能对信息进行处埋和加工.2 .在人工智能的发展过程中.有“思，起了“作用？答：（1）模拟人的逻辑思维能力.（2模拟人的大脑结构.（3）模拟人的行为能力.3 .人工智能研究包括要些内容？这些内容的要性如何？答：（1人工神经网络.简单模拟生物神经网络，构造人工智能模型的基础；（2）知识图谱.用图模型表示知识、实现知识推理的技术,是构建逻辑思维的基础结构：3图神经网络，图和神经网络相结合的产物，砂合形象思处和逻辑思维的桥梁：（4

2、）机器学习方法，确定模型参数的方法，实现模型优化的核心技术。第2章1 .什么是神经网络？请写出抻鲤网络的基本结构.答：人工神经网络是由大J1.t人工神经元按一定规则连接构建成的网络结构，是一种模仿生物神经网络行为特征具有分布式并行信息处理能力的数学模型。人工神经网络有三种基本结构：（1）前馈型网络：单向多层网络结构.其中每一层包含若干个人工神经元，同一层的人工神经元之间没有互相连接，层间信息的传送只沿一个方向进行。（2）反馈盘网络：网络中的人工神经元不仅可以接受其它人工神经元的信号，同时也格自身的怆出信号作为输入佶号.（3）自组织神经网络：通过自动寻找输入信恩中的内在规律和木质属性，自组织、自

3、适应地改变网络参数与结构的人工神经网络,自组织网络中的节点与其邻域内其他节点广泛相连.并互相激励,具备自主学习能力.2 .计算Re1.U函数的导数，说明Re1.U函数的死亡问题.答：Re1.U函数在X取值为.负的情况卜，函数输出值为0,在其它情况下为雄性函数，因此,其导数仅在X为正时存在等于1.但布干Re1.U函数使得所有小于。的输入信号部等于0,这使得更新参数之后，会出现参数无法继续更新的情况，W存在Re1.U函数死亡何典，3 .与计算机程序，分别使用梯度下降法，机梯度下降法比较诚险结果.答：可以自己选择任意可做函数.使用任何计算机谱小例如MtaIab.Python.娘程实现两种梯度下降法，

4、对比实照结果.4为什么使用反向传播算法进行套效更新时，不宜接初始化为。？答：由于反向传播曾法是基于梯僮下降的递推优化算法，梯度与参数直接相关，如果将参数初始化为零，那么将V致梯度为零，进而使卷数无法更新，因此多数不能直接初始化为0.5 .试述反向传播的基本学习算法.答：反向传播修法包含两个过程,输入信息沿背神经网络从前向后正向传播，计辣损失除数：然后利用损失函数计驾广义误差并从神经网络从后向前反向传播,进而利用广义误差进行神经网络参数更新，6 .写计算机程序，用动法实现两层神短网络对MNIST手写数据集的识别答：可以使用任何计算机语言，例如Mta1.ab.Python.编程实现，注意这里的两层

5、神经网络指的是含有一个溶层的前向神经网络。第3章1 .什么是卷积探作？说明步长、填充分别指的是什么.答：利用卷枳核对怆入图像做卷枳运算，以检冽输入图片的局部特征.步长即卷积核在原始图片上做卷积时摊次滑动的像素点。填充指为输入特征图进行边界埴充，保证送积运算后得到需要大小的特征图.2 .什么是液化掾作？说明油化M1.作的种类和作用有寿些.答：池化操作用于改变的是图像的尺寸，加大值池化提取池化区域的最有奴特征，平均池化提取池化区域的平均特征.步长指池化操作的特征图上的滑动距高,填充用于上采样（反向池化）在相应区域填零，3 .试述IeNet-5、A1.ex-Net.VGGNet的网络结构答：参照书中

6、给出的网络绪构图进行描述.4 .试述InCePt1.on、ResNet,SENet相对于VGG-Net的鼻同点答：参照书中给出的网络结构图进行描述.5 .试用编程实现InCePtion、ResNet,SE-ReSNet等网络模型，井对比分析实殴结果.答：可以使用任何计算机语言，例如Mta山b.Python.在相应的环境卜编程实现.1 .什么是循环钟经网络？为什么要使用循环神经网络？面要说明其原理.答：循环神经网络(ReCUrremNeUra1.Network,RNN)足一类处理序列数据的人工神经网络，相较于卷枳神经网络关注的是数据中的局部特征，循环神经网络关注的是序列数据中按照序列顺序的前后依

7、赖关系.它将先前数据的计算结果与之后的数据一同计算产生新的结果，如此循环往发.正是因为循环M络对于不同时间步的数据不是同时计算的，因而可以处理可变长度的序列数据，大大扩大了应用的树,2 .对于一个单层且时间步为3的一环神较网络，请写出进行第一次前向梅搭的过程.答：单层RNN的网络方程如下，对于f时刻：声“(。/)+Wa)+b)(1)其中为激活函数，般来说会选择tanh函数，b为储汽;XM,m)分别为网络输入和除层输出输出层输出为:=(Vh1.ti+c)(2)其中3为激活函数.通常RNN用于分类任务，故这里一般用SoftmaX函数.第一次前向传播过程如卜：由于初始时刻，M=0,故第一次前向传播隐

8、层输出为：h(=(,+b)输出层输出为:W(VTJ+c)3 .请用考对于诗政等文本生成任务可以采用舞和网络结构，并简述调练海程.答：由于诗歌等文本生成何跑均能对输入的作谆的要求进行理解，而这些要求是有前后顺序的序列数据，因此必须采用有处理序列数据能力的RNN或TranSfOrmer为础的网络结构。这类网络结构的训练同样采用有教师的误差方向传播算法进行，其训练流程包括正向传播输入数据,反向传播广义误差，进而实现网络权位的更新V个过程.4 .简述循环神短网络首向传播和反向传播的过程.答：由于循环神经网络可以按时间展开成前向神经网络,因此它也可以使用误差反向传播算法进行训练,也包含前向传播和反向传播

9、两个过程,能要注意的是RNN中的权仪包含输入权、反馈权和输出权三种，且在层之间是不变的，前向传报的过程是从输入层开始，通过网络的每一层，直到输出层（这里的层是按时间展开的RNN的层）.在前向传播过程中，输入数据通过网络的每一层进行计算,最终得到抬出结果.这个过程是计算网络对输入数据的预测结果，反向传播的过程是在前向传播的基础上进行的.在反向传摘过程中,首先计算损失的数对输出结果的梯度，然后将这个梯度通过网络的卷一层反向传播回怆入层.这个过程是计扰网络参数的更新量，以使得网络的预测结果更加接近于宾实结果。在前向传播和反向传播的过程中，需要注意权於的更新和梯度的计算.权重的更新是根据梯度的方向和大

10、小诳行的，而梯度的计豫是根据损失函数时输出结果的偏注数进行的，因此，在进行反向传播时，需要计算损失函数对输出结果的倒分数，然后通过琏式法则计分每一层神经元的梯度,坡后根据梯度更新每一层的权重.通过前向传播和反向传播的反复迭代，网络的权重会不断更新，使得网络的预测结果更加接近于真实结果.诚终.当网络的损失函数达到一个较小的值或者不再明雅下降时,可以认为网络已羟训练好了.5 .简述什么是梯度消失和“梯度炸”,如何处理循环神短网络中出现的“梯度消失和巾度炸”问题？答：在神姓网络的训练过程中广义误差趋于零的现象称“梯度消失”，玲于无穷则称为“梯度爆炸工在循环神经网络中可以采用Re1.U函数作为神经元的

11、的激活函数解决“梯度消失”问题，但Re1.U函数的导致在其输入大于零时恒为1这又会导致“梯度爆炸”现象出现，这可以设置广义误差的最大值或枭用逐层正则化（按时间步展开的虚拟层）来斛决,6 .IQ述ISTM网络的结构原理.答：1.STM是RNN的曲进，通过增加陞层细胤状态变冰和U控机制提两网络附层的存储容比，精妙的门控制将除层的状态信息（可以看整长期记忆）和当前时刻的输入信息（可以看作短期记忆）结合起来,有效地提高/网络解决复杂问题的能力.1.STM网络结构中,遗忘门拄制陷层状态的遗忘程慢，输入IJ控制网络输入对冷层状态影响，输出门控制冷层状态对隐层输出的影响.细胞状态和三个门使网络增加了6个权值

12、矩阵，大大扩展了RNN的存储能力.7 .简述1.STM网络与GRU网络的区期.答：1.STM网络的隐层仃细胞状态变依和第层输H1需要6个方程描述其工作过程.GRU将1.STM的细施状态与隐层输出合并,仅需4个方程描述其工作过程.由于GRU没有细胞状态，其记忆能力比1.3TM有所下降（权矩阵少了2个）。第5章1 .什么是注意力机制？简要说明其原31和工作过程.答：注意力机制（AttentionMechanism）是人类所特有的大脑信号处理机制.例如,人类视觉通过快速扫描全局图像，获得需要H点关注的目标区域，也就是一履所说的注迤力焦点，而后对这一又域投入更多注意力资源，获取更多所需要关注目标的细节

13、信息，抑制其他无用佶思，人类的听觉也具有同样的功能.深度神经网络中采用的注懑力机制从本质上讲利人类的选择性视觉、听觉注意力机制类似.其核心目的也是从众多信息中选择出对当前任务更关键的信息,降低对其它信息的关注度，提高任务处理的效率和准确性，深度神经网络中使用的注意力机制有两类：硬注意力（HardAttention）软注意力（SoftAttention）.硬注迤力机制的麻理和工作过程是通过技术手段（例如，检测和分割）选择输入中特定位置上的信息（例如，人的身体，人脸等，屏蔽掉其它信息,进利用选定的信息完成特定的任务.通常硬注意力的操作是不可微的，很难在深度神任网络中通过训练来褥到，因此实际应用并不

14、多，软注意力机制不同于硬注意力它不是从N个信息中只选择某几个.而是计算N个信息的加权平均.我原理和工作过程是首先对输入信息做非线性变换作为相似度或计匏询问信息（来自于输出或给入）与输入的相似度,然后将相似度检归一化处理作为加权值，呆后对粉入信息做加权处理作为注诲力输出.软注意力足可微的.可以通过神经网络算舟梯度并且利用前向传播和反向传播来学习得到注意力的权武。较注意力是【匈定性的注意力，训练完成后直接Ur以通过网络生成.软注意力还可以细分为通道注意力、空间注意力、时间注意力：自注意力和互注遗力等.2 .请说明为什么在卷积神短网络中要应用通道注意力和空间注意力.答：在卷枳神经网络中.特证图代表了

15、原始图像数据的特征,在同一层中.不同的特征图代表了不同的属性.显然,不同地性对于卷积神般网络要完成的工作贡献程度不同，应该给予不同的重视程度，因此要在卷枳神经网络中应用通道注意力以反映对通道重视程度，卷积神经网络处理图像数据中的每个像素对于所要完成的任务重要性不完全相同,同样,0层中特征图中每个像素对所完成任务的亚要性也不相同，因此给特征图的姆个像素加权有利于提高卷枳神经网络的性能,而这种加权是由空间注意力完成的，因此在卷枳网络中也要应用空间注意力.3 .自注京力的衣询=来自何处？能够解决什么何题？答：来自输入自身,能峥建立输入序列的长程关系,斛决耕入序列的信息相关性难以建立的问S.在深度神经

16、网络中应用日注意力机制能的有效提高深度神羟网络的性能.4 .说明自注It力模块不曷独立使用的*因.答：自注意力机制仅是通过寻找输入量或输入序列内部相关性给尬人加权的一种方法.不能实现神羟网络的非雄性变换功能，因此不能将自注您力机制作为深度神经M络使用.5 ,自注意力机制与RNN有什么区别？答:(1)自注意力是前向税性单层网络，不能表示非线性映射关系，但能膨建立任何反度输入长程关系，将它与某种前向神经网络结合，对于处理长程依赖关系的问题会有更好效果：RNN是反馈网络,由于激活函数的特性,训练时会出现梯度消失和梯度爆炸问题.难以建立输入数据的长程关系，所以RNN在处理涉及长程依赖关系的问邈时效果不佳.