文献阅读综述报告.docx

《文献阅读综述报告.docx》由会员分享，可在线阅读，更多相关《文献阅读综述报告.docx（10页珍藏版）》请在优知文库上搜索。

1、文献阅读综述报告论文题目：基于深度学习的简单视觉概念的单点泛化学生姓名：邱宇航学号：2015534051专业：计算机技术学院：计算机科学与技术学院指导教师：赫枫龄教授2016年10月21日填摘要人类善于仅凭单个例子对新概念和经验进行推理。特别是，人类拥有单次泛化的能力：遭遇新概念，理解其结构，然后生成这个概念的有意义的变型。大多数先进的机器学习算法都是数据饥渴的，怎么让人工智能拥有这方面的能力最近受到人们广泛关注，本文系统概述了单点泛化算法的研究进展，首先介绍了本课题的背景与意义其次介绍了研究进展,然后介绍了两种单点泛化算法,包括基于贝叶斯程序算法和基于深度学习与近似贝叶斯推断的推测能力结合的

2、算法，最后提出单点泛化算法中需要进一步改良的问题关键字：深度学习，单点学习，生成模型，贝叶斯，深度无向图模型一.课题研究背景与意义尽管在人工智能和机器学习上有显著的进展,但是在机器系统中有两个人类概念知识方面没有解决、第一、对于许多有趣的自然和人造种类人类善于仅凭单个例子对新概念和经验进行推理,然而机器学习需要成千上百个例子发现相似性。甚至小孩能通过单点学习做出有意义的推断。相反许多先进的机器学习方法是数据饥渴的,尤其是在图像和语言识别上有突破进展的深度学习模型2-7。显然数据越多其效果相对就会越好，但是假设没有大数据怎么办?何况人类的知识也是一点点积累的，对于人类来说，即便没有积累，没有相应

3、的专业知识，实际上我们也能照猫画虎。从这点上来看，以深度学习为核心的人工智能就远远不及人类，因为人类面对陌生环境依然能够通过学习做出适应变化。因此类人概念学习首先就要解决深度学习的这种弊端，即不依赖大数据也能进行自我学习。机器学习的核心挑战是解释以下两方面的人类概念层次的学习：人类怎么从很少的例子学习新的概念，人类怎么学习抽象，丰富和灵活的模型表示。结合这两方面提出：如何学习稀少数据并且产生丰富的表示。在这方面的研究如果得到突破，可以极大的提升机器学习的效率。二、国内外研究现状早在1950年图灵就提出过隔墙对话的概念，用电脑模拟人脑和人进行对话,人们不清楚到底是和人还是电脑在交谈。这种设想将计

4、算机完全智能化,期望值太高，在以后的几十年里，人工智能的开展远远没有到达预想的效果。人们开始疑心人工智能8可望不可及，相关的研究领域是伪科学。Fei-FeiLi9提出用生成对象分类模型和变分贝叶斯框架从很少的数据中表示和学习视觉对象。Salakhutdinov(2013)10等人开展了一个结合了玻耳兹曼机和等级狄利克雷过程的概率模型,可以学习层级概念类别,并且提供了强大的生成模型。GoogIe的GraVeS201411等人提出的神经图灵机，通过引入一个使用注意力程序进行交互的外部存储器externalmemory)来增强神经网络的能力。新系统可以与图灵机或者冯诺依曼体系相类比，但每个组成局部都

5、是可微的，可以使用梯度下降进行高效训练。初步的结果显示神经网络图灵机能够从输入和输出样本中推理出infer简单的算法，如复制、排序和回忆。Google的AdamSantor。2016等人口2提出了新的存储读写更新策略，架构通过参加可读写的外部存储器层，实现用极少量新观测数据就能有效对模型进行调整，从而快速获得识别未见过的目标类别的元学习能力，也就是可以利用极少量样本学习。1.ake(2015)等人13通过风格和内容的别离，利用贝叶斯规划学习实现了单点泛化，并在简单图像分类取得误差3.3%和图灵视觉测试识别率52%的成绩，把贝叶斯规划学习所具有的单点泛化能力视为神经网络模型的一大难题。Googl

6、e的DaniloJ.Rezende(2016)等人14通过把长短期记忆深度神经网络嵌入到层级隐变量模型，并与近似贝叶斯推断的推测能力结合，说明这个问题是可以克服的。得到的深度生成模型是一般性的图像模型，准确且可规模化，并且具有重要的单点泛化能力，可是失去了单点学习能力。三.单点泛化方法基于贝叶斯程序算法(BPL)概念被表示成简单的概率程序，即概率生成模型用抽象的描述语言表示其结构15,16,其中有三个核心原那么，这些原那么都很通用,既可以用在字符上，也可以用在许多其他的概念上：1. 组合性compositionality:表征是由更简单的基元构建而成。2. 因果性(causality):模型表

7、征了字符如何生成的抽象因果结构。3. 学会学习(learningtolearn):过去的概念知识能够帮助学习新概念。作为程序可以从简单原始数据中构建丰富的概念,并处理噪声和支持创造性生成，这很自然地捕捉产生类别例子的现实世界过程的因果结构。通过构造一个在贝叶斯标准下最好地解释观测结果的程序学习收益，并且学会学习17,18通过开发运行让相关概念的先验知识使新概念的学习19,20更简单的层次先验,这些先验表示了层次归纳偏差21。总之，BPL构建新程序,重用存在碎片，从多方面捕捉现实世界的因果和组合性。研究者对这个AI系统进行了几项测试。1. 研究者向系统展示它从未见过的书写系统例如，藏文中的一个字

8、符例子，并让它写出同样的字符。并不是让它复制出完全相同的字符，而是让它写出9个不同的变体，就像人每次手写的笔迹都不相同一样。例如，在看了一个藏文字符之后，算法能挑选出该字符用不同的笔迹写出来的例子，识别出组成字符的笔画，并重画出来。2. 研究者向系统展示了一个陌生书写系统中的几个不同的字符，并让它创造出一些相似的字符。3. 研究者让它在一个假定的书写系统中创造出全新的字符。与此同时，人类被试也被要求做同样的事情。最后，研究者要求一组人类裁判来自亚马逊土耳其机器人，AmazonMechanicalTurk分辨出哪些字符是机器写的，哪些是人类写的。结果，裁判的正确率仅为52%,和随机的结果差不多。

9、于是，机器通过了所谓的视觉图灵测试。算法过程procedure GenerateType Sample number ol partsfor 1. doni Sample subpar! sequence end forRit P(KISl.Si-) Sample relationend for ,- ,.S)return GENERATEToKEN(H Return programtoken levelprocedureGenerateToken(v)Ior)-!.hdovi) raw data丸exemplars 的 乳EM)IP(Wm愉Addmotorvariance1.TkP(Eu噌)

10、SamplepartsstartlocationTm,+-(s,)tComposeapart,strajectoryendforA-P(A(叫cSampleaffineIransform/闲一pmjm(m)1SamPieimagereturn/1,1基于风格style）和内容token别离技术,通过合成局部,子局部和空间关系构建概念，通过局部和子局部不同方式结合产生新概念，最后以原始数据形式呈现。基于深度生成模型的单点泛化通过把深度神经网络嵌入到层级隐变量模型,并与近似贝叶斯推断的推测能力结合，得到的深度生成模型是T殳性的图像模型，准确且可规模化，并且具有重要的单点泛化能力。深度生成模型通过层

11、级隐变量来描述观测数据的生成过程。基于有向图的模型越来越流行，其中包括离散隐变量模型如Sigmoid置信网络以及深度自回归网络22,23,和连续隐变量模型如非线性高斯置信网络和深度隐高斯模型24,25。这些模型使用深度网络来描述条件概率分布，可以学到拥有丰富的非线性结构。这些模型有些好的性质：对隐变量的推断让我们能提供对数据的因果性解释；相关概念的类比推理很自然地成为可能；遗漏的数据可以作为额外的隐变量；实现了最小描述长度原理，可用于压缩目的；可用来学习环境模拟器，让基于模拟的方案成为可能方法有两个中心原理反应和注意力。这两个原理让我们的模型能表达通过合成来分析的原理(analysis-by-

12、synthesis)o其中，对观测到的信息做出的分析被连续集成到对其构建出的解释26-28。分析通过注意力机制实现,让我们能选择性地处理和引导信息。对数据的诠释通过一系列隐变量获得，这些隐变量通过计算数据的概率来推测。这种构造的目的是引入内部反应来让模型有思考时间，以便从每个数据点更有效地提取信息。我们把这种模型称为序列化生成模型。DRAW29,组合变分自编码30和AIR31是已有的这类的模型，该方法包含了隐变量模型和变分自编码。四总结与展望本文介绍的两种点单泛化算法都能在简单图像上到达不错的单点泛化能力。可是基于深度生成模型的单点泛化还需要提高，现有的方法样本数还是太多，而且现有深度学习方法

13、没有学习能力，这些方面需要改良。1 五、参考文献2 1.andauB,SmithLB,JonesSS.TheimportanceofshapeinearlylexicallearningJ.Cognitivedevelopment,1988z3(3):299-321.3 GemanS,BienenstockE,DoursatR.NeuralNetworksandtheBias/VarianceDilemmaJ.NeuralComputation,2008,4(1):1-58.4 1.ecunY,BottouLzBengioY,etal.Gradient-basedlearningapplied

14、todocumentrecognition.ProceedingsoftheIEEEz1998z86(11):2278-2324.5 HintonGzDengL,YuD,etal.DeepNeuralNetworksforAcousticModelinginSpeechRecognition.IEEESignalProcessingMagazine,2012,29(6):82-97.6 KrizhevskyA,SutskeverLHintonGE.ImageNetClassificationwithDeepConvolutionalNeuralNetworksJ.AdvancesinNeura

15、lInformationProcessingSystems,2012z25(2):2012.7 MnihVKavukcuogluKzSilverD,etal.Human-levelcontrolthroughdeepreinforcementlearning.J.Nature,2015,518(7540):529-33.8 Y.LeCun,Y.BengiozG.Hinton.DeeplearningJ.Nature,2015,521,436-4449 BarrA,FeigenbaumEA,CohenPR.TheHandbookofartificialintelligence/M/TheHandbookofartificialintelligence.HeurisTechPress,1981:695-716.10 FeifeiL,FergusR,PeronaROne-shotlearning