第6章机器学习.ppt

《第6章机器学习.ppt》由会员分享，可在线阅读，更多相关《第6章机器学习.ppt（89页珍藏版）》请在优知文库上搜索。

1、第六章 机器学习 6.1 机器学习概念机器学习概念6.2 示例学习示例学习6.2.1示例学习的两个空间模型示例学习的两个空间模型6.3 基于解释的学习基于解释的学习6.4基于案例的推理基于案例的推理6.5 加强学习加强学习 6.1 机器学习的概念机器学习的概念6.1.1 机器学习的发展历史机器学习的发展历史1.神经元模型研究阶段这个时期主要技术是神经元模型以及基于该模型的决策论和控制论;机器学习方法通过监督（有教师指导的）学习来实现神经元间连接权的自适应调整，产生线性的模式分类和联想记忆能力。具有代表性的工作有FRosenblaft的感知机（1958年）；NRashevsky数学生物物理学（1

2、948年）；WSMcCullouch与WPitts的模式拟神经元的理论（1943年）;RMFriedberg对生物进化过程的模似等。v2符号概念获取研究阶段60年代初期，机器学习的研究进入了第二阶段，在这个阶段，心理学和人类学习的模似占有主导地位，其特点是使用符号而不是数值表示来研究学习问题，其目标是用学习来表达高级知识的符号描述。在这一观点的影响下，主要技术是概念获取和各种模式识别系统的应用；研究人员一方面深入探讨学习的简单概念，另一方面则把大量的领域知识并入学习系统，以便它们发现高深的概念。这个阶段代表性的工作是温斯顿（Winston，1975）的基于示例归纳的结构化概念学习系统。v3基于

3、知识的各种学习系统研究阶段机器学习发展的第三个阶段始于70年代中期，这个阶段不再局限于构造概念学习系统和获取上下文知识，结合了问题求解中的学习、概念聚类、类比推理及机器发现的工作。相应的有关学习方法相继推出，比如示例学习、示教学习、观察和发现学习、类比学习、基于解释的学习。工作特点强调应用面向任务的知识和指导学习过程的约束，应用启发式知识于学习任务的生成和选择，包括提出收集数据的方式、选择要获取的概念、控制系统的注意力等。v4联结学习和符号学习共同发展阶段80年代后期以来，形成了联结学习和符号学习共同发展的局的第四个阶段。在这个时期，发现了用隐单元来计算和学习非线性函数的方法，从而克服了早期神

4、经元模型的局限性，同时，由于计算机硬件的迅速发展，使得神经网络的物理实现变成可能，在声间识别、图像处理等领域，神经网络取得了很大的成功。在这个进期，符号学习伴随人工智能的进展也日益成熟，应用领域不断扩大，最杰出的工作有分析学习（特别是解释学习）、遗传算法、决策树归纳等。现在基于计算机网络的各种自适应、具有学习功能的软件系统的研制和开发,将机器学习的研究推向新的高度。6.1.2什么是机器学习什么是机器学习什么是机器学习，到今仍没有严格定义，不同学派对机器学习有不同的定义 准确、完整地给出机器学习的定义很困难，综合上述三种观点可以得出，学习是对某一个特定目标的知识获取的智能过程，系统的内部表现为新

5、知识结构的建立和改进，外部表现为系统性能的改善，变得更快、更精确、更健全。v一个机器学习系统应具有以下特点：v1.具有适当的学习环境v学习系统中环境并非指通常的物理条件，而是指学习系统进行学习时所必需的信息来源。v2.具有一定的学习能力v一个好的学习方法和一定的学习能力是取得理想的学习效果的重要手段。所以，学习系统应模拟人的学习过程，使系统通过与环境反复多次相互作用，逐步学到有关知识，并且要使系统在学习过程中通过实践验证、评价所学知识的正确性。v3.能用所学的知识解决问题v学习的目的在于应用，学习系统能把学到的信息用于对未来的估计、分类、决策和控制。v4.能提高系统的性能v提高系统的性能是学习

6、系统最终目标。通过学习，系统随之增长知识，提高解决问题的能力，使之能完成原来不能完成的任务，或者比原来做得更好。v学习系统至少应有环境、知识库、学习环节和执行环节四个基本部分。一种典型的机器学习系统（迪特里奇（Dietterich）学习模型）如图6-1所示。环境向系统的学习部件提供某些信息，学习环节利用这些信息修改知识库，增进执行部件的效能；执行环节根据知识库完成任务，同时把获得的信息反馈给学习部件。下面介绍其主要组成部分的功能。1.环境v系统中的环境包括工作对象和外界条件。比如在医疗系统中，环境就是病人当前的症状，物化检验的报告和病历等信息；在模式识别中，环境就是待识别的图形或影物；在控制系

7、统中，环境就是受控的设备或生产流程。v环境提供给系统的信息水平和质量对于学习系统有很大的影响。信息的水平是指信息的一般性程度，也就是适用范围的广泛性，高水平的信息往往比较抽象，适用面更广泛。v信息的质量指信息的正确性、信息选择的适宜性和信息组织的合理性。信息质量对学习难度有明显的影响。2.学习环节v学习环节是系统的学习机构，是学习系统的核心。它通过对环境的搜索取得外部信息，然后经分析、综合、类比、推理等思维过程获得知识，并将这些知识送入知识库，供执行环节使用。v事实上，由于环境提供的信息水平与执行环节所需的信息水平之间往往有差距，学习环节的任务就是解决这个水平差距问题。如果环境提供较高水平的信

8、息，学习环节就去就去补充遗漏的细节，以便执行环节能用于具体情况。如果环境提供较具体的低水平信息，即在特殊情况执行任务的实例，学习环节就要上此归纳规则，以便系统能完成更为一般的任务。3.知识库v学习系统设计的另一个重要问题就是知识库的形成设计以及其内容。学习系统实质上就是对原有知识的扩充和完善。4.执行环节v执行环节实际上是由执行环节和评价两部分组成，执行环节用于处理系统面临的现实问题，比如定理证明、智能控制、自然语言处理、机器人行动规划等；评价环节用来验证、评价执行环节执行的效果，比如结果的正确性等。评价环节的处理方法有两种，一种是把评价时所需的性能指标直接建立在系统中，由系统对执行环节所做出

9、的结论进行评价；另一种是由人类协助完成评价工作。v另外，从执行环节到学习环节心须要有反馈信息。这们，学习环节就可以根据反馈信息决定是否要从环境中获取进一步的信息进行再学习，以便修改、完善知识库中的知识。6.1.3机器学习分类v当前国际上流行的机器学习分类方法主要有四种：按应用领域分类：主要的应用领域有专家系统、认知模拟、规划和问题求解、数据挖掘、网络信息服务、图象识别、故障诊断、自然语言理解、机器人和博弈等。v按获取的知识的表示分类：有形式逻辑表达式、形式文法、代数表达式参数、图和网络、框架和模式、计算机程序和其它的过程编码、产生式规则、决策树、框架、神经网络等；v按推理策略分类：如演绎推理和

10、归纳推理。v按学习系统性综合分类的方法：考虑了事物的历史渊源、知识表示、推理策略和应用领域等因素，是对前面三种分类方法的综合。（一）基于推理策略的分类v一个学习过程实质上是学习系统把环境所提供的信息转换成新的形式，以便存储和使用。这种信息的转换就是种推理，而推理的性质确定了学习策略的类型。在学习过程中，学生所使用的推理越少，他对教师的依赖就越大，因而教师的负担就越重，反过来，学生使用的推理越多，教师的负担就越轻。显然，基于推理策略分类方法可以按学生使用推理的多少和难易程度进行。下面分别进行讨论。v1.机械学习（Rote Learning）v机械学习是最简单的学习方法，它亦被称为记忆学习或死记硬

11、背式学习。这种学习方法不需要推理，而是由教师向系统提供被记忆的信息，学习者无需任何推理或其它的知识转换，直接吸取环境所提供的信息，并用这些信息指导系统行为。v 机械学习是记忆，它仅保存新的知识以便使用。这里是个检索问题，而不是重复计算、推理或查询。机械学习可以认为是基本的学习方式，它本身并不能实现智能学习，但是它是其他学习系统所固有重要组成部分。在机械学习系统中，知识已经以某种方式获取，并且是一种直接可使用的形式。所有学习系统都是建立在机械学习的基础之上，即对知识库中的知识进行存储、维护和检索。v2.示教示教学习（Learning from Instruction or Learning by

12、 being told）v示教学习中，教师以某种形式（教导和建议）提出和组织知识，以使学生拥有的知识可以不断地增加。学生把知识转换成内部可使用的表示形式，并将新的知识和原有知识有机地结合为一体；示教系统中，由外部给系统提供抽象的、一般化的信息，学习系统经过选择和改造，把新的信息与系统原有的知识融为一体。由于外部提供的信息过于抽象，它的水平高于执行时所用信息的水平，因此学习环节要把把较高水平的知识转换为较低水平的知识，这种转换称为实用化。v研究示教学习的途径主要有两种。一是在开发系统时接收抽象的、高级的信息，并将它变换成规则，以便批指导执行部分。二是开发完善的工具，比如知识库的编辑和调试辅助程序

13、，使得专家们可以很方便地将专门知识转换成详细的规则。v3.演绎学习（Deductive Learning）v这种学习方法是一种常规的逻辑推理方法。其推理的过程通常从公理出发，经过逻辑变换，推导出结论。演绎学习包括知识改造、知识编译、生成宏操作、保持等价操作和其他的一些保真变换。v4.解释学习(Explanation-based Learning)v解释学习利用问题求解的示例，依赖领域知识构造出求解过程的因果解释结构，并获取控制知识，为以后类似问题求解提供指导。v解释学习过程可分成两个步骤：v首先产生解释结构：输入实例后，系统首先对问题进行求解。v再用解释结构对得到的解释结构和事例进行概括：概括

14、通常采取的方法是将常量转换成变量，且去掉某些不重要的信息，仅仅保留求解时所必需的那些关键信息，经过一定的方式进行组合形成产生式规则，从而获得概括性的控制知识。v5.类比学习（Learning by Analogy）v类比学习利用二个不同领域（源域、目标域）中的知识相似性，通过类比，从源域的知识（包括相似的特征和其它性质）推导出目标域的相应知识。例如：未开过货车的司机有开小车的知识就可完成开货车的任务；v类比学习是演绎和归纳学习的组合。它对不同论域的描述进行匹配，确定公共的子结构，以此作为类比映射。寻找公共子结构是归纳推理，而实现类比映射是演绎推理。v6.归纳学习（Inductive learn

15、ing）v归纳学习由教师或环境提供某概念的一些实例或反例，学生通过归纳推理得出该概念的一般描述。归纳学习可分为示例学习和观察与发现学习。v示例学习（Learning from Examples）v示例学习也称为概念获取（Concept Acquisition）。是由教师提供给系统某种概念的正例集合反例集合，学习通过归纳推理产生覆盖所有正例并排除所有反例的该概念的一般描述。这些正例是由已知概念的教师或者是学生做实验时从系统中得到的反馈信息而提供的。v观察与发现学习（Learning from Observation and Discovery）v观察与发现学习是由环境提供一组观察事例，学生构造一

16、个一般的概念描述（即理论）来覆盖所有或大多数事例。这是一种无导师学习。这类学习又分为观察学习与机器发现两类。v（1）观察学习 观察学习是学生将已知事例进行分类，同时产生每一类的一般概念描述。观察学习又可根据是否渐近（incremental）方式而分为va概念聚类 b概念形成 v(2)机器发现（Machine Discovery）v学生从观察的事例或经验数据中进行归纳产生规律或规则，这就是机器发现。机器发现是观察与发现学习的最困难、最富有创造性的一种学习形式。机器发现包括有经验发现和知识发现两种类型。（二）基于系统综合综合性的分类v基于系统性分类，机器学习可分为四种类型，即：归纳学习、分析学习、联接学习、遗传算法与分类系统。v1分析学习（Analytie Learning）分析学习是针对几个实际例子，应用领域知识进分析来学习。v2联结学习(connection based learning)联结学习的目标是区分输入模式的等价类。一个联结模型是由一些类似神经元的简单单元带权互边而组成的网络。v3遗传算法（Genetic Algorithm）遗传算法似生物繁殖的突变（互换、倒位、点突变等）和