《Hadoop大数据原理与应用》教学教案.docx

《《Hadoop大数据原理与应用》教学教案.docx》由会员分享，可在线阅读，更多相关《《Hadoop大数据原理与应用》教学教案.docx（44页珍藏版）》请在优知文库上搜索。

1、课序授课日期授课班次授课教师批准人1课程描述大数据技术原理及应用是学习大数据技术的入门课程，是计算机科学与技术、数据科学与大数据技术、人工智能等专业的一门学科基础与专业核心课程。该课程着重讲述大数据技术的知识体系，阐明其基本原理，引导学生进行初级实践和了解相关应用，培养学生运用大数据平台搭建、大数据收集与预处理、大数据迁移、大数据存储与管理、大数据处理与分析、数据可视化等方法和技术工具完成大数据应用的能力，在整个大数据课程体系中起着承前启后重要作用。该课程由理论教学和实验教学两个部分组成，其先修课程包括面向对象程序设计、PythOn语言程序设计、操作系统、数据库原理等，后续课程包括数据采集与预

2、处理、大数据存储与管理技术、数据挖掘、大数据开发技术、大数据高级编程、数据可视化技术等。总学时理论教学实践教学周学时学分483216单4双23课程教学目标大数据技术原理及应用围绕“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”的指导思想，着重讲述大数据技术的基本原理、基本方法、技术工具和相关应用，帮助学生构建完整的大数据技术知识体系，使学生了解大数据技术在行业领域中的最新发展趋势和前沿知识，熟悉大数据应用的整个生命周期，能够熟练使用HadOOp、SPark等主流大数据平台及其生态系统中的技术工具完成基本的大数据应用闭环操作，达到知行合一、以用促学的目的。知识目标：1 .理解大数据基本

3、概念，了解大数据与云计算、物联网、人工智能的关系，了解当前大数据的岗位及需求、学习路线；2 .认识大数据处理平台Hadoop,熟练掌握全分布模式Had。P集群的部署基本过程；3 .理解分布式文件系统HDFS的体系架构、文件存储机制和数据读写过程，熟练掌握HDFSWebUl的使用、HDFSShelI常用命令的使用和HDFS编程；4 .理解分布式计算框架MapReduce的编程思想和作业执行流程，掌握MapReduce简单编程，了解当前其他主流的大数据计算框架如SPark、Storm、FIink等；5 .理解YARN体系架构和工作原理，掌握YARNWebUKYARNSheIl的基本使用，了解ReS

4、OUrCeManager高可用机制的原理与配置，了解HDFSNameNode课程教学目标高可用机制、HDFSNameNodeFederation、HDFSSnapshots：6 .理解分布式协调框架ZOOKeePer的执行原理和应用场景，掌握ZOOKeePer集群的部署和ZOOKeePerShelI常用命令的使用；7 .理解NOSQL数据库与关系数据库的区别、分布式数据库HBaSe的数据模型、体系架构和运行机制，熟练掌握HBaSe集群的部署、HBaseShell常用命令的使用：8 .理解HiVe的体系架构和执行流程，掌握HiVe的部署和连接方式，熟练掌握HiVe基本操作包括HiVeDDL、Hi

5、veDML的书写和HiVeShelI命令的使用；9 .理解数据迁移框架Sqoop、日志采集系统FIUme、分布式发布/订阅消息系统Kafka的作用、架构和工作原理，掌握SqOOp、FIllme、Kafka的部署和使用；10 .了解数据可视化的概念、作用和过程，理解常用的数据可视化图形，了解当前主流的数据可视化工具。能力目标：培养学生学以致用，能够综合利用Hadoop大数据平台及其生态中各个工具解决实际大数据应用方面的基本问题，提高学生阅读外文科技文献能力，增强学生发现问题、分析问题、解决问题能力，与学科竞赛和项目紧密结合，稳步培养和提高学生的动手实践能力、自主创新能力、团队协作能力、写作表达能

6、力。情感目标：通过对我国大数据技术、传统优秀文化的介绍，增强学生的民族自豪感，提升学生的爱国主义精神，增强文化自信；将专业知识与服务社会相结合，培养学生的社会责任感，树立正确三观，使学生更为深刻的理解专业内涵，提高学习内驱力，培养科学素养，内化为道德准则、科学思维和行为规范。课题第1讲开学第一课&大数据概述授课教材参考资料教材：1徐鲁辉.HadooP大数据原理与应用M.西安：西安电子科技大学出版社，2020年3月.参考资料：2徐鲁辉.HadOoP大数据原理与应用实脸教程M.西安：西安电子科技大学出版社,2020年1月.3林子雨.大数据技术原理与应用（第2版）M.北京：人民邮电出版社，2017年

7、1月.4吕林涛.大数据技术及其应用M.北京：科学出版社，2019年5月.5维克托迈尔-舍恩伯格，肯尼思库克耶.盛杨燕等译.大数据时代：生活、工作与思维的大变革M.杭州：浙江人民出版社，2013年1月.6TomWhite.Hadoop:TheDefinitiveGuide（4thEdition）M.0ReiIIyMedia,April2015.刀TOmWhite,著.王海，译.HadOOP权威指南（第4版）M.北京：清华大学出版社，2017年7月.8BiIIChambers,MateiZaharia.Spark:TheDefinitiveGuideM.OReiIIyMedia,February2

8、018.9 BiIIChambers,MateiZaharia,著.张岩峰，译.SPark权威指南M.北京：中国电力出版社，2020年4月.10 1.arsGeorge.HBase:TheDefinitiveGuideM.0,ReillyMedia,September2011.11 1.arsGeorge,著.代志远，译.HBaSe权威指南M.北京：人民邮电出版社,2013.12 EdwardCapriolo,DeanWampIer,JasonRutherglen.ProgrammingHiveM.0,ReillyMedia,September2012.13 EdwardCapriolo,De

9、anWampler,JasonRUtherglen,著.曹坤，译.Hive编程指南IML北京：人民邮电出版社,2013.14蔡斌.HadOOP技术内幕：深入解析HadooPCOmmOn和HDFS架构设计与实现原理M.北京：机械工业出版社，2013年5月.15董西成.HadoOP技术内幕：深入解析MaPRedUCe架构设计与实现原理M.北京：机械工业出版社，2013年5月.16董西成.HadOOP技术内幕：深入解析YARN架构设计与实现原理M.北京：机械工业出版社，2014年1月.17 ApacheHadoopProject.https:/hadoop.apache.org.18 ApacheS

10、parkProject.https:/spark.apache,org.19 TheHadoopEcosystemTabIe.https:/HadoopecosystemtabIe.github.io20 高校大数据课程公共服务平台.http:/dbIpost/bigdata-teaching-pIatform.21 林子雨.中国大学MOOC大数据技术原理与应用.https:/www.icourse163.orgcourseXMU-1002335004.其它教学资源学堂云：大数据技术原理及应用目的要求开学第一课1 .明确该课程的教学目标。2 .明确该课程的教学进度、教材、参考资料、上机软件。3

11、 .明确该课程的考核方式。4 .熟悉学堂云、雨课堂的使用方法。第1章大数据概述1 .理解大数据的概念（重点），了解大数据的内涵。2 .理解大数据的4V特征：VoIume（海量化）、Variety（多样化）、VaIue（价值密度低）、Velocity（快速化）。（重点）3 .了解大数据处理关键技术：数据采集与预处理、数据存储与管理、数据处理与分析、数据可视化。（难点）4. 了解大数据产业。5. 理解大物云智5G技术，掌握大物云智5G之间的关系。（重点难点）6. 了解大数据的岗位。7. 了解大数据的学习路线。教学内容开学第一课1 .自我介绍。2 .课程地位、先修及后续课程。3 .教学目标及知识图谱

12、。4 .课时分配（理论+实验）及进度、教材、参考资料、上机软件。5 .考核方式：平时+实验+期末。6 .学堂云、雨课堂的使用方法。第1章大数据概述1.1 大数据内涵（重点）1.2 大数据特征（重点）1.3 大数据关键技术（难点）1.4 大数据产业1.5 大数据与物联网、云计算、人工智能、5G的关系（重点，难点）1.6 大数据岗位介绍1.7 大数据学习路线重点难点重点：大数据概念，大数据特征，大物云智5G之间的关系。难点：大数据关键技术，大物云智5G之间的关系。教学方法手段讲授法，讨论法，任务驱动法教学步骤开学第一课1 .进行自我介绍。2 .进行头脑风暴，提问问题，引入为何学习此课程。3 .阐述

13、课程地位、先修及后续课程。4 .明确该课程教学目标，了解该课程知识思维导图。5 .介绍该课程的课时分配及进度、教材、参考资料、上机软件。6 .公布考核方式：平时考核30%（在线考勤、课堂表现、作业、在线测试）+实验考核20%（实验态度、实险报告）+期末考核（笔试或大作业）。7 .介绍学堂云、雨课堂的使用方法。8 .完成在线测试，对先修课程的知识和技能进行综合测试。第1章大数据概述1.提问问题引入“大数据”。2.精讲本节内容。3.进行本节小结。4.布置课后作业。复习提问1 .当今IT界的热门技术有哪些？2 .你平时用的哪些应用使用到了云计算和大数据技术？作业1 .章节测试完成线上测试“章节测试1

14、-大数据概述”。2 .预习作业预习“初识Hadoop3 .思考题(1)根据自己的专业领域和研究兴趣，调研大数据技术在自己所属领域中的应用现状？(2)调查分析大数据从业人员常用方法、技术与工具。教学环节复习提问新课讲解课堂讨论每课小结布置作业时间分配(以分钟计算)10701532课序授课日期授课班次授课教师批准人2课题第2讲初识Hadoop目的要求1 .理解Had。P是什么（重点），了解Had。P的发展简史、特点、版本。2 .理解HadOOP生态系统组成及各组件基本功能。（重点）3 .理解Had。P体系架构。（重点）4 .了解Had。P在国内外应用现状。5 .理解部署Hadoop集群所需系统环境

15、、HadooP运行模式，熟练掌握在LinUX下部署全分布模式HadooP过程：规划集群、准备机器及软件环境（配置静态IP、修改主机名、编辑域名映射、安装和配置Java、安装和配置SSH免密整录）、安装和配置Hadoop集群（hadoop-env.sh、yarn-env.shmapred-env.sh、core-site.xml、hdfs-site.xml、yarn-site,xml、mapred-site.xml、slaves）关闭防火墙、格式化文件系统、启动和验证HadOOp、关闭HadoOPo（重点难点）教学内容第2章初识Hadoop2.1HadoOP概述（重点）2.2HadooP生态系统（重点）2.3HadOOP体系架构（重点）2.4Had。P应用现状2.5