《Spark大数据技术与应用案例教程》教案第11课存储整理后的商品信息.docx

《《Spark大数据技术与应用案例教程》教案第11课存储整理后的商品信息.docx》由会员分享，可在线阅读，更多相关《《Spark大数据技术与应用案例教程》教案第11课存储整理后的商品信息.docx（6页珍藏版）》请在优知文库上搜索。

1、课题存储整理后的商品信息课时2课时(90min)教学目标知识技能目标：(1)掌握将DataFrame数据保存到数据文件的方法(2)掌握将DaIaFrame数据保存到MySQL数据库的方法(3)掌握将DataFrame数据保存到Hive表的方法素质目标：培养举一反三的能力，学会融会贯通教学重难点教学重点：将DataFrame数据保存到数据文件、MySQL数据幅口Hive表教学难点：将DaIaFrame保存为不同的数据类型教学方法案例分析法、问答法、讨论法、讲授法教学用具电脑、投影仪、多媒体课件、教材教学过程主要教学内容及步骤课前任务【教师】布置课前任务，和学生负责人取得联系，让其提醒同学通过AP

2、P或其他学习软件，完成课前任务请大家了解将DataFrame保存为不同数据类型的方法.【学生】完成课前任务考勤【教师】使用APP进行签到【学生】班干部报请假人员及原因问题导入【教师】提出以下问题：DataFrame可以保存为哪些数据类型？【学生】思考、举手回答传授新知【教师】通过学生的回答引入新知,讲解将DataFrame数据保存到数据文件、MySQL数据库和Hive表的方法一、保存DataFrame数据到数据文件【教师】介绍保存DataFrame数据到数据文件的方法保存DataFrame数据到数据文件时，使用SparkSession对象的write属性获取SparkSQL中用于将DataFr

3、ame存储到其他存储系统的对象DataFrameWriter后,可以直接使用DataFrameWriter对象的text。、json()xCSVo或ParqUe()方法将DalaFrame保存到文本文件、JSON文件、CSV文件或ParqUel文件；也可以使用DataFrameWriter对象的format。方法指定输出数据的格式，接着使用该对象的跄ve()方法将DataFrame的数据彳呆存到不同的数据文件。参考示例如下。#保存DataFrame数据到文本文件中df.write.text(siudent.txt)排方法df.write.fbnat(text).save(student.txt

4、)#方法二#保存DataFrame类据至UJSON文彳牛中df.write.json(student.json)#方;-df.write.format(json).save(student.jsonM)#方法二卅呆存DataFrame娄据至!CSV文件中df.write.csv(student.csv)#方法df.write.format(csv,).save(student.csv,)#方法二#保存DataFrame数据到Parquet文件中df.write.parquet(student.parquet)#方法df.write.fbrmat(parquet,).save(student.p

5、arquet)#方法二【教师】通过例子，帮助学生掌握保存DataFrame数据到数据文件的方法【例3-13将DataFrame数据保存到不同类型的数据文件，实现步骤如下。使用read.json()方法读取studenl.json”文件中的数据创建DataFrame(即df).从df中选取name字段和age字段，然后使用Write.formal0.save()方法将字段数据保存到JSON文件中，生成一个SludenLsaveJson目录，目录中包含pari-00000-9e57ea6a-ef8d-4fd9-bfb-1b75c1(X)cc3c-cOOO.jsonw和“.SUCCESS”文件，其中

6、part-000(X)-9e57ea6a-ef8d-4fd9-b11)b-1b75c100cc3c-c000.jsonr,文件用于存储DaIaFramC的娄掂，如图3-32所示。从df中选取name字段，然后使用Write.fonat().save()方法将字段数据保存到Parquet文件中，生成一个student-save.parquet目录，该目录中包含“part-00000-9259062e-80c9-4609-8c9f9095aa338cc3000.snappy.parquei和SUCCESS”文彳牛。hadoopbogon-$pyspark#创建DataFramedf=spark.r

7、ead.json(fiIe:/usr/local/spark/mycode/DataFrame/student.json)(详见教材)打开9)B(name:n三,age:2)(name:5K三,age,:21)df=spark.read.format(,json).option(header,irue).load(file:/usr/local/spark/mycode/DataFrame/student.json)# 设置连接信息和表名mysql_url=jdbc:mysql:/localhost:3306/sparktable-name=studentusername=rootpasswo

8、rd=123456# 将DaiaFramc的数据保存到MySQL数据库中df.write.format(jdbc).option(url,mysql-url).option(dbtable,table_name).option(user,username).opiion(password,password).mode(append).save()exit()#退出pyspark# 蛰询student表的数据hadoopbogon$mysql-uroot-mysqlusesparkmysqlselect*fromstudent;mysqlselect*fromstudent;+Inameagec

9、ollegeiceb二三四六A1B0王张李赵0 8 0 12 22 12 2 2 2院院院院院院 学学学学学学 术计息械息文 艺会信机信人6rowsinset(0.00sec)图3-33查询student表的数据三、保存DataFrame数据到Hive表【教师】介绍保存DataFrame数据到Hive表的方法保存DataFrame数据到Hive表的方法是，使用DalaFrameWriler对象的SaVeASTabIeO方法将DataFramc的数据保存到Hive表。【教师】通过例子,帮助学生掌握保存DataFrame数据到Hive表的方法【例3-15现有一个DataFramc（即df）,使用S

10、aVeASTabICO方法将DataFnImC的数据保存到Hive表 my_table 中。 df.write.saveAsTable(,my-database.my-table)【学生】聆听、思考、理解、记录【教师】介绍“存储整理后的商品信息”的大概流程，安排学生扫描微课二维码观看视频”存储整理后的商品信息“(详见教材)，并要求学生进行相应操作步骤!在终端执行以下命令，在MySQL数据库spark中创建SIoCkNaIUS表。IhadooPbogon|$mysql-uroot-pmysqlusesparkmysqlcreatetablestock_status(IDint,namechar(

11、30),stockint,stock_staluschar(40);步骤2A打开PyCharm,在dataFrame”目录下新建write_to_mysql.py”文件。步骤3A在wrileo_mysql.py文件中编写应用程序，将库存小于50的商品信息保存到MySQL数据库spark的SlOCk_siaius表中。(详见教材)【运行结果】在PyCharm中运行代码，输出提示信息，如图3-34所示.在终端执行以下命令，查询MySQL数据库spark的StoCk.status表中的所有数据，如图3-35所示。mysqlselect*fromstock-status;课程实践mysqselectf

12、romstock.status;IIDInamestockstock.statusDataFranle数据保存成功!进程已结束，退出代码8 23 28 29 37 408 23 28 29 37 40西瓜 蓝色村衫 棒球帽 防晒帽擦窗器 空气净化器西瓜JS色村杉 样球帽 防晒帽擦窗器 空气净化器30 49 3530 3040 30 4935 3030 40货货货货货货货货货货货货 补补补补补补补补补补补补 要要要要要要要要要要要要 需需需需需需需需需需需需图3-34输出提示信息图3-35查询stock_status表中的所有数据【学生】自行扫码观看配套微课，按照要求进行操作，如遇问题可询问老师【教师】巡堂辅导，及时解决学生遇到的