第9章 Spark MLlib机器学习库-教学设计

《大数据分析与实成（第Spark版）》2教学设计课程名称授课年级授课学期教师姓名计划课课题名称第9章Spark MLlib机器学习库6课时时Spark MLlib是Spark提供的可扩展的机器学习库，该库包含了许多机器学习算法，基于Spark MLlib开发人员可以不需要深入了解机器学习算法就能开发出相教学引入关程序本章将介绍Spark MLlib基本知识以及使用方法，并通过构建推荐引擎了解机器学习在实际场景中的应用•使学生了解什么是机器学习，能够说出有监督学习、无监督学习和半监督学习之间的区别•使学生了解机器学习的应用，能够说出机器学习常见的应用领域•使学生熟悉Spark MLlib,能够说出Spark MLlib的算法架构•使学生掌握Spark MLlib工作流程，能够叙述机器学习如何处理数据并训练教学目标模型•使学生掌握Spark MLlib的数据类型，能够使用Spark MLlib对本地向量、标记点和本地矩阵进行相关操作•使学生熟悉Spark MLlib的基本统计和分类方法，能够使用Spark MLlib对数据进行处理和分析•使学生掌握电影推荐系统，能够使用Spark MLlib实现电影推荐•数据类型教学重点•案例一一构建电影推荐系统一案例实现•数据类型•相关统计教学难点•线性支持向量机•逻辑回归•案例一一构建电影推荐系统一案例实现教学方式课堂教学以PPT讲授为主，并结合实际操作进行教学第

一、二课时什么是机器学习、机器学习的应用、Spark MLlib简介、Spark MLlib工作流程、数据类型、摘要统计、相关统计

一、复习巩固教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解

二、通过直接导入的方式导入新课Spark MLlib是Spark的机器学习库，提供了一系列机器学习算法，可以满足教学过不同领域的机器学习需求本力课将针对Spark MLlib和机器学习的基础知识进行程讲解，并演示基本统计的相关操作

三、新课讲解知识点1-什么是机器学习教师通过PPT的方式讲解什么是机器学习1介绍机器学习的概念2对比机器学习和人类思考过程3介绍机器学习的分类

①有监督学习

②无监督学习

③半监督学习知识点2-机器学习的应用教师通过PPT的方式讲解机器学习的应用1电子商务2医疗3金融知识点3-Spark MLlib简介教师通过PPT的方式讲解Spark MLlib简介1介绍Spark MLlib的算法架构2介绍实现Spark MLlib的数据结构知识点4-Spark MLlib工作流程教师通过PPT的方式讲解Spark MLlib工作流程1数据准备阶段2训练模型评估阶段3部署预测阶段知识点5-数据类型教师通过PPT结合实际操作的方式讲解数据类型1本地向量

①介绍本地向量的概念

②介绍创建密集向量和稀疏向量的语法格式

③演示通过Spark Shell创建密集向量和稀疏向量2标记点

①介绍标记点的概念

②介绍创建标记点的语法格式

③演示通过Spark Shell创建标记点3本地矩阵

①介绍本地矩阵的概念

②介绍创建密集矩阵和稀疏矩阵的语法格式

③演示通过Spark Shell创建密集矩阵和稀疏矩阵知识点6-摘要统计教师通过PPT结合实际操作的方式讲解摘要统计1介绍摘要统计的概念2介绍实现摘要统计的方法3演示通过IntelliJ IDEA实现摘要统计知识点7-相关统计3介绍计算本地向量之间相关性的语法格式4演示通过IntelliJ IDEA实现相关统计

四、归纳总结教师回顾本节课所讲的内容，并通过提问的方式引导学生解答问题并给予指导

五、布置作业教师通过高校教辅平台.ityxb.com布置本节课作业以及下节课的预习作也第

三、四课时分层抽样、线性支持向量机、逻辑回归、案例一一构建电影推荐系统一案例分析、案例——构建电影推荐系统一案例实现

一、复习巩固教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解

二、通过直接导入的方式导入新课上一节课我们学习了Spark MLlib的基础知识和相关操作本节课我们将继续学习Spark MLlib的相关操作，同时通过案例演示来综合运用Spark MLlib,提高使用Spark MLlib进行数据分析和预测的能力

三、新课讲解知识点1-分层抽样教师通过PPT结合实际操作的方式讲解分层抽样1介绍分层抽样的概念2介绍对DataFrame进行分层抽样的语法格式3演示通过IntelliJ IDEA实现分层抽样知识点2-线性支持向量机教师通过PPT结合实际操作的方式讲解线性支持向量机1介绍线性支持向量机的概念2介绍创建LinearSVC对象和训练线性支持向量机模型的语法格式3介绍操作线性支持向量机模型的属性4演示通过IntelliJ IDEA训练线性支持向量机模型知识点3-逻辑回归教师通过PPT结合实际操作的方式讲解逻辑回归1介绍逻辑回归的概念2介绍二项式逻辑回归和多项式逻辑回归的概念3介绍训练二项式逻辑回归和多项式逻辑回归模型的语法格式4介绍操作二项式逻辑回归和多项式逻辑回归模型的方法和属性5演示通过IntelliJ IDEA训练二项式逻辑回归和多项式逻辑回归模型知识点4-案例一一构建电影推荐系统一案例分析教师通过PPT的方式讲解案例一一构建电影推荐系统一案例分析1介绍协同过滤中两个推荐方式

①基于电影的推荐

②基于用户的推荐2介绍训练交替最小二乘模型的语法格式3介绍基于用户推荐电影的语法格式知识点5-案例一一构建电影推荐系统一案例实现教师通过PPT结合实际操作的方式讲解案例一一构建电影推荐系统一案例实现1准备训练模型数据2训练模型，实现基于用户推荐电影

四、归纳总结教师回顾本节课所讲的内容，并通过提问的方式引导学生解答问题并给予指导

五、布置作业教师通过高校教辅平台.ityxb.com布置本节课作业以及下节课的预习作业第

五、六课时上机练习上机练习主要针对本章中需要重点掌握的知识点，以及在程序中容易出错的内容进行练习，通过上机练习可以考察同学对知识点的掌握情况，对代码的熟练程度上机一考察知识点为数据类型形式单独完成题目完成Spark MLlib数据类型的相关操作，要求如下1基于Spark Shell创建一个向量为⑶0,

0.0,

4.0的密集向量2基于Spark Shell创建一个向量为

3.0,

0.0,

4.0的稀疏向量3基于Spark Shell分别创建标签为

1.0,密集向量为

3.0,

0.0,

4.0的标记点和标签为

0.0,稀疏向量为3,[0,2],[

3.0,

4.0]的标记点4基于Spark Shell创建3行2列的密集矩阵5基于Spark Shell创建3行2列的稀疏矩阵上机二考察知识点为摘要统计、分层抽样、逻辑回归形式单独完成题目完成基本统计和分类的相关操作，要求如下1基于IntelliJ IDEA实现摘要统计，统计每列数据非零数值的数量2基于IntelliJ IDEA实现分层抽样，对数据结构为DataFrame的数据集进行分层抽样3基于IntelliJ IDEA实现逻辑回归，训练二项式逻辑回归模型和多项式逻辑回归模型，并获取其系数和截距上机三考察知识点为案例一一构建电影推荐系统一案例实现形式单独完成题目利用Spark MLlib基于用户推荐电影实现电影推荐系统教学后记。