第8章 Structured Streaming流式计算引擎-教学设计

《大数据分析与实成（第Spark版）》2教学设计课程名称授课年级授课学期教师姓名第8章Structured Streaming流计算引计划.课题名称擎课时6课时创新是引领科技变革的重要因素,通过不断探索和创新,可以推动技术的进步和应用，为经济发展注入新的动力在当前的数据处理领域,实时处理大量数据流的需求在不断增长,数据的复杂性随之不断扩大然而,对数据流的传统处理方式却无法有效解决实时处理过程中出现的问题，如时效性低、灵活性不高等为了解决教学引入这些问题，Spark推出了Structured Streaming,这是一种基于Spark SQL构建的可扩展且容错的流处理引擎，它提供了与Spark SQL类似的API,既支持对数据流处理,也支持对数据批处理本章从Spark Streaming的不足开始说起，逐步针对Structured Streaming的基本概念及其相关操作进行详细介绍•使学生了解Spark Streaming的不足，能够说出Spark Streaming在处理复杂的流式数据时的弊端•使学生了解Structured Streaming,能够叙述Structured Streaming处理数据的特点•使学生熟悉Structured Streaming编程模型，能够描述Structured Streaming如何处理实时数据教学目标•使学生掌握Structured Streaming的API操作，能够通过Scala API的方式实现输入操作、转换操作和输出操作•使学生了解时间的分类，能够说出处理流数据中事件时间、注入时间和处理时间的区别•使学生掌握窗口操作，能够使用Structured Streaming完成滚动窗口、滑动窗口和会话窗口操作•使学生掌握物联网设备数据分析，能够模拟生成数据并分析•输入操作•转换操作教学重点•输出操作•窗口操作•案例一一物联网设备数据分析-分析数据•窗口操作教学难点•案例一一物联网设备数据分析-准备数据•案例一一物联网设备数据分析-分析数据教学方式课堂教学以PPT讲授为主，并结合实际操作进行教学第

一、二课时（Spark Streaming的不足、Structured Streaming简介、StructuredStreaming编程模型、输入操作、转换操作、输出操作）

一、复习巩固教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解教学过

二、通过直接导入的方式导入新课程虽然Spark Streaming可以实时处理数据，但面对复杂的流式数据处理场景时就会存在一些问题，而Structured Streaming面对复杂的流式数据处理场景时更占优势本节课针对Structured Streaming的基础知识和基本操作进行讲解

三、新课讲解知识点1-Spark Streaming的不足教师通过PPT的方式讲解Spark Streaming的不足1不支持事件时间2流批处理不统一3复杂的底层API4end-to-end的一致性语义需要手动实现知识点2-Structured Streaming简介教师通过PPT的方式讲解Structured Streaming简介1介绍Structured Streaming的概念2介绍Structured Streaming的特点

①统一的编程范式

②卓越的性能

③多语言支持知识点3-Structured Streaming编程模型教师通过PPT的方式讲解Structured Streaming编程模型1介绍Structured Streaming的编程模型2以实时单词计数为例，介绍Structured Streaming编程模型的使用知识点4-输入操作教师通过PPT结合实际操作的方式讲解输入操作1文件数据源

①介绍readStream算子从指定文件格式的文件中实时接收输入的数据流并创建DataFrame的语法格式2介绍writeStream算子将创建的DataFrame输出的语法格式3演示在Structured Streaming程序中从HDFS实时接收文件格式为Text的数据流并生成DataFrame2Socket数据源1介绍readStream算子从TCP Socket数据源中实时接收输入的数据流并创建DataFrame的语法格式2演示在Structured Streaming程序中从TCP Socket实时接收输入的数据流并创建DataFrame知识点5-转换操作教师通过PPT结合实际操作的方式讲解转换操作1介绍Structured StreamingAPI提供的与转换操作相关的基础算子，包括select算子、where算子和groupBy算子2演示使用select算子选取DataFrame中指定列并输出3演示使用where算子对DataFrame进行筛选，获取level列的值为A的数据并输出4演示使用groupBy算子对DataFrame中的数据进行分组查询，并配合使用count函数进行聚合操作知识点6-输出操作教师通过PPT结合实际操作的方式讲解输出操作1介绍Structured Streaming支持的接收器，包括File、Kafka、Foreach、ForeachBatch Console和Memory2演示使用File接收器将处理后的DataFrame以文件的形式输出到HDFS3演示使用Kafka接收器将处理后的DataFrame输出到Kafka指定Topic中4演示使用内存接收器将处理后的DataFrame以表的形式输出到内存中

四、归纳总结教师回顾本节课所讲的内容，并通过提问的方式引导学生解答问题并给予指导

五、布置作业教师通过高校教辅平台.ityxb.com布置本节课作业以及下节课的预习作业第

三、四课时时间的分类、窗口操作、案例一一物联网设备数据分析-准备数据、案例一一物联网设备数据分析-分析数据

一、复习巩固教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解

二、通过直接导入的方式导入新课在上一节课中，我们已经讲解了Structured Streaming的基础知识和基本操作在本节课中，我们将进一步讲解Structured Streaming的相关操作，包括时间的分类、窗口操作，并通过案例对Structured Streaming进行综合运用

三、新课讲解知识点1-时间的分类教师通过PPT的方式讲解时间的分类1事件时间2注入时间3处理时间知识点2-窗口操作教师通过PPT结合实际操作的方式讲解窗口操作1介绍Structured Streaming中窗口操作的相关算子，包括window和session_window2介绍滚动窗口的概念，并演示在Structured Streaming程序中，实现以5秒的固定时间段进行滚动窗口操作并统计单词出现的次数3介绍滑动窗口的概念，并演示在Structured Streaming程序中，实现以窗口时间间隔为10秒,滑动时间为5秒的滑动窗口并统计单词出现的次数4介绍会话窗口的概念，并演示在Structured Streaming程序中，实现以时间间隔为5秒的会话窗口并统计单词出现的次数知识点3-案例一一物联网设备数据分析-准备数据教师通过PPT结合实际操作的方式讲解案例一一物联网设备数据分析•准备数据1介绍模拟生成物联网设备产生数据的步骤2演示如何模拟生成物联网设备产生数据并将其发送到Kafka指定的Topic中

①启动Kafka服务

②创建Topic并启动Kafka消费者

③添加Kafka.相关依赖@模拟生成数据

⑤执行测试知识点4-案例一一物联网设备数据分析一分析数据教师通过PPT结合实际操作的方式讲解案例一一物联网设备数据分析一分析数据1介绍分析的数据指标2介绍基于DSL风格分析数据指标的步骤，并实现基于DSL风格分析数据3介绍基于SQL风格分析数据指标的步骤，并实现基于SQL风格分析数据

四、归纳总结教师回顾本节课所讲的内容，并通过提问的方式引导学生解答问题并给予指导

五、布置作业教师通过高校教辅平台.ityxb.com布置本节课作业以及下节课的预习作业第

五、六课时上机练习上机练习主要针对本章中需要重点掌握的知识点，以及在程序中容易出错的内容进行练习，通过上机练习可以考察同学对知识点的掌握情况，对代码的熟练程度上机一考察知识点为输入操作、转换操作、输出操作、窗口操作形式单独完成题目1在Structured Streaming程序中实现输入操作，要求如下1从HDFS实时接收文件格式为Text的数据流并生成DataFrame2从TCP Socket实时接收输入的数据流并创建DataFrame2在Structured Streaming程序中实现转换操作，要求如下1使用select算子选取DataFrame中指定列并输出2使用where算子对DataFrame进行筛选，获取level列的值为A的数据并输出3使用groupBy算子对DataFrame中的数据进行分组查询，并配合使用count算子进行聚合操作

（3）在Structured Streaming程序中实现输出操作，要求如下1使用File接收器将处理后的DataFrame以文件的形式输出到HDFS2使用Kafka接收器将处理后的DataFrame输出到Kafka指定Topic中

（4）在Structured Streaming程序中实现窗口操作，要求如下3实现以5秒的固定时间段进行滚动窗口操作并统计单词出现的次数4实现以窗口时间间隔为10秒,滑动时间为5秒的滑动窗口并统计单词出现的次数上机二（考察知识点为案例一一物联网设备数据分析一准备数据、案例——物联网设备数据分析一分析数据）形式单独完成题目模拟生成物联网设备产生数据并将其发送到Kafka指定的Topic中，然后再Structured Streaming程序中基于DSL风格分析如下指标

（1）信号强度大于30的设备

（2）各种设备类型的数量

（3）各种设备类型的平均信号强度教学后记。