第6章 Kafka分布式发布订阅消息系统-教学设计

《大数据分析与实成（第Spark版）》2教学设计课程名称授课年级授课学期教师姓名计划课课题名称第6章Kafka分布式发布订阅消息系统6课时时Kafka是一个高吞吐量的分布式发布订阅消息系统,适用于实时计算系统通常情况下，使用Kafka能够构建系统或应用程序之间的数据管道,用来转换或响应教学引入实时数据，使数据能够及时地进行业务计算,得出相应结果本章针对消息队列简介、Kafka简介、Kafka工作原理、Kafka集群的搭建、Kafka的基本操作以及KafkaStreams进行详细讲解•使学生了解消息队列，能够说出消息队列的主要应用场景•使学生熟悉Ka珠a的概念，能够叙述Ka珠a的优点•使学生熟悉Kafka的基本架构，能够叙述Kafka基本架构的内容•使学生掌握Kafka的工作流程，能够叙述生产者生产消息过程和消费者消费消教学目标息过程•使学生掌握Kafka集群的搭建，能够独立完成部署Kafka集群•使学生掌握Ka珠a的基本操作，能够使用Shell命令和Scala API操作Kafka•使学生掌握Kafka Streams,能够使用Ka珠a Streams实现单词计数功能•搭建Kafka集群•Kafka的Shell操作教学重点•Kafka的Scala API操作•Kafka Streams实现单词计数功能•Kafka工作流程•搭建Kafka集群教学难点•Kafka的Scala API操作•Kafka Streams实现单词计数功能教学方式课堂教学以PPT讲授为主，并结合实际操作进行教学第

一、二课时（消息队列简介、Kafka简介、Kafka的基本架构、Kafka工作流程、搭建Kafka集群）

一、复习巩固教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解

二、通过直接导入的方式导入新课消息队列是分布式系统中用来存储消息的一个重要组件，可以使生产者和消费者并行的处理任务，不必等待对方的响应Kafka是一种分布式发布订阅消息系教学过统，它采用了高性能、可扩展和可靠性强的设计理念，被广泛应用于大规模数据处程理和实时流处理场景中在本节课中，我们将学习Kafka的基础知识，以及如何搭建Kafka集群

三、新课讲解知识点1-消息队列简介教师通过PPT的方式讲解消息队列简介

（1）消息队列的主要应用场景

①异步处理

②系统解耦

③流量消峰2消息传递的两种模式

①点对点消息传递模式

②发布/订阅消息传递模式知识点2-Kafka简介教师通过PPT的方式讲解Kafka简介1介绍Kafka的概念2介绍Kafka的优点

①高吞吐，低延迟

②扩展性

③持久性

④容错性

⑤支持多种语言知识点3-Ka珠a的基本架构教师通过PPT的方式讲解Kafka的基本架构介绍Kafka基本架构中核心组件的作用1Producer2Broker3Consumer4ZooKeeper知识点4-Kafka工作流程教师通过PPT的方式讲解Kafka工作流程1生产者生产消息过程2消费者消费消息过程知识点5-搭建Kafka集群教师通过PPT结合实际操作的方式讲解搭建Kafka集群演示在虚拟机Hadoopl Hadoop2和Hadoop3中搭建Kafka集群1下载Ka珠a安装包2上传Kafka安装包3安装Kafka4配置Kafka环境变量5修改配置文件6分发Kafka安装目录7启动ZooKeeper8启动Kafka服务9查看Kafka服务启动状态

四、归纳总结教师回顾本节课所讲的内容，并通过提问的方式引导学生解答问题并给予指导

五、布置作业教师通过高校教辅平台.ityxb.com布置本节课作业以及下节课的预习作业第

三、四课时Kafka的Shell操作、Kafka的Scala API操作、Kafka Streams概述、KafkaStreams实现单词计数功能

一、复习巩固教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解

二、通过直接导入的方式导入新课在上节课中，我们学习了如何搭建Kafka集群，并掌握了Kafka的基础知识在这一节课中，我们将深入学习Ka珠a的相关操作，例如Ka珠a的Shell操作和Kafka的Scala API操作同时，我们还将介绍Kafka Streams,它是Kafka中一个流式计算框架，具有低延迟、高性能、高容错的特点，易于集成到现有的应用程序中，为开发人员提供了流式计算的能力

三、新课讲解知识点l-Ka珠a的Shell操作教师通过PPT结合实际操作的方式讲解Kafka的Shell操作1操作主题

①创建Topic

②查看Topic属性信息2启动生产者3启动消费者知识点2-Kafka的Scala API操作教师通过PPT结合实际操作的方式讲解Kafka的Scala API操作1介绍KafkaProducer类和KafkaConsumer类的作用2演示Kafka的Scala API操作

①创建Maven工程并添加Kafka相关依赖

②实现Kafka生产者

③实现Kafka消费者知识点3-Kafka Streams概述教师通过PPT的方式讲解Kafka Streams概述介绍Kafka Streams的概念知识点4-Kafka Streams实现单词计数功能教师通过PPT结合实际操作的方式讲解Kafka Streams实现单词计数功能1启动Kafka服务2创建Topic3启动生产者4启动消费者5添加Kafka Streams依赖6实现实时单词计数7执行测试

四、归纳总结教师回顾本节课所讲的内容，并通过提问的方式引导学生解答问题并给予指导

五、布置作业教师通过高校教辅平台.ityxb.com布置本节课作业以及下节课的预习作业第

五、六课时上机练习上机练习主要针对本章中需耍重点掌握的知识点，以及在程序中容易出错的内容进行练习，通过上机练习可以考察同学对知识点的掌握情况，对代码的熟练程度上机一考察知识点为搭建Kafka集群形式单独完成题目在虚拟机Hadoopl、Hadoop2和Hadoop3中搭建Kafka集群上机二考察知识点为Kafka的Shell操作形式单独完成题目完成Kafka的Shell操作，要求如下1在Kafka中创建一个名为itcasttopic的Topic,设置Topic的分区数为3,分区的副本数为22查看名为itcasttopic的Topic的属性信息3在Kafka中启动了一个生产者向名为itcasttopic的Topic发送消息，并且以“”分隔符解析消息的键4在Kafka中启动了一个消费者从名为itcasttopic的Topic消费最早的消息，并且输出消息的时间戳和偏移量上机三考察知识点为Kafka的Scala API操作形式单独完成题目完成Kafka的Scala API操作，要求如下1创建Kafka生产者向名为itcasttopic的Topic发送消息,消息内容为字符串hello world-与广50的随机整数的拼接结果2创建消费者从名为itcasttopic的Topic中消费消息上机四考察知识点为Kafka Streams实现单词计数功能形式单独完成题目编写程序，实现从名为streams1的Topic中消费消息实现实时单词计数，并将计数结果发送到名为streams2的Topic中教学后记。