大数据导论 教案 黄源 1--24 大数据概论---交通大数据与教育大数据

《大数据导论》课程教案学院计算机系/学院课程课程/项目数据清洗总学时48学时理论名称学分330学时实验18学时课程课程类别专业必修■专业必修口公共必修口公共选修授课教师***授课专业大数据技术、人工智能授课班级教学本课程的主要目的是培养学生大数据的理论分析与应用实践的综合能力通过本课程的目的和要求教学，使学生了解和认识大数据各种技术与应用场景教学重点、难点教学重点认识大数据云计算大数据架构数据采集数据清洗大数据存储数据分析与挖掘数据可视化大数据安全大数据行业应用教学难点掌握大数据架构；掌握数据采集基本方式；熟悉数据分析与挖掘算法；掌握数据可视化方法多媒体课件习题答案微课视频试题库教学资源其他教学资源《大数据导论》黄源主编，人民邮电出版社教学环境多媒体教学，课堂教学与学生上机实践相结合案例实现授课内容使用爬虫实现W6b数据采集介绍数使用爬虫实现Web数据抽取的案例与过程要求学生应该熟练掌握如下知识的运用1Python爬虫代码书写教学目的与要求2Python爬虫代码调试1Python爬虫代码书写重点难点授课内容

一、Python爬虫的介绍教学进程安排

二、Python爬虫的应用

三、Python爬虫的实现课后学习任务布使用Python爬虫抽取数据并显示，实训部分置主要参考资料《大数据导论》黄源主编，人民邮电出版社授课内容数据清洗的原理与工作过程通过本课的学习，学生应该掌握如下知识1）数据清洗概述教学目的与要求2）数据清洗的应用3）数据清洗的常用方法重点1）认识数据清洗的方法难点讲授内容

一、数据清洗概述1）数据清洗概念2）数据清洗流程教学进程安排

一、数据清洗的方法1）缺失值处理2）异常值处理熟悉数据清洗的方法课后学习任务布置主要参考资料《大数据导论》黄源主编，人民邮电出版社授课内容数据质量与数据仓库利用Python实现网络爬虫，通过本课的学习，学生应该掌握如下知识1）数据质量教学目的与要求2）数据仓库重点难点1）数据仓库授课内容

一、数据质量认识和应用教学进程安排

二、数据仓库认识和应用课后学习任务布掌握数据仓库置主要参考资料《大数据导论》黄源主编，人民邮电出版社授课内容数据清洗常用工具介绍数据清洗工具实例要求学生应该熟练掌握如下知识的运用1掌握Excel清洗数据教学目的与要求2掌握Kettle清洗数据1Kettle清洗数据重点难点授课内容

一、Excel清洗数据1Excel数据清洗方法2Excel数据清洗实现教学进程安排

二、Kettle清洗数据1Kettle数据清洗方法2Kettle数据清洗实现熟悉Kettle数据清洗方法课后学习任务布置主要参考资料《大数据导论》黄源主编，人民邮电出版社授课内容大数据存储概念与存储方式掌握如下知识1）大数据存储的概念2）大数据存储的不同方式教学目的与要求1）大数据存储的不同方式重点难点授课内容

一、大数据存储概述1）大数据存储的概念2）大数据存储的类型教学进程安排

一、大数据存储的不同方式1）分布式存储2）NOSQL数据库3）Newsql数据库4）云数据库课后学习熟悉大数据存储的类型任务布置主要《大数据导论》黄源主编，人民邮电出版社参考资料授课内容大数据存储产品了解大数据存储产品要求学生应该熟练掌握如下知识的运用教学目的与要求1）认识大数据存储产品的特点2）认识大数据存储产品的应用场景重点难点1）大数据存储产品的特点授课内容

一、Redis认识

二、Hbase认识教学进程安排

三、MongoDB认识

四、Neo4J认识课后学习任务布熟悉数据存储产品置主要《大数据导论》黄源主编，人民邮电出版社参考资料授课内容大数据存储实训掌握大数据存储实训要求学生应该熟练掌握如下知识的运用教学目的与要求1掌握Redis的安装使用2掌握MongoDB的安装使用1Redis的安装使用2MongoDB的安装使用重点难点实训内容

一、Redis的安装使用教学进程安排

二、MongoDB的安装使用课后学习下载Redis,并安装使用任务布置主要《大数据导论》黄源主编，人民邮电出版社参考资料授课内容大数据分析与挖掘概述了解大数据分析与挖掘要求学生应该熟练掌握如下知识的运用教学目的与要求1）了解大数据分析的概念2）了解大数据挖掘的概念重点认识大数据挖掘的概念难点讲授内容

一、大数据分析1）大数据分析的概念2）大数据分析的类型教学进程安排3）大数据分析的方法而、大数据分析1）大数据挖掘的概念2）大数据挖掘的应用课后学习认识大数据挖掘的应用任务布置主要《大数据导论》黄源主编，人民邮电出版社参考资料授课内容大数据挖掘算法了解大数据挖掘的算法要求学生应该熟练掌握如下知识的运用:1）掌握K-means算法2）掌握朴素贝叶斯算法3）掌握决策树算法4）掌握支持向量机算法重点算法的实现难点讲授内容1）K-means算法2）朴素贝叶斯算法教学进程3）决策树算法安排4）支持向量机算法Python书写代码实现算法课后学习任务布置《大数据导论》黄源主编，人民邮电出版社授课内容大数据可视化概述了解大数据可视化要求学生应该熟练掌握如下知识的运用教学目的与要求1）掌握大数据可视化概念2）了解大数据可视化图表重点1）认识各种大数据可视化图表难点讲授内容1）数据可视化概念教学进程安排2）大数据可视化流程3）大数据可视化图表课后学习熟悉各种大数据可视化图表任务布置主要《大数据导论》黄源主编，人民邮电出版社参考资料授课内容大数据概论通过本课的学习，学生应该掌握如下知识1）大数据的概念教学目的与要求2）大数据的意义重点难点1）大数据的意义教学导入介绍大数据的重要性，举例说明大数据典型案例，逐步引入到课程的介绍内容中来引入课程思政，说明在使用数据时应当在法律范围内授课内容

一、《大数据导论》课程介绍教学进程安排介绍本门课程的学科地位、考核方式、学习内容安排、可以参考的学习资料

二、讲授大数据的定义、原理与发展1）讲授大数据的含义和内容2）讲授大数据的特征3）讲授大数据的产业发展4）讲授大数据的意义课后学习任务布查阅大数据用途的相关资料与案例置主要参考资料《大数据导论》黄源主编，人民邮电出版社授课内容大数据可视化方法了解大数据可视化方法要求学生应该熟练掌握如下知识的运用1）掌握文本可视化教学目的与要求2）掌握网络可视化3）掌握空间信息可视化重点难点网络可视化的实现讲授内容1）文本可视化教学进程安排2）网络可视化3）空间信息可视化Python书写代码实现可视化课后学习任务布置主要参考资料《大数据导论》黄源主编，人民邮电出版社授课内容大数据可视化工具与应用了解大数据可视化工具及应用要求学生应该熟练掌握如下知识的运用教学目的与要求1）熟悉大数据可视化工具2）熟悉大数据可视化应用重点难点大数据可视化工具的使用讲授内容

一、大数据可视化工具1）Excel2）Tableau教学进程安排3）Echarts

二、大数据可视化应用4）大数据可视化应用场景5）大数据可视化应用行业课后学习使用Echarts实现大数据可视化任务布置主要参考资料《大数据导论》黄源主编，人民邮电出版社授课内容大数据安全概述了解大数据安全要求学生应该熟练掌握如下知识的运用教学目的与要求1）了解大数据安全概念2）了解大数据安全的主要技术重点大数据安全的主要技术难点授课内容

一、大数据安全概念1）数据安全概述2）大数据安全概念教学进程安排

二、大数据安全的主要技术1）大数据安全面临的主要问题2）大数据安全的关键技术大数据安全的关键技术课后学习任务布置主要参考资料《大数据导论》黄源主编，人民邮电出版社授课内容大数据安全体系大数据安全体系通过本课的学习，学生应该掌握如下知识教学目的与要求1）熟悉大数据安全体系2）熟悉大数据安全法律重点大数据安全体系实现难点授课内容

一、大数据安全体系1）大数据安全体系概述2）大数据安全体系实施教学进程安排

二、大数据安全法律1）大数据安全法律介绍2）大数据安全法律应用课后学习熟悉大数据安全体系任务布置主要参考资料《大数据导论》黄源主编，人民邮电出版社授课内容工业大数据教学目的与要求要求学生应该熟练掌握如下知识的运用了解工业大数据的特点和应用重点难点工业大数据的特点和应用授课内容

一、工业大数据1）工业大数据概述2）工业大数据分类教学进程安排3）工业大数据内涵4）工业大数据应用认识工业大数据课后学习任务布置主要参考资料《大数据导论》黄源主编，人民邮电出版社授课内容交通大数据与教育大数据教学目的与要求要求学生应该熟练掌握如下知识的运用了解交通大数据和教育大数据的特点重点交通大数据和教育大数据的特点及应用难点实授课内容

一、交通大数据1）工业大数据概述2）工业大数据分类3）工业大数据内涵教学进程安排4）工业大数据应用

二、教育大数据1）工业大数据概述2）工业大数据分类3）工业大数据内涵4）工业大数据应用认识交通大数据和教育大数据课后学习任务布置主要《大数据导论》黄源主编，人民邮电出版社参考资料第2次课2学时授课内容云计算概述和服务类型云计算概述和服务类型通过本课的学习，学生应该掌握如下知识教学目的与要求1）云计算概述；.2）云计算服务类型重点云计算的服务类型难点授课内容

一、云计算的定义教学进程安排

二、云计算的特征

三、云计算的服务类型课后学习任务布认识云计算置主要参考资料《大数据导论》黄源主编，人民邮电出版社授课内容云计算的服务模式和关键技术介绍云计算的服务模式和关键技术通过本课的学习，学生应该掌握如下知识教学目的与要求1）云计算的服务模式3）云计算的关键技术重点难点云计算关键技术授课内容

一、云计算的服务模式的概述公有云、私有云和混合云

二、云计算的关键技术教学进程安排虚拟化技术容器技术并行处理技术海量数据存储技术熟悉公有云、私有云和混合云课后学习任务布置主要参考资料《大数据导论》黄源主编，人民邮电出版社授课内容云计算与大数据的关系和云计算应用通过本课的学习，学生应该掌握如下知识1）云计算与大数据的关系教学目的与要求2）云计算应用重点云计算应用难点授课内容

一、云计算与大数据的关系

二、云计算应用

三、常见的云计算平台教学进程安排课后学习了解云计算平台，并登录使用任务布置主要《大数据导论》黄源主编，人民邮电出版社参考资料授课内容大数据架构Hadoop教学目的与要求介绍大数据架构Hadoop重点难点认识和了解Hadoop架构授课内容

一、认识大数据架构

二、认识Hadoop架构Hadoop基本概念Hadoop原理Hadoop组成教学进程安排示例练习，熟练掌握Hadoop组成课后学习任务布置主要参考资料《大数据导论》黄源主编，人民邮电出版社授课内容HDFS和Mapreduce通过本课的学习，学生应该掌握如下知识1了解IIDFS教学目的与要求2了解Mapreduce熟悉Mapreduce原理重点难点授课内容

一、HDFS1HDFS简介2HDFS工作方式教学进程安排

二、Mapreduce1Mapreduce概念2Mapreduce设计方式3Mapreduce架构与运行课后学习任务布示例练习，掌握Mapreduce架构置主要《大数据导论》黄源主编，人民邮电出版社参考资料授课内容数据采集平台通过本课的学习，学生应该掌握如下知识1）了解数据采集概念教学目的与要求2）了解数据采集平台了解不同的数据采集平台重点难点授课内容

一、数据采集基础1数据采集简介教学进程安排2）数据采集方式

二、数据采集平台1）数据采集平台概述2）数据采集平台介绍课后学习熟悉不采集平台的作用任务布置主要《大数据导论》黄源主编，人民邮电出版社参考资料授课内容爬虫技术介绍爬虫原理定义和方法，要求学生应该熟练掌握如下知识的运用1）了解爬虫的概念教学目的与要求2）掌握爬虫的原理3）掌握爬虫的应用爬虫的原理重点难点授课内容

一、爬虫概念

二、爬虫定义与原理

三、爬虫框架教学进程安排课后学习任务布示例练习，爬虫实现置主要参考资料《大数据导论》黄源主编，人民邮电出版社。