大数据项目实战教学大纲

《大数据项目实战》课程教学大纲（课程英文名称）课程编号201800522062学分学分5学时学时（其中讲课学时上机学时）462422先修课程Hadoop后续课程Spark适用专业大数据应用技术开课部门

一、课程的性质与目标《项目实战》是互联网+创业教育学院软件工程（大数据、人工智能）专业的一门校Hadoop定必修专业课通过学习课程有助于学生综合运用大数据课程知识以及各种工具软件实现大数据分析全流程操作，并通过编写程序与理论讲解相结合的形式加深了解；同时对离线数据分Hadoop析项目的开发过程有所了解，如数据的采集、数据的预处理、数据的分析以及最终达到数据可视化的目的开设本学科的目的是让学生掌握如何使用大数据分析技术解决特定业务领域的问题完成本课程学习后能够熟练的应用大数据技术解决企业中的实际生产问题

二、教学条件要求操作系统Center OS版本Hadoop版本Hive版本Sqoop版本Mysql虚拟化工具VMware Workstation开发工具Eclipse

三、课程的主要内容及基本要求第章项目概述1章名项目概述学时2掌握项目需求和目标

1.了解项目架构设计和技术选型

2.学习目标了解项目环境和相关开发工具

3.理解项目开发流程

4.知识点了解掌握重点难点项目需求和目标预备知谡V项目架构设计及技术选取开发环境和开发工具介绍项目开发流程V V第章搭建大数据集群环境2章名搭建大数据集群环境学时10了解虚拟机的安装和克隆

1.熟悉虚拟机网络配置和服务配置

2.SSH掌握集群的搭建学习目标

3.Hadoop掌握的安装

4.Hive掌握的安装

5.Sqoop知识点了解掌握重占难点虚拟机安装与克隆V虚拟机网络配置V服务配置SSHV安装JDKV安装Hadoop V集群配置Hadoop V V V集群测试HadoopV VV V通过界面查看运行状态UI Hadoop的安装模式Hive安装HiveV安装Sqoop第章数据采集3章名数据采集学时7了解协议

1.HTTP了解爬虫的基本原理

2.学习目标掌握的基本使用

3.HDFS API熟悉爬虫的使用方法

4.HttpClient知识点了解掌握重点难点数据源分类V请求过程HTTPV认识HttpClient V分析网页数据结构V数据采集环境准备V创建响应结果类JavaBean V封装请求的工具类HTTPV V封装储存在数据工具类HDFS V V V实现网页数据采集V V V第章数据预处理4章名数据预处理学时8了解数据预处理流程

1.掌握编写程序

2.MapReduce学习目标熟悉的基本使用

3.HDFS Shell掌握程序的两种运行模式

4.MapReduce知识点了解掌握重点难点分析预处理数据V设计数据预处理方案V数据预处理环境准备V创建数据转换类V创建实现叩任务的类M MapperVV创建主程序并执行程序MapReduceV V V将数据预处理程序提交到集群中运行第章数据分析5章名数据分析学时7了解数据分析

1.了解数据仓库

2.学习目标掌握的操作

3.Hive掌握语句的使用

4.IIQL知识点了解掌握重占难点数据分析概述什么是HiveV设计数据仓库VHive©黑马程序员传智教育旗下!高端教育品牌IT实现数据仓库V V V职位区域分析V职位薪资分析V公司福利分析V V职位技能要求分析V V第章数据可视化6章名数据可视化学时15掌握数据迁移工具的使用

1.Sqoop熟悉关系型数据库

2.MySQL学习目标掌握开发框架的整合及应用

3.SSM JAVAEE掌握前端框架的使用

4.Echarts知识点了解掌握重点难点系统介绍V系统架构V创建关系型数据库VV通过实现数据迁移V VSqoop平台环境搭建VV实现职位区域分布展示VVV实现薪资分布展示VVV实现福利标签词云图VVV实现技能标签词云图VVV平台可视化展示V章目讲课上机合计第章项目概述学时学时学时1202第章搭建大数据集群环境学时学时学时24610第章数据米集学时学时学时3437第章数据预处理学时学时学时4336第章数据分析学时学时学时5325第章数据可视化学时学时学时68816合计46学时学时学时.2422

五、考核模式与成绩评定办法本课程为考试课程，期末考试采用百分制的闭卷考试模式学生的考试成绩由平时成绩（）和期末考试（）组成，其中，平时成绩包括出勤（）、作业（）、上机成30%70%5%5%绩（）20%o

六、选用教材和主要参考书本大纲是根据教材《项目实战》所设计的Hadoop

七、大纲说明本课程的授课模式为课堂授课+上机，其中，课堂主要采用多媒体的方式进行授课，要求学生掌握项目内容及程序设计思想；上机主要是编写程序，要求学生动手完成指定的程序设计或验证撰写人:审定人批准人:执行时间:。