大数据教学大纲

《大数据》课程教学大纲适合专业数据科学与大数据技术专业课程编号先修课程高等数据、线性代数、JAVA学分4总学时64

一、课程性质、目的与要求课程性质专业必修课醒目的通过对大数据的相关知识介绍，使学生掌握大数据的概念和原理，熟悉大数据的理论与算法，了解大数据未来发展趋势，能够利用所学知识，进行大数据应用实现和算法设计，培养学生运用大数据技术解决大数据行业应用问题课程要求本课程系统介绍了大数据的理论知识和实战应用，包括大数据概念与应用、数据采集与预处理、数据挖掘算法与工具、R语言、深度学习以及大数据可视化等，并深度剖析了大数据在互联网、商业和典型行业的应用期望学生对大数据处理技术有比较深入的理解，能够从具体问题或者实例入手，利用所学的大数据知识在应用中实现数据分析和数据挖掘

二、教学内容理论总学时36学时第1章大数据概念与应用2学时基本要求熟悉大数据的概念与意义、大数据的来源、大数据应用场景及大数据处理方法等内容重点大数据的定义、研究内容与应用难点无第2章数据采集与预处理4学时基本要求熟悉常用的大数据采集工具，特殊是Apache Kafka数据采集使用方法；熟悉数据预处理原理和方法，包括数据清洗、数据集合、数据转换；掌握数据仓库概念与ETL工具Kettle的实际应用重点Apache Kafka数据采集、数据清洗、数据仓库与ETL工具难点ETL工具Kettle的实际应用第3章数据挖掘算法6学时基本要求熟悉常用的数据挖掘算法，内容上从分类、聚类、关联规则和预测模型等数据挖掘常用分析方法出发掌握相对应的算法，并能熟练进行数据挖掘算法的综合应用重点分类算法、聚类算法、关联规则、时间序列预测难点数据挖掘算法的综合应用第4章大数据挖掘工具4学时基本要求熟练掌握机器学习系统Mahout和大数据挖掘工具Spark Mllib下的分类算法、聚类算法、协同过滤算法的使用，并对其他数据挖掘工具有所了解重点Mahout安装与使用、Spark Mllib工具的使用难点Mahout和Spark Mllib工具的使用第5章R语言4学时基本要求了解R语言的发展历程、功能和应用领域；熟悉R语言在数据挖掘中的应用；掌握R语言在分布式并行实时计算环境Spark中的应用SparkRo重点R语言基本功能、R语言在数据挖掘中的应用、SparkR主要机器学习算法难点R语言与数据挖掘第6章深度学习4学时基本要求了解深度学习的发展过程和实际应用场景，并结合人脑的工作原理，理解深度学习的相关概念和工作机制，做到能够熟练使用常用的深度学习软件重点人脑神经系统与深度学习、卷积神经网络、深度置信网络、循环（递归）神经网络、TensorFlow和Caffe难点人工神经网络第7章大数据可视化4学时基本要求熟悉大数据可视化的基础知识；掌握文本可视化、网络可视化、时空数据可视化、多维数据可视化等常用的大数据可视化方法，可通过Excel.Processing、NodeXL和ECharts软件实现数据的可视化重点数据可视化流程、大数据可视化方法、大数据可视化软件与工具难点时空数据可视化、多维数据可视化第8章互联网大数据处理4学时基本要求掌握互联网信息抓取技术，能够通过互联网信息抓取、文本分词、倒排索引与网页排序这4个主要步骤实现互联网大数据处理，并能够熟练运用重点Nutch爬虫、文本分词、倒排索引、网页排序难点倒排索引第9章大数据商业应用2学时基本要求熟悉用户画像和精准营销的构建；熟悉广告推荐系统的建设；熟悉互联网金融的应用方法重点用户画像构建流程、用户标签、广告推荐、互联网金融应用方向难点信用评分算法、分类模型的性能评估第10章行业大数据2学时基本要求以地震大数据、交通大数据、环境大数据和警务大数据为例来熟悉行业大数据的应用，学会利用数据创造价值重点理解数据和数据分析在业务活动中的具体表现难点无

三、实践教学要求实践总学时28学时实验实验基本实验项目名学时分实验内容简介序号类型要求要求称配在CentOS7操作系统环境下，设Apache置大于4GB的交换空间，进行熟练1验证必做2Kafka数据Apache Kafka的安装和使用该掌握采集工具实验可以在大数据实验平台上开展熟练数据挖掘算做实验前需要老师上传实验输2设计必做4法应用入数据，明确实验目的与要求，掌握指导学生完成数据挖掘算法的综合运用实验该实验可以在大数据实验平台上开展安装Linux操作系统和Hadoop平台后完成Mahout的部署，并上传实验输入数据，完成份类算3Mahout应用必做熟练2法、聚类算法、协同过滤算法的应用该实验可以在大数据实验平台上开展在Spark环境中，运用Spark Mllib工具中实现分类算法、聚类Spark4应用必做熟练2算法、协同过滤算法的应用该MLlib实验可以在大数据实验平台上开展运用Caffe框架获取Cifar-10数据集，将训练数据集转化为训练需要的格式，将训练集送入网络Cifar-10熟练5应用必做2训练，得到最终的识别模型，识目标识别掌握别数据集的10类目标物体该实验可以在深度学习一体机上开展利用caffe框架获得MNIST手写体数字数据集和LeNeT网络描述文件，将原始数据转化为训练数MNIST手写熟练据输入网络，经过不断的迭代得6应用必做2体数字识别到最终网络模型，利用模型可以掌握项目识别出和同类型的手写体数字该实验可以在深度学习一体机上开展先从网页中扒取部份数据信息，然后从这些信息中提取去我们所需要的几项数据，将其存储在熟练HBase中然后我们可以通过关7搜索引擎设计必做4键词搜索从HBase中将这些数据掌握根据我们的关键词提取出来该实验可以在大数据实验平台上开展根据数据集利用Spark进行训练，得到一个最佳推荐模型，并熟练用实际数据和平均值这两方面8推荐系统设计必做4掌握评价该模型的准确度该实验可以在大数据实验平台上开展通过提取贷款用户相关特征，使用Spark MLlib构建风险评估模型，使用逻辑回归算法将用户分个人贷款熟练为高风险、低风险两种风险等9应用必做2风险评估级，此分类结果可作为银行放贷掌握的参考依据该实验可以在大数据实验平台上开展选取北京2022年1月到6月这半年间的每小时天气和空气质量数据，要求每位学生在client熟练10环境大数据设计必做服务器上运行这些数据，从中分4掌握析出的环境统计结果，包含月平均气温、空气质量分布情况等该实验可以在大数据实验平台上开展注

1、实验类型演示、验证、综合、设计、研究

2、实验要求必做、选做I、课时分配序号章节内容理论环节时数实验时数1第1章大数据概念与应用22第2章数据采集与预处理423第3章数据挖掘算法644第4章大数据挖掘工具445第5章R语言46第6章深度学习447第7章大数据可视化48第8章互联网大数据处理449第9章大数据商业应用2610第10章行业大数据24饰十3628总学分4总学时64

五、建议教材与教学参考书序号书名编者出版社版本1大数据刘鹏电子工业出版社12云计算刘鹏电子工业出版社33大数据库刘鹏电子工业出版社14大数据实验手册刘鹏电子工业出版社1实战Hadoop

2.05叶晓江、刘鹏电子工业出版社2从云计算到大数据

六、教学形式与考核方式教学形式本课程采用课堂讲授、分析和实践教学等手段开展教学活动考核方式本课程采用平时考察与期末闭卷考试相结合的考核方法平时考察主要考察课堂表现、作业完成情况，平时成绩占30%（课堂表现及考勤占5%,作业占25%）期末考试主要采用闭卷考试的方式命题要求覆盖大纲重点内容，题型不少于四种，难易程度适中。