大数据采集与预处理课件教学大纲-大数据-数据采与处理

《数据采集与预处理》课程教学大纲

一、课程基本信息1课程编号:.070213292课程类别专业课.3课程性质必修课.4学时/学分学时学分.32/25先修课程无.6适用专业.

二、课程教学目标及学生应达到的能力《大数据采集与预处理技术》一书侧重于介绍大数据关键技术中的大数据采集和数据预处理技术，该教材可作为入门级大数据基础教材，旨在为读者搭建起大数据的知识架构，阐述大数据采集和数据预处理的基本原理，开展相关的初级实践教材系统论述了大数据的概念和关键技术、大数据采集基础知识、常用大数据采集架构、大数据迁移技术、互联网数据的抓取与处理技术、数据预处理等技术，最后给出了基于的大数据综合分析案例Hadoop通过学习本课程，可以比较全面地了解大数据采集和预处理方面的总体情况，掌握大数据数据采集与处理相关技术，并通过大数据分析案例，建立起大数据从数据采集一数据预处理一数据分析一数据可视化的分析架构，加深对大数据相关知识的理，培养学生解决和处理实际问题的思维方法与基本能力，为提高学生的大数据处理能力和进一步学习和应用计算机打下基础，为后续课程的学习提供了强有力的理论基础和专业实践技能课程目标及能力要求具体如下7程目标

1.掌握大数据、数据采集、数据迁移、网络爬虫、数据清洗等基本大数据采集与预处理概念与知识8程目标

2.具备数据采集架构设计、网络爬虫编写、数据迁移工具使用、数据清洗等基本数据采集与预处理技能和解决一般应用问题的基本能力9程目标

3.了解数据采集行业的特性与发展历史，了解与计算机知识产权、系统安全、软件保护等有关的行业政策和法律法规，使学生对数据采集行业有一个完整和全面的认识,树立正确的行业法律理念

三、课程教学内容与学时分配知识单元推荐学教学方知识点教学要求序号支撑课/章节时式程目标1第1章大数据的概念了解大数据的概念，了解大数据关键2讲授1技术，了解大数据采集技术，大数据概述大数据关键技术了解数据预处理技术大数据采集与数据预处理技术计算机产业的法律法规了解信息技术行业的法律法规，重讲授2第1章23点是计算机软件行业的政策和法律数据采集行业的道德规范大数据法规；了解数据采集行业的道德规概述范讲授3传统数据采集技术了解数据采集的基本情况，熟21第2章悉数据采集系统架构，掌握常见的大数据采集基础大数据数据采集关键技术；了解数据的发采集基展、大数据来源，掌握大数据采集础技术讲授Chukwa数据米集421,2掌握大数据采集的基本架构，熟练第3章Flume数据采集掌握常见的大数据采集架构，包括系统日Scribe数据采集Chukwa架构、Flume架构、Scribe志数据架构、Kafka,并比较它们的异同点，Kafka数据采集大数据采集架采集学会设计大数据采集架构构设计掌握数据迁移的基本概念，掌握基讲授+第4章大5数据迁移概念21于主机的迁移、基于存储的迁移、实验数据迁数据迁移相关技术基于主机逻辑卷的数据迁移、基于移技术数据库的迁移、服务器虚拟化的迁移、备份恢复、以及其他数据迁移技术网络爬虫概述了解网络爬虫的概念、网络爬虫的讲授+第5章互641,2抓取策略、网页最新策略实验联网数常用网络爬虫方法据抓取掌握常用网络爬虫方法，包括批量与处理型爬虫技术熟练掌握数据类型的描述、相似数据的描述讲授+721,2第6章数性和向异性的度量方法；相似性或相异性度量方法据预处理解大数据质量的内涵，掌握数大数据质量理基据质量的评价标准；础了解数据预处理的基本技术，掌握每种技术实现的目标掌握数据清洗和数据集成的基础数据清洗基础核技术讲授+第7章大841,2知识实验数据清洗与集数据集成基础和技术掌握数据清洗技术，熟练运用数成据清洗各种方法掌握数据集成技术,熟练运用数据集成各种方法数据规约基础和技术熟练掌握数据规约技术及数据规约讲授+941,2第8章数实验的基本方法据规约数据变换基础和技术1熟练掌握数据变换内容、意义及与变换常用的数据变换技术

四、课程教学方法主要采用讲授式、启发式教学方法，多媒体课堂教学，讲练一体教学手段，给学生更直

1.观的认识，激发学生主动学习的兴趣，培养学生独立思考、分析问题和解决问题的能力,引导学生主动通过实践和自学获得自己想学到的知识在教学内容上，讲解准确简洁，重点突出，精选例题，提高课堂教学效率；注重学生编

2.程思维能力的培养在教学过程中采用电子教案，课件，多媒体教学与传统板书相结合，提高课堂教学

3.PPT信息量，增强教学的直观性课内讨论和课外答疑相结合注意适当采用课堂测验方式，以检测学生课堂听课状态、

4.巩固课程知识重点；课后作业习题要注意覆盖面、质量及难度，以加深课程内容的理解

五、课程的考核环节及课程目标达成度自评方式课程的考核环节

1.课程的考核以考核学生能力培养目标的达成为主要目的，以检查学生对各知识点的掌握程度和应用能力为重要内容，包括平时考核、实验考核和期末考核三部分，平时考核包括课后作业、测验两个环节，实验考核包括实验报告环节，期末考核包括期末考试环节课程总评成绩由平时考核成绩、实验考核成绩和期末考核成绩三部分加权而成，平时成绩、实验成绩、期末成绩及总评成绩均为百分制，在总评成绩中，平时成绩、实验成绩和期末成绩所占的权重分别为、、20%30%50%o各考核环节所占分值比例也可根据教学安排进行调整，建议值及考核细则如下考核环课程成绩构目标分值考核/评价细则对应的课节成及比例程目标作业50主要考核学生对每章节知识点的复习、理解和掌握程度；取平时成绩100各次作业成绩和测验成绩的平均值换算后作为此环节最终成分，占总评成

1、2测验50绩的比例为绩20%实验成绩实验报主要考核学生基本编程技能的掌握情况，取各次实验报告

1001、2100分，占告的平均值换算后作为此环节最终成绩总评成绩的比例为30%课程目

（1）卷面成绩100分，以卷面乘以其在总评成绩中所占的标251比例50%计入课程总评成绩1

（2）主要考核基本编程知识及基本算法、三种程序结构、数期末考试课程目100分，占总组、函数、指针与结构体、文件等内容的掌握程度建议题标652评成绩的比型可为选择题、判断题、程序填空题、程序阅读题、程序设例为50%2计题等器103课目课程目标达成度评价方式

2.课程目标达成度评价包括课程分目标达成度评价和课程总目标达成度评价，具体计算方法如下总评成绩中支撑该课程目标相关考核环节平均得分课程分目标达成度=总评成绩中支撑该课程目标相关考核环节目标总分该课程学生总评成绩平均值课程总目标达成度该课程总评成绩总分（分）100课程目标评价内容及符号意义说明如下表，字母、和则分别表示学生平时、实验和期A BC末考试的实际平均得分，其中，；、分别为平时测验中A=A1+A2,B=B1+B2,C=C1+C2+C3Al A2所对应的课程目标和课程目标得分；、分别为实验中所对应的课程目标和课程目标12Bl B212得分；、、分别为期末考试中对应课程目标、课程目标、课程目标和课程目标的Cl C2C31234试题得分课程总评成绩课程目标评价内容平时实验课程目课程目课程标1标2目标3目标分值100100256510010学生平均得分4,M B\,Bi CiCi O.2A+

0.3B+Q5cC3课程目标达成度评价值计算具体说明如下考核环节目标分值学生平均得分各课程目标达成度计算示例课程目标平时

（1）30Ai课程目标

0.2A1+

0.3B1+

0.5C1/目标分值20Bi实验

（1）1加权值50Ci期末考试

（1）平时

（2）70Ai课程目标（O.2A+

0.3B2+

0.5C2）/目标分值加实验

（2）80Bi22权值期末考试

（2）C265课程目标期末考试

（3）C3G/目标分值加权值103100O.2A+

0.3B+

0.5C

0.2A+

0.3B+

0.5C/100课程总总评成绩3考核环节目标分值学生平均得分各课程目标达成度计算示例课程目标体目标

六、本课程与其它课程的联系与分工《大数据采集与预处理技术》是大数据专业的专业课程，也是对大数据行业有一个初步了解的入门课程，是提高学生应用大数据能力的一门技术基础课程通过本课程的学习，为学生后期的其它大数据课程奠定了基础它所提供的编程思维培养和训练，十分有益于学生综合思考、解决具体问题能力的提高，有益于学生严谨、完整、规范的科学态度的培养，这些能力与态度是一切软、硬件计算机科学工作者所不可缺少的本课程所传授的编程思维和方法，广泛地应用在各个大数据相关技术领域

七、建议教材及教学参考书建议教材《大数据采集与预处理技术》唐世伟，田枫，盖璇，李学贵编著，清华大学出版社参考书《大数据采集与预处理技术》，刘丽敏，廖志芳，周韵著，中南大学出版社，年201812月《大数据测试技术数据采集分析与测试实践》，刘攀著，人民邮电出版社，2018。