《大数据ETL》课程标准

《大数据》课程标准ETL

一、课程名称大数据ETLo

二、适用专业大数据技术专业

三、课程学时与学分72学时,4学分本课程是大数据技术专业的一门专业核心课程，是从事数据采集工程师、ETL工程师、数据仓库工程师等岗位必须学习的课程，将为后续学习《大数据集群运维监控》、《大数据集群运行问题排查、调优》、《数据仓库建设》等课程奠定基础本课程开设在第8学期，学习该课程之前需具备一定的SQL编程、数据采集、数据处理、数据分析能力，《互联网数据采集》、《大数据组件安装部署》、《数据清洗与预处理》是该课程的前导课程本课程学习的知识和技能可以为第

9、10学期考取大数据分析与应用X证书（初级）、华为HCIA-Big Data大数据认证证书做知识和技能准备

五、课程目标通过本课程的学习，能完成医疗数据中台数据汇总任务、商务机构交易数据汇总任务、汽车制造行业供应链数据汇总任务、传统生产系统数字化转型数据仓库数据建设任务、能源行业数字化转型数据仓库数据建设任务，达到以下具体目标

（一）素养目标

1.培养学生的政治思维、政治洞察力与政治敏感性，培养学生的社会主义核心价值观、爱国主义情操（培养规格1）

2.能够熟练掌握与本专业从事职业活动相关的国家法律、行业规定，掌握信息数据安全、网络安全防护、质量管理等相关知识与技能，了解大数据、网络信息等产业文化，遵守职业道德准则和行为规范，具备社会责任感和担当精神（培养规格2）

3.具备大数据思维，具备较强的逻辑思维能力（培养规格5）

4.关心国内外科技发展趋势，具备使用大数据技术服务于社会的意识，具备良好的自我管理能力，拥有较为清晰的职业与人生目标以及较好的职业生涯规划能力（培养规格4）项目评价以小组为单位，进行综合素质评价及每一个项目作品成果评价，针对每一个项目，累计各个工作阶段实施评分、素质评分、项目成果评分，将评分数据由学习平台进行统计，最终项目结束后按照评分公布优秀项目组，学生素质通过多维能力雷达图展示，实现学生的增值性评价，学生养成职业认同感其中《素质评分表》如下表所示，每个项目素质评价内容相同，各项目评价考核表详见附件1《项目评价考核明细表》，每个项目考核内容不同

3、课程评价（30%）期末考试理论考试（30%）试卷，从试题库中抽取100分的试题进行考核，试题类型有主观题80%,填空题、选择题和判断题组成；客观题20%,简答题、论述题考核时间为90分钟、闭卷考核内容为学习内容中涉及到的所有内容，重点为技术类要求掌握的知识以及其它能够用试卷考核的内容项目测试（70%）为学生提供5个真实案例项目，每个小组随机抽取一个工作项目，并且按照任务书的要求完成1个完整的工作项目考核时间6节课前四节课为项目制作，最后两节课为项目结果说明展示考核人员企业员工和专业教师组成考核内容医疗数据中台数据汇总、商务机构交易数据汇总、汽车制造行业供应链数据汇总、传统生产系统数字化转型数据仓库数据建设、能源行业数字化转型数据仓库数据建设重在考核学生通过运用综合能力，做出的实践成果，详见附件2《大数据ETL》课程综合评价表1项目评价考核明细表

1、考核项目1——医疗数据中台数据汇总考核项目1——医疗数据中台数据汇总采用过程性评价，考核评价表如下表所示考核项目1一一医疗数据中台数据汇总考核评价表班级姓名学号:考核项目1医疗数据中台数据汇总自我评价小组评价教师评序号评价标准分值30%30%价40%1能理解各业务系统医疗数据的含义202能快速理解医疗数据分析指标的含义203能熟练编写程序进行数据清洗，转换204能熟练使用ETL工具，完成数据转换，加载20能对输出数据质量进行核验，对不符合要求的数据510进行纠偏能够主动了解医疗行业大数据行业法规法则，形成610优良的数据保护意识合计

1002、考核项目2——商务机构交易数据汇总考核项目2——商务机构交易数据汇总采用过程性评价，考核评价表如下表所示:考核项目2——商务机构交易数据汇总考核评价表班级姓名学号:考核项目2商务机构交易数据汇总自我评价小组评价教师评价序号评价标准分值30%30%40%1能快速理解商务机构交易数据的含义202能快速理解商务机构数据分析指标的含义203能熟练编写程序进行商务机构数据清洗，转换204能熟练使用ETL工具，完成数据转换，加载205能独立撰写商务机构交易数据源分析报告20合计

1003、考核项目3——汽车制造行业供应链数据汇总考核项目3——汽车制造行业供应链数据汇总采用过程性评价，考核评价表如下表所示考核项目3——汽车制造行业供应链数据汇总据采集考核评价表班级姓名学号:考核项目3汽车制造行业供应链数据汇总自我评价小组评价教师评价序号评价标准分值30%30%40%1能快速理解汽车制造行业供应链数据的含义202能快速理解汽车制造数据中台数据分析指标的含义203能熟练编写程序进行汽车供应链数据清洗，转换204能熟练使用ETL工具，完成数据转换，加载10能够对汽车制造行业数据仓库ETL流程优化，解决ETL510相关技术问题能够根据业务需要，提供面向业务的报表、数据提取等620数据服务合计

1004、考核项目4——传统生产系统数字化转型数据仓库建设考核项目4——传统生产系统数字化转型数据仓库建设采用过程性评价，考核评价表如下表所示考核项目4——传统生产系统数字化转型数据仓库建设考核评价表班级姓名学号:考核项目4传统生产系统数字化转型数据仓库建设自我评价小组评价教师评价序号评价标准分值30%30%40%1能快速理解传统生产各业务系统数据的含义20能快速理解传统生产数据中台数据分析指标的含义220能熟练编写程序进行生产业务系统的数据清洗，转310换4能熟练使用ETL工具，完成数据转换，加载20能够基于数据仓库提供面向业务的报表、封装数据520提取接口能够参与生产系统数据仓库设计和搭建，准确描述610数据仓库架构，能撰写数据仓库设计报告合计

1005、考核项目5——能源行业数字化转型数据仓库建设考核项目5——能源行业数字化转型数据仓库建设采用过程性评价，考核评价表如下表所示考核项目5——能源行业数字化转型数据仓库建设考核评价表班级姓名学号考核项目5能源行业数字化转型数据仓库建设自我评价小组评价教师评序号评价标准分值30%30%价40%1能快速理解能源行业各业务系统数据的含义202能快速理解能源数据中台数据分析指标的含义203能熟练编写程序进行生产业务系统的数据清洗，转换104能熟练使用ETL工具，完成数据转换，加载10能够参与能源数据仓库中台设计和搭建，准确描述数据520仓库架构，能撰写数据仓库设计报告能够对数据仓库有关数据问题进行监控并提供解决方620案建议合计

1005.具备自学能力，能适应大数据行业的不断变革发展，具备解决实际问题、持续学习的能力，能从事实际的数据采集工作，具有较强的规划观念、精益求精意识（培养规格5）

（二）知识目标

1.掌握不同类型的数据库接口操作方法（培养规格12）

2.熟练掌握至少一门脚本语言（SQL/Python/Shell等）（培养规格12）

3.掌握常见的数据清洗方法、数据转换策略（培养规格13）

4.熟悉Sqoop、Hive、Spark等大数据组件的使用方法（培养规格5）

5.了解数据仓库设计方法（培养规格5）

6.熟悉Kettle等ETL工具的使用方法与常见技术问题的解决方法（培养规格18）

7.了解数据采集与处理中的法律与政策规范、主流行业的数据标准规范（培养规格6）

（三）能力目标

1.能够基于数据仓库设计规范和数据源系统制定ETL策略，使用ETL工具将业务数据导入数据仓库（培养规格18,培养规格23）

2.能够使用脚本语言（SQL/Python/Shell等）操作数据，完成数据清洗与处理（培养规格18）

3.能够使用Sqoop、Hive、Spark等组件，完成数据转换，将数据转换结果装载至目标数据仓库（培养规格18）

4.能够使用Kettle等ETL工具进行工作流控制（培养规格18）

5.能够对输出数据质量进行核验，对不符合要求的数据进行纠偏（培养规格18）

6.能够基于数据仓库提供面向业务的报表、封装数据提取接口（培养规格12）

7.具备大数据分析与应用X证书（初级）、华为HCIA-Big Data大数据认证证书的能力（培养规格18）

六、课程内容与要求本课程以不同行业的数据仓库ETL任务为载体，坚持立德树人的根本要求，结合学生学习特点，遵循职业教育人才培养规律，有机融入思想政治教育内容，落实课程思政要求，紧密联系工作实际，突出应用性和实践性，注重学生职业能力和可持续发展能力的培养合理设计学习单元、能力点、学习内容与要求本课程按照行业类型，知识点覆盖范围从小到大、技能点从单一到综合的规律确定学习模块内容，合理序化教学内容学习单元

1、

2、

3、

4、5分别涉及健康医疗行业、商务行业、汽车制造业、传统生产行业、能源（石化）行业，在知识体系上是并列关系，在难易度上，

1、

2、3属于基础ETL任务，

4、5为进阶ETL任务，涉及数据仓库的内容表1课程内容与要求建议序学习单元能力点学习内容与要求学习成果学时号

1.能够对接医疗业务系统数据接口，

1.了解医疗机构的多源异构L医疗多元参与制定ETL策略，使用ETL工具将业数据，包括医院信息系统数据、异构数据分务数据导入数据仓库电子病历数据、公共卫生信息析报告1份

2.能够编写脚本操作数据，完成医疗数据、移动医疗健康监测数据

2.医疗大数数据清洗与处理等，了解医疗数据的结构化和据平台基础

3.能够使用Kettle等ETL工具进行工标准化规范数据1份作流控制

2.了解医疗机构的医疗数据

4.能够使用Sqoop组件完成数据转指标体系，了解医疗业务数据换，将数据转换结果装载至目标数据仓系统接口，理解数据指标与原库始数据的映射关系医疗数据

5.能对输出数据质量进行核验，对不

3.了解医疗领域不同数据源116中台数据符合要求的数据进行纠偏的存储方式（如关系型数据库，汇总文本，非关系型数据库等）4,熟悉医疗数据源的特点，掌握使用Sqoop等工具完成医疗数据源的抽取的方法

5.掌握通过SQL语句、Python脚本等方法清洗，处理数据的方法

6.了解通过双人录入规则实现数据质量稽核的方法商务机构

1.能够对接商务机构上游数据接口，参

1.了解商务机构的交易数据，

1.商务机构212交易数据与制定ETL策略，使用ETL工具将业务交易数据的含义、特点与意义交易数据源汇总数据导入数据仓库

2.能够编写SQL/Python/Shell脚本操2,了解商务机构交易数据来分析报告1作数据，完成商务机构交易数据的清洗源如用户数据、供应商数据、订份与处理单数据、销售数据等

2.数据源

3.能够使用Kettle等ETL工具进行工

3.掌握商务机构数据平台的ETL策略报作流控制数据治理体系，了解数据质量告1份现状

3.商务机构

4.能够使用Sqoop等组件，完成数据转

4.了解商务机构交易数据仓交易数据仓换，将数据转换结果装载至目标数据仓库的指标体系，理解数据指标库基础数据1库与元数据的映射关系份

5.能对输出数据质量进行核验，对不符

5.掌握通过Sqoop、Kettle、合要求的数据进行纠偏Flume等ETL工具进行数据抽取，转换，加载的方法

6.掌握从商务机构交易数据系统中抽取数据的方法

7.掌握通过SQL语句、Python脚本等方法清洗、处理数据的方法

8.根据数据治理规范，学习编写SQL语句、Python脚本程序，使用ETL工具对数据进行清洗和转换，实现数据质量稽核

9.了解商务机构交易数据分析的业务需求和数据仓库设计规范

1.能够对接汽车制造行业供应链系统

1.了解汽车制造行业的供应

1.汽车制造数据接口，参与制定ETL策略，使用链的涵义行业供应链ETL工具将业务数据导入数据仓库

2.理解并掌握生产物料、产数据解析报汽车制造

2.能够编写SQL/Python/Shell脚本操品生产、产品订单、供应商管告1份行业供应316作数据，完成汽车制造行业供应链数据理、产品物流、财务合同、产品

2.汽车制造链数据汇清洗与处理等供应链环节的业务系统数据行业数据中总

3.能够使用Kettle等ETL工具进行工特点台基础数据1作流控制

3.针对多个供应链环节的业份务系统类型和数据特点，选

4.能够使用Sqoop、Hive Spark等组择合适的ETL工具，并制定相件，完成数据转换，将数据转换结果装应的ETL策略载至目标数据仓库

5.能对输出数据质

4.了解供应链数据治理的目量进行核验，对不符合要求的数据进纠标和规范偏

5.掌握供应链数据中台的数

5.能够参与汽车制造行业数据仓库ETL据指标体系流程优化，解决ETL相关技术问题

6.掌握使用Kettle等ETL工具抽取业务系统数据源，导入到数据平台的方法

7.掌握通过SQL语句、Python脚本等方法清洗，处理数据的方法

8.了解在数据加载和转换过程中，完成简单的数据清洗任务（如数据填补、重复数据检测等）的方法

1.了解传统生产系统（如MES）

1.数据仓库

1.能够对接生产系统的数据接口，参与的工作流程、存储数据的特点选型、数据模制定ETL策略，使用ETL工具将生产数

2.了解传统生产系统的数字化型设计报告据导入数据仓库转型需求和目标1份

2.能够编写SQL/Python/Shell脚本操

3.了解基于传统上产系统的数

2.基于生产作数据，完成生产数据的清洗与处理据仓库设计方法系统的数据

3.能够使用Kettle等ETL工具进行工仓库贴源层4,熟悉生产系统数据仓库的数传统生产作流控制基础数据1据指标体系，数据字段含义系统数字

4.能够使用Sqoop、Hive、Spark等组件，份

5.掌握通过Sqoop、Kettle、412化转型数完成数据转换，将数据转换结果装载至Flume等ETL工具进行数据抽据仓库数目标数据仓库取，转换，加载的方法据建设

5.能够基于数据仓库提供面向业务的

6.掌握通过SQL语句、Python报表、封装数据提取接口脚本等方法清洗，处理数据的

6.能对输出数据质量进行核验，对不符方法合要求的数据进行纠偏

7.了解数据仓库数据模型设计规范

8.掌握编写脚本程序完成数据仓库指标计算的方法

9.了解通过双人录入规则实现数据质量稽核的方法L了解能源行业（如石化）的数

1.能源行业字化转型需求和目标，理解能业务系统数源行业业务系统存在的问题如据分析报告1数据孤岛等份

2.了解能源企业的生产过

2.数据仓库

1.能够对接能源业务系统的数据接程，包括原料采集、产品化验、选型、数据模口，参与制定ETL策略，使用ETL工具工艺运行（如脱硫）、生产控型设计策略将生产数据导入数据仓库制、生产设备维护等环1份

2.能够编写SQL/Python/Shell脚本To操作数据，完成能源系统数据的清洗与

3.了解能源企业生产过程的处理业务系统，掌握数据特点

3.能够使用Kettle等ETL工具进行工

4.了解能源行业数据平台数能源行业数作流控制据仓库的设计与构建方法字化转型数

5164.能够使用Sqoop、Hive、Spark等组5,熟悉能源行业数据仓库的据仓库数据件，完成数据转换，将数据转换结果装数据指标体系建设载至目标数据仓库

6.掌握通过Sqoop、Kettle、

5.能够基于数据仓库提供面向业务的Flume等ETL工具进行数据抽报表、封装数据提取接口取，转换，加载的方法

6.能够对数据仓库有关数据问题进行

7.掌握通过SQL语句、Python监控并提供解决方案建议脚本等方法清洗，处理数据的

7.能对输出数据质量进行核验，对不方法符合要求的数据进行纠偏8,了解数据仓库数据模型设计规范

9.掌握编写脚本程序完成数据仓库指标计算的方法

10.了解使用编程工具完成数据稽核任务的方法

七、课程实施

（一）师资队伍

1、专任教师职业能力具备优秀的专业课教学开展与组织能力，掌握大数据组件安装部署、Python编程能力、SQL编程能力、ETL工具操作使用能力，能够以情境任务要求搭建数据仓库，完成ETL过程知识结构了解ETL工程师、数据仓库工程师的各项职业岗位要求；在专业领域中，具备数据采集、数据仓库等较为深入的专业知识背景资质具备中职学校专业课任教资格和企业实践经历

2、兼职教师职业能力企业优秀讲师或行业企业专家，具备有3到5年的大数据相关行业从业经验，参与过多个大数据项目，具有较强的专业技能，具备良好的专业课教学开展与组织能力，具备优秀的Python编程能力，SQL编程能力，精通数据仓库/ETL过程，熟练使用主流ETL工具，能够以情境任务要求设计、构建数据仓库知识结构在行业领域中，深入了解ETL工程师、数据仓库工程师的各项职业岗位要求；在专业领域中，具备数据采集、数据仓库构建等深入的专业知识背景资质具备大数据相关行业从业背景和企业工作经历

（二）实验实训条件

1、校内实训基地根据不同的项目学习需要，选择教室、校企合作实习实训基地、实训设备等进行教学

（1）实训场地数据清洗与处理实训室；

（2）实训设备台式计算机40台、服务器1台，满足完成数据ETL过程的要求

2、校外实训基地目前大数据技术有1个联想校外实训室，能够同时满足50名学生进行实习实训能够满足学校教师、企业专家共同办公，满足专业人才学徒制人才培养要求，符合企业研发、生产要求本校外实训基地具备如下条件

（1）联想组织机构健全，领导和工作（或技术）人员素质高，管理规范，在新一代信息技术领域发展前景好

（2）基于联想“端-边-云-网-智”技术框架下，其研究方向与经营的业务与本专业对口，且联想属于世界五百强企业，社会形象好

（3）符合学生专业实习实训条件，并且能够满足学生顶岗实训一个月以上4有相应的技术人员担任实训指导教师三教学资源

1、教材按照教材必须在政治上坚持四项基本原则，符合党和国家的方针和政策，能运用辩证唯物主义和历史唯物主义的观点阐述本课程的基本规律的原则选择教材教材必须符合本课程教学大纲的要求，符合学生层次的实际，教材内容的阐述要循序渐进，富于启发，有利于对学生能力和素质的培养充分考虑教材的变动与更新，保证教材内容有用、新鲜和实用为保证教学质量，优先选择国家规划教材《数据清洗与ETL技术》以数据核心，详细介绍了ETL数据处理技术，涵盖数据抽取、数据转换、数据装载等过程，理论与实践相结合，作为主要教材；《Kettle构建Hadoop ETL系统实践》则以ETL工具Kettle为核心，介绍如何使用Kettle完成Hadoop数据仓库的ETL过程以及Kettle的进阶知识内容，作为辅助教材两本教材相辅相成，有助于提高学生使用Kettle完成不同行业数据ETL过程的实战能力，在教材内容基础上也可以结合学习单元自主开发模块化教材，包括活页式工作页、学习页、评价表等，同时也可采用校企合作资源库课程资源包

2、图书文献配备《ETL数据整合与处理Kettle》、《大数据Hive离线计算开发实战》等图书可用于学生课余时间巩固课堂所学知识和技能，补充了数据仓库Hive的基础知识，有利于学生后续的学习，提高了学生对于ETL工具Kettle的掌握运用程度亦可用于专业教师教科研等工作的开展，方便师生查询、借阅

3、数字教学资源配置自主开发资源PPT课件、微课、试题库、案例等四教学方法面对新的教学变革，采用线上线下混合式教学模式组织教学，在教学中渗透理实一体化、思政育人的教学理念该课程是大数据技术专业核心课程之一，在教学的过程中应注重锻炼学生的实操能力为主，把大数据ETL处理技能融入到课程的实操训练当中，通过本门课程的学习，学生能够使用ETL工具完成不同行业数据的ETL过程，为构建数据仓库做好准备在教学过程中采用讲演法、任务驱动法、项目教学法、案例分析法等教学方法，辅以餐垫法、工作站法、展览馆法等特色的教学组织方式，提升学生自主探究、合作学习的意识，培养良好的学习习惯；在每个学习单元，学生进行自主探究学习与小组合作讨论学习，加强操作训练；以企业生产过程中实际的工作任务作为案例，在实践中引导学生学会分析问题、解决问题在教学过程中应充分利用实训环境，按照行动导向六步骤，采用任务驱动法等教法，引导学生开展自主、探究、合作的学习活动，在实践中引导学生学会分析问题、解决问题通过教师示范操作，强调岗位标准，强化学生的职业规范，提升学生ETL实战能力，提高学生自主探究的能力，逐步养成严谨科学的职业习惯在解决问题的过程中，学生养成耐心、细致、精益求精的工作态度，强化学生的质量意识本课程在课堂上除了板书讲解等教学手段外，还采用多媒体教学课件、学习网站、视频演示、模拟系统，职教云平台等现代化教学手段，使用了大数据、人工智能、虚拟仿真实训等信息技术，以提高学生的学习兴趣、拓展学习方法，使学生可以有更多的途径获取知识和技能

（五）教学评价严格落实培养目标和培养规格要求，围绕大数据技术专业的人才培养目标，通过教师、企业、学生三个评价主体从核心素质、关键知识、综合能力、实践成果四个维度，通过课堂评价（占比20%）、项目评价（占比50%）、课程评价（占比30%）三种形式收录反映学生成长过程和发展水平的描述与实证材料，全面评价学生综合素质，客观反映学生的个性差异和特长，突出评价对学生全面发展的促进作用

1.课堂评价（20%）通过教师评价、学生互评、学生自评三个主体侧重核心素质的评价课堂评价采用线上线下混合评价方式，借助职教云、雨课堂、云班课等信息化平台对学生在课堂上的学习过程、互动情况等展开评价，结合学生自评、互评等多种评价方式，利用数字信息化直观展示学生的整体情况，让教师在课程中帮助学生更清晰的认识自己学习笔记的检查20%（学生将学习笔记在规定时间内拍照上传信息化平台）评价标准为四级式A、B、C、D,要求完整、字迹工整、有重点、难点的标记学习材料的保存15%（教师线下课堂检查）评价标准为四级式A、B、C、D,要求完整、字迹工整、有错误工作页进行了正确的修改教师评价40%（借助信息化平台开展评价）学生出勤（10%）、学习成果展示（10%）、学习过程表现（师生互动、课堂练习、随堂测试等）（10%）、实操（10%）学生互评15%组内其他同学的评价（10%）,组外同学的评价（5%）o学生自评10%自己对自己的评价

2、项目评价（50%）阶段测评。