《DE学习资料》课件

数据工程学习资料欢迎参加《数据工程学习资料》系列课程！本课程（DE-101）由李明宇讲师主讲，将于2025年5月正式开始通过这套全面的学习材料，您将系统掌握数据工程的核心知识和实践技能无论您是初学者还是已有一定基础的数据从业人员，这套包含50个模块的课程都将带您深入了解数据工程的理论与实践，帮助您在这个快速发展的领域建立坚实基础课程概述课程目标学习内容培养学员从入门到专业的包含50个精心设计的模数据工程实战能力，掌握块，涵盖数据工程理论基数据工程师所需的核心技础、核心技术栈、实际案能与工具，为数据驱动决例分析和前沿发展趋势策提供有力支持适用人群从数据领域入门者到具有一定基础的中级工程师，无论是想转型还是提升专业技能的学习者都能受益什么是数据工程？数据工程定义行业地位数据工程是关于设计、构建和维护数据基础设施的学科，确在当今数据驱动的商业环境中，数据工程师成为组织数据战保数据能够被有效收集、转换、存储和分析它为数据科学略的关键执行者，负责构建支持数据科学家和分析师工作的和业务分析提供可靠的数据基础底层架构据研究显示，全球数据工程市场规模在2024年已达1280亿美元，预计未来五年将保持20%以上的年复合增长率数据工程师的职责数据流程开发系统维护构建ETL/ELT数据管道，实现数据从源系统到目标存储的监控数据基础设施性能，排架构设计高效流动除故障并优化系统运行质量保障设计可扩展、高效的数据基实施数据质量控制措施，确础设施，确保数据服务满足保数据的准确性、一致性和业务需求的同时保持灵活性可用性数据工程的发展历史1传统数据库时代1970-2000以关系型数据库为中心，数据量相对较小，处理方式以批处理为主2大数据兴起2000-2010Hadoop生态系统出现，分布式计算模型应对爆炸性增长的数据量3云计算革命2010-2020云服务平台提供弹性计算资源，数据处理架构日益多样化4智能数据时代2020-至今AI与数据工程深度融合，实时处理、自动化和数据治理成为焦点数据工程基础架构概述数据可视化层将数据转化为直观图表，支持决策分析数据分析层提供数据查询和分析能力数据处理层执行转换和计算操作数据存储层管理结构化和非结构化数据数据收集层从各种来源获取原始数据数据工程师必备技能编程语言大数据技术云平台与DevOps•Python-数据处理和自动化首选•Hadoop生态系统•AWS/Azure/GCP服务•Spark分布式计算•Docker容器化•Java/Scala-大数据框架开发•Kafka流处理•Kubernetes编排•SQL-数据查询和操作基础•数据仓库与数据湖•CI/CD工作流学习路径规划入门阶段（个月）1-3掌握基础编程、SQL和数据库概念进阶阶段（个月）4-6学习ETL工具、数据仓库和云服务专业阶段（个月）7-12深入大数据框架、流处理和架构设计持续进阶关注前沿技术、参与开源项目数据类型与结构结构化数据半结构化数据非结构化数据具有明确定义模式的具有一定组织形式但没有预定义模型的数数据，如关系数据库不符合严格表格结构据，如文本文档、图中的表格数据特点的数据，如JSON、像和视频这类数据是易于查询和分析，XML文件这类数据占总体数据量的80%常见于交易系统、灵活性强，常见于以上，需要特殊技术CRM和ERP系统中Web服务和API交互进行处理和分析中时序数据按时间顺序索引的数据点序列，常见于IoT设备、监控系统和金融交易这类数据分析通常关注趋势和模式变化数据生命周期管理数据生成数据收集从各种来源产生原始数据聚合并导入数据到处理系统数据归档与删除数据处理与转换根据策略归档或清除过期数据清洗、转换、丰富数据数据分析与可视化数据存储4从数据中提取价值和洞察持久化保存处理后的数据数据质量管理数据质量维度质量评估方法•准确性-数据与实际情况的符合度数据质量评估依赖于各种技术，包括自动化验证规则、数据分析和探查工具通过建立质量指标仪表板，可视化当前数•完整性-数据记录的充分程度据质量状况，并设置阈值报警机制监控关键指标•一致性-数据在各系统间的协调性定期数据质量审计和分析是确保数据可靠性的基础现代工•及时性-数据的时效性和可用性具如Great Expectations和Deequ能够自动执行质量检查，大•唯一性-避免重复和冗余大提高了质量管理的效率基础与进阶SQL基础查询优化学习SELECT语句的高效编写，包括WHERE子句的合理使用，避免不必要的列查询和表扫描，合理利用索引提高查询性能复杂JOIN操作掌握INNER JOIN、LEFT JOIN、RIGHT JOIN和FULL OUTERJOIN的应用场景，以及多表连接的优化技巧，避免笛卡尔积导致的性能问题窗口函数应用使用ROW_NUMBER、RANK、DENSE_RANK和LAG/LEAD等窗口函数进行高级数据分析，如计算滚动平均值、同比增长和累计统计等高级SQL技术学习CTE递归查询、子查询优化、动态SQL生成以及跨数据库查询技术，应对企业级数据分析需求关系型数据库关系型数据库以表格形式组织数据，通过外键建立表之间的关系它们提供ACID事务保证，适合需要保证数据一致性的业务场景数据库设计遵循规范化原则，减少数据冗余并避免更新异常高性能关系数据库应用需要精心设计的索引策略、分区方案以及查询优化主要产品如MySQL适合中小应用，PostgreSQL功能丰富且开源，而Oracle则在企业级应用中占据主导地位数据库NoSQL类型特点主要产品适用场景文档型存储半结构MongoDB、内容管理、化JSON文档CouchDB电子商务列式按列存储，Cassandra、时序数据、支持大规模HBase日志存储扩展键值对简单、高性Redis、缓存、会话能DynamoDB存储图数据库存储实体间Neo4j、社交网络、关系JanusGraph推荐系统数据仓库技术数据仓库架构层次现代数据仓库通常由数据源层、暂存区、数据集成层和展示层组成，形成一个完整的数据处理流水线维度建模采用星型模式或雪花模式组织数据，将业务过程度量（事实）与业务实体描述（维度）分开，便于分析查询云数据仓库Snowflake、Amazon Redshift、Google BigQuery等平台提供全托管服务，具备自动扩展、按需付费等特性性能优化通过列式存储、数据分区、物化视图和查询缓存等技术提升数据仓库性能，满足复杂分析需求数据湖架构数据湖定义与特点主要技术与实现数据湖是一个集中式存储库，可以存储所有结构化和非结构当前市场主流的数据湖存储解决方案包括AWS S

3、Azure化数据，无需预先定义模式它采用扁平架构，允许数据以Data LakeStorage和Google CloudStorage，它们提供低成原始格式存储，具有极高的灵活性和可扩展性本、高耐用性的对象存储服务与传统数据仓库相比，数据湖不要求在摄入时对数据进行转数据湖管理需要元数据系统、数据目录和访问控制机制等工换，而是支持先存储后处理的范式，大大降低了前期设计具支持Apache Hudi、Delta Lake和Iceberg等开源项目为数成本据湖带来了事务支持、架构演进和时间旅行等企业级特性数据建模技术概念模型业务视角的高级抽象，识别实体和关系逻辑模型详细描述数据结构、关系和约束物理模型3面向特定数据库系统的具体实现数据建模是数据工程的基础环节，好的数据模型能够准确反映业务需求，同时保证系统性能和可扩展性建模过程需要数据工程师与业务分析师密切协作，确保模型既符合技术标准又满足业务需求现代建模工具如ERwin、PowerDesigner提供可视化界面，简化模型设计并支持自动生成数据库脚本，大大提高了建模效率与流程ETL ELT流程流程ETL ELT传统的ETL提取-转换-加载流程先从源系统提取数据，然后现代ELT提取-加载-转换流程直接将原始数据加载到目标系在专用转换服务器上进行处理，最后将处理后的数据加载到统，然后利用目标系统（如云数据仓库）的计算能力进行转目标系统这种方式适合数据量较小且需要复杂转换的场换这种方式适合大数据量和云环境景•优点充分利用目标系统计算能力，处理更灵活•优点转换质量可控，目标数据更干净•缺点需要目标系统有强大的计算能力•缺点处理能力受限于转换服务器性能数据集成工具开源工具云原生服务•Apache NiFi-基于流程的数据处理•AWS Glue-无服务器ETL服务•Azure Data Factory-混合数据集成•Airbyte-现代ELT平台，配置简单服务•Apache Kafka-高吞吐量数据流处•Google CloudDataflow-统一批处理理和流处理•Talend OpenStudio-界面友好的•Alibaba DataWorks-一站式数据开ETL工具发平台商业解决方案•Informatica PowerCenter-企业级数据集成•Fivetran-全托管ELT服务•Matillion-数据仓库转换工具•Stitch-简单易用的数据管道服务在数据工程中的应用Python类别库名主要功能适用场景数据处理Pandas表格数据处理数据清洗、转与分析换、探索大规模处理Dask并行计算框架扩展Pandas处理大数据集数据质量Great数据验证与文数据质量保证Expectations档与监控数据库连接SQLAlchemy ORM与SQL生数据库交互与成操作数据流程Apache工作流编排与复杂数据管道Airflow调度管理在数据工程中的应用Scala函数式编程Spark生态集成与Java互操作Scala结合了面向对象Scala是Apache SparkScala可以无缝调用和函数式编程范式，的原生语言，提供最Java库，让开发者能提供不可变数据结构完整的API支持使用够利用丰富的Java生和高阶函数，非常适Scala编写Spark应用可态系统这种互操作合数据转换操作函以充分利用其类型安性使Scala成为连接传数式特性使代码更简全特性，减少运行时统Java系统和现代大洁、易于并行化，适错误，同时获得更好数据框架的理想桥合分布式数据处理环的性能表现梁境生态系统Apache HadoopHDFSMapReduce分布式文件系统，提供高吞吐量数据访分布式计算框架，通过Map和Reduce操问，适合大文件存储和批处理作处理大规模数据集1Pig YARN高级数据流语言和执行框架，简化资源管理平台，负责集群资源分配MapReduce编程和作业调度HBase Hive分布式列式数据库，适用于非结构化数数据仓库工具，提供SQL接口查询HDFS据的实时读写数据框架Apache Spark高级API与应用提供专业领域功能Spark SQL2结构化数据处理Spark Streaming实时数据处理MLlib机器学习算法库GraphX5图计算引擎Apache Spark是一个统一的分析引擎，能够以内存为中心处理大规模数据其核心是弹性分布式数据集RDD，提供容错的分布式数据处理模型Spark的DataFrame和Dataset API则提供了更高层次的抽象，结合了RDD的性能与SQL的表达能力流处理技术流处理核心概念主流技术对比流处理系统处理连续不断的数据流，而非静态数据集关键•Apache KafkaStreams轻量级库，与Kafka深度整合概念包括事件时间与处理时间、窗口操作、状态管理和一致•Apache Flink真正的流处理引擎，支持事件时间语义性保障现代流处理框架支持精确一次处理语义，确保数据•Apache Spark Streaming微批处理模式，易于与批处理不丢失也不重复处理集成•Apache Storm低延迟，但一致性保证较弱•Apache Samza分区扩展能力强，状态管理出色深入解析Kafka数据编排与调度任务定义使用代码定义工作流程，实现版本控制依赖管理配置任务间依赖关系，形成有向无环图调度执行按计划或触发条件自动运行工作流监控反馈跟踪任务状态，处理异常情况Apache Airflow已成为数据编排领域的事实标准，它基于Python定义DAG（有向无环图）表示工作流此外，Luigi、Prefect和Dagster等工具也提供了各具特色的工作流管理功能，满足不同场景需求云平台数据服务AWS数据服务亚马逊云平台提供全面的数据服务生态，包括S3对象存储、RDS关系数据库、DynamoDB NoSQL数据库、Redshift数据仓库、EMR大数据处理、Glue数据集成等其优势在于服务丰富度和市场占有率Azure数据平台微软Azure专注于企业级数据服务，提供SQL Database、Cosmos DB、Synapse Analytics、DataFactory、HDInsight等产品其强项是与企业现有Microsoft技术栈的无缝集成，以及混合云部署灵活性阿里云数据服务针对中国和亚太市场，阿里云提供MaxCompute、实时计算Flink、DataWorks等数据产品其特点是本地化支持和完善的技术生态，特别适合中国企业数字化转型需求数据版本控制与治理数据目录数据血缘提供数据资产的集中注册追踪数据在系统间流动的表，帮助用户发现和了解完整路径，记录数据的来可用数据现代数据目录源和转换过程数据血缘如Amundsen、DataHub不分析有助于变更影响评仅记录技术元数据，还包估、问题根因分析和法规含业务定义和数据使用上合规证明，是数据治理的下文，实现知识共享核心功能数据治理框架建立数据管理的政策、流程和责任分配完善的数据治理结合技术工具与组织措施，通过数据管理委员会和数据所有者制度，确保数据资产的安全、合规和有效利用数据安全与隐私数据分类与保护根据敏感度对数据进行分类，为不同级别数据实施相应的保护措施高敏感数据应采用加密存储、传输加密以及严格的访问控制，确保即使在安全事件发生时也不会泄露访问管理与审计实施最小权限原则，确保用户只能访问工作所需的数据建立完善的身份验证、授权机制和访问日志审计系统，及时发现异常访问行为并进行调查数据脱敏与匿名化在非生产环境使用数据时，应用脱敏技术替换或修改敏感信息针对分析和共享需求，采用差分隐私等技术确保数据集不会泄露个人信息合规与安全架构设计符合GDPR、CCPA等法规要求的数据处理流程，建立数据处理活动记录采用安全架构设计模式，将安全控制集成到数据管道和存储系统中容器与Kubernetes容器基础概念Kubernetes核心功能•容器是轻量级的可执行软件包•自动部署和扩展容器•包含应用代码及其依赖•负载均衡和服务发现•Docker是最流行的容器化平台•存储编排和配置管理•提供一致的运行环境•自动故障恢复和滚动更新数据工程应用价值•简化数据工具的部署与管理•支持弹性伸缩数据处理工作负载•确保开发、测试与生产环境一致性•降低基础设施管理复杂度数据管道CI/CD版本控制开发与测试使用Git管理代码，应用分支策略和代开发ETL代码并编写自动化测试，验码审查证数据处理逻辑自动化测试执行单元测试、集成测试和数据质量检查监控与反馈自动部署监控管道性能，发现问题立即响应通过编排工具部署到各环境，确保一致性数据可视化技术数据可视化是数据分析的最后一公里，将复杂数据转化为直观图表，帮助用户快速理解数据并发现洞察现代可视化工具既支持拖拽式界面设计，也支持编程方式创建高级自定义图表企业级可视化工具如Tableau和Power BI提供强大的分析能力和用户友好界面，而开源平台如Apache Superset和Metabase则提供更灵活的部署选项和定制能力选择工具时需考虑数据源连接能力、交互性、共享功能和扩展性监控与可观测性关键指标监控日志管理分布式追踪跟踪数据管道的健康集中收集和分析系统跟踪请求在分布式系状况、性能和资源利日志，快速定位故障统中的完整路径，识用率核心指标包括原因ELK Stack别性能瓶颈Jaeger和作业成功率、数据延Elasticsearch,Zipkin等工具可视化请迟、处理时间、吞吐Logstash,Kibana是求流程，测量各组件量以及错误率设置流行的日志管理解决的处理时间，帮助优基于阈值的告警，及方案，支持全文搜索化系统性能和资源分时发现异常情况和可视化分析，简化配问题排查过程性能优化技术10x60%查询优化提升分区减少扫描优化执行计划可显著提升查询速度适当分区可大幅降低数据扫描量95%缓存命中率高效缓存策略极大减少计算开销数据工程性能优化需从查询设计、数据组织和系统配置多方面入手查询优化包括适当索引、避免全表扫描和减少数据传输；数据组织优化涉及分区策略、数据分布和压缩技术；系统配置则关注资源分配、并行度设置和缓存管理性能优化是持续过程，需要建立基准测试、收集指标并定期评估不同场景下的优化策略各有侧重，需根据实际工作负载特点来设计最佳方案大规模数据处理挑战数据规模挑战高并发与低延迟处理PB级数据面临存储、计算、网络多方面挑战传统架构支持高并发数据摄入要求系统具备足够带宽和处理能力，通在这种规模下往往不堪重负，需要采用分布式系统和专门优常采用分区、缓冲和背压机制控制数据流对于低延迟查询化的算法设计原则包括数据本地化处理、减少数据移动和需求，可结合内存计算、预计算、索引优化和查询缓存等技增量计算术大规模数据管理还需考虑存储成本控制、备份策略和数据生跨区域数据同步则需处理网络延迟、一致性和冲突解决问命周期管理，平衡性能与成本要求题，常见方案包括异步复制、事件驱动架构和冲突解决策略机器学习工程特征工程与存储将原始数据转换为机器学习模型可用的特征，并建立特征存储系统，实现特征复用和一致性管理模型训练与评估使用各种算法训练模型，通过交叉验证和指标评估选择最佳模型，记录超参数和训练数据版本模型部署与服务将模型打包为微服务或集成到应用中，提供实时或批量预测能力，支持模型版本管理和回滚模型监控与重训练持续监控模型性能和数据分布变化，在性能下降时触发自动重训练流程，确保模型持续有效时序数据处理时序数据特性与存储时序数据是按时间戳索引的连续数据点序列，常见于传感器监测、金融交易和系统监控此类数据具有高写入率、很少更新和基于时间范围查询的特点，需要专门优化的存储结构分析与预测时序数据分析涉及趋势识别、季节性分解和异常检测等技术常用工具包括统计模型（ARIMA、指数平滑）和机器学习方法（LSTM、Prophet）通过这些技术，可以预测未来趋势或检测异常事件IoT应用案例物联网设备产生大量时序数据，需要边缘处理和云端分析相结合的架构从边缘设备收集的传感器数据经过初步过滤和聚合，然后上传至云端进行深度分析，实现设备状态监控和预测性维护图数据处理图数据模型查询语言与算法图数据库使用节点、边和属性图数据库使用专门的查询语言表示数据之间的关系与关系如CypherNeo4j和型数据库相比，图数据库在处GremlinJanusGraph，简化关理复杂关联关系时性能更优，系查询常用图算法包括路径特别适合社交网络、推荐系分析（最短路径）、中心性分统、欺诈检测等高度关联数据析（PageRank）、社区检测和的应用场景相似性计算，用于解决网络分析问题知识图谱应用知识图谱是图数据的重要应用，将结构化信息以语义网络形式组织它能够表示实体间的复杂关系，支持语义搜索、问答系统和智能推荐，已广泛应用于搜索引擎、智能助手和企业知识管理数据湖仓一体化Lakehouse架构概念技术实现与工具Lakehouse架构结合了数据湖的灵活性和低成本存储与数据当前主流的开源湖仓实现主要包括Delta Lake、Apache仓库的结构化查询能力这种新兴架构通过在低成本对象存Iceberg和Apache Hudi，它们通过提供表格式Table Format储上实现事务支持、架构强制和性能优化，实现一份数据层，为数据湖带来ACID事务、架构演化和时间旅行等企业级多种用途的愿景特性•统一存储降低数据复制和同步成本•Delta Lake-Databricks开源，与Spark深度集成•支持结构化和非结构化数据处理•Iceberg-Netflix孵化，多引擎兼容性好•能同时服务于批处理和实时分析需求•Hudi-Uber开源，支持增量处理•查询引擎Presto/Trino提供SQL接口实时分析平台数据网格架构领域驱动设计按业务领域组织数据资产，而非技术功能数据即产品将数据视为产品，注重质量与用户体验自助数据基础设施提供统一工具平台，简化数据管理联邦治理平衡中央标准与领域自主权数据网格是一种分布式数据架构范式，旨在解决传统中心化数据平台的可扩展性和敏捷性挑战它将数据所有权下放到业务领域团队，让他们负责提供高质量的数据产品，同时保持全企业数据的互操作性和一致性实施数据网格需要组织结构、技术架构和治理模式的协同变革，通常分阶段进行，从试点领域开始，逐步扩展到整个组织数据与服务化APIRESTful数据API基于REST原则设计的数据接口，使用HTTP方法（GET、POST、PUT、DELETE）操作资源这种API风格简单直观，适合大多数数据访问场景，支持过滤、分页和排序等功能GraphQL接口允许客户端精确指定所需数据的查询语言和运行时与REST相比，GraphQL减少了网络往返和数据过量获取问题，特别适合复杂数据结构和多样化客户端需求API管理通过API网关实现认证、授权、限流和监控等功能完善的API管理包括版本控制、文档生成、SLA定义和使用分析，确保API安全、高效和易于使用数据工程团队组织团队角色与职责敏捷方法应用•数据架构师-设计整体数据架构•Scrum或Kanban适应数据项目特点•数据工程师-构建数据管道和基础设•短迭代、增量交付数据功能施•定期回顾优化工作流程•数据平台工程师-维护底层数据平台•自动化测试和持续集成•数据DevOps工程师-自动化部署与监控•数据治理专家-确保数据质量与合规跨功能协作•与业务分析师共同定义需求•与数据科学家协作支持模型开发•与IT运维协调基础设施管理•与安全团队合作确保数据安全开源数据工程项目数据工程案例研究电商用户行为分析实时捕获和处理用户行为数据推荐系统数据流构建个性化推荐的数据基础库存与物流管理跟踪产品从仓库到交付的全过程订单处理系统处理交易并保证数据一致性电商平台需要处理多种数据流，包括用户点击流、交易数据、库存信息和物流数据等这些数据既用于实时决策（如库存管理、欺诈检测），也用于离线分析（如销售趋势、用户画像）典型电商数据架构采用Lambda或Kappa架构，结合批处理和流处理能力用户行为通过埋点收集，实时流入Kafka，再由SparkStreaming或Flink处理；而订单和库存数据则通常存储在关系数据库中，并定期同步到数据仓库进行分析数据工程案例研究金融交易数据摄入从多个交易系统收集数据，确保完整性和一致性采用CDC技术捕获数据库变更，最小化延迟风险计算与分析执行市场风险、信用风险和操作风险计算，需要处理大量历史数据和实时市场数据合规报告生成自动生成监管报告，确保数据准确性和一致性，满足不同司法管辖区的要求4欺诈检测与预防实时分析交易模式，使用机器学习模型识别可疑活动，减少金融损失数据工程案例研究医疗健康患者数据整合医学影像处理数据隐私保护医疗数据工程面临的首要挑战是整合来医学影像数据具有体积大、结构复杂的医疗数据极其敏感，受到HIPAA等法规自不同系统的患者数据这包括电子健特点典型的CT或MRI检查可产生数GB严格保护数据工程解决方案必须实现康记录EHR、实验室结果、医学影像和数据，需要高性能存储和处理系统影端到端加密、细粒度访问控制和全面审可穿戴设备数据等医疗数据格式多像处理管道需要支持格式转换、匿名计日志差分隐私和联邦学习等技术允样，如HL

7、FHIR和DICOM等标准，需化、特征提取和AI模型应用，同时保证许在不共享原始数据的情况下进行协作要专门的解析和标准化处理原始数据的完整性研究，平衡数据利用与隐私保护面试准备与职业发展1简历优化技术准备强调项目成果和技术技能，量化您的贡献（如性能提升百分掌握核心概念如数据建模、ETL流程、SQL优化和分布式系统比、数据处理规模）突出与目标职位相关的技术栈和领域经准备编码挑战，重点练习数据处理算法、性能优化和常见问题验，包括具体工具和框架的应用案例解决方案构建可展示的个人项目，证明您的实际能力面试策略职业规划使用STAR方法（情境-任务-行动-结果）回答行为问题，展示您确定长期发展方向，如专精技术架构、领导团队或跨领域融合的思考过程和解决问题能力准备讨论技术选择背后的权衡考（如ML工程）持续学习新兴技术，参与社区活动，建立专业量，表明您理解不同工具的适用场景和局限性网络，提升行业影响力行业趋势与前沿技术低代码无代码平台/驱动的数据工程AI简化数据集成和转换流程，降低技术2利用AI自动化数据管道设计、优化和门槛监控，减少人工干预智能数据治理自动发现和分类数据，监控数据质量分布式数据架构5边缘计算数据网格和数据契约推动数据所有权下放将数据处理下沉至数据源附近，减少延迟学习资源与实践建议推荐书籍在线学习实践项目《数据密集型应用系统设计》是理解分Coursera、Udemy、DataCamp等平台提动手实践是掌握数据工程的关键建议布式系统原理的经典之作；《Spark权威供结构化的数据工程课程特别推荐从小型个人项目开始，如构建简单ETL指南》全面介绍Spark生态；《数据工程Databricks的Apache Spark认证培训和管道、设计数据仓库模型或开发实时仪手册》提供实用技术和最佳实践这些Google的Professional DataEngineer认表板逐步增加复杂度，尝试使用容器书籍结合理论基础和实战经验，是构建证路径同时，各开源项目官方文档和化部署、实施CI/CD流程，并参与开源项数据工程知识体系的重要资源教程也是学习特定技术的最佳起点目贡献，积累实战经验。