《WZM数据库技术》课件

数据库技术WZM课程概述1课程目标与学习成果2教学安排掌握数据库基础理论，具备数据库设计与开发能力，了解理论讲解占60%，案例分析占25%，实践操作占15%，采数据库优化与管理技术，培养解决实际问题的能力用翻转课堂和项目驱动的教学模式3考核方式与评分标准学习资源期末考试50%，平时作业20%，实验报告20%，课程项目10%，注重理论与实践相结合的综合评价第一部分数据库基础理论数据管理发展历程数据库系统架构数据模型与DBMS从人工管理到文件系统，再到现代数据三级架构是数据库系统的核心设计理不同的数据模型适用于不同的应用场库系统的演进过程，每个阶段都解决了念，通过外部级、概念级和内部级的分景，数据库管理系统通过统一的接口提前一阶段的关键问题，推动了数据管理离，实现了数据独立性和系统的灵活供数据存储、查询和管理功能技术的进步性数据管理发展历程1人工管理阶段年代前1950数据处理完全依靠人工操作，没有专门的软件工具，数据存储在纸质文档中，处理效率极低且容易出错2文件系统阶段年代1950-1960出现了专门的文件管理软件，数据以文件形式存储在磁盘上，但存在数据冗余、不一致和程序数据相关性强等问题3数据库系统阶段年代后1960数据库管理系统出现，实现了数据的统一管理和独立性，支持多用户并发访问，大大提高了数据处理的效率和可靠性4大数据时代年代至今2010NoSQL数据库、分布式存储、云数据库等新技术涌现，应对海量数据的存储和处理挑战，支持实时分析和机器学习应用数据库系统架构外部级External Level面向最终用户的视图层，定制化显示1概念级Conceptual Level2逻辑结构的全局视图，数据关系定义内部级Internal Level3物理存储结构，索引和存储优化ANSI/SPARC三级架构通过数据抽象层次的分离，实现了逻辑独立性和物理独立性逻辑独立性使得概念模式的改变不影响外部模式，物理独立性使得内部模式的改变不影响概念模式这种设计极大地提高了数据库系统的灵活性和可维护性数据模型概述层次模型以树形结构组织数据，每个节点最多有一个父节点，适用于具有明确层次关系的数据，如组织架构IBM的IMS是典型代表网状模型允许一个节点有多个父节点，形成网络结构，能更灵活地表示复杂关系，但查询和维护较为复杂CODASYL标准是其代表关系模型以二维表格形式组织数据，具有坚实的数学基础，支持SQL查询语言，是目前应用最广泛的数据模型模型NoSQL包括键值对、文档型、列族和图形数据库，为大数据和分布式应用提供了灵活的数据组织方式主流数据库类型比较核心功能DBMS数据定义与操作完整性控制并发控制提供DDL和DML语言支持，确保数据的准确性和一致管理多用户同时访问数据实现数据结构定义和数据性，通过约束条件、触发库的情况，通过锁机制、操作功能，包括创建表、器等机制维护数据完整性，时间戳等技术保证事务的插入、更新、删除和查询防止无效数据的录入隔离性和数据的一致性数据备份恢复提供数据备份和故障恢复功能，通过日志记录、检查点等技术确保数据的持久性和可靠性第二部分关系数据库理论关系模型基础建立关系数据库的理论基础，理解关系、元组、属性等基本概念，掌握关系完整性约束和E-R模型转换方法语言体系SQL全面学习SQL语言的各个组成部分，包括数据定义、数据操作、数据控制和事务控制语言的语法和应用数据库规范化掌握数据库范式理论，通过消除数据冗余和异常，设计出结构合理、性能良好的关系数据库模式完整性与约束深入理解各种完整性约束的定义和实现方法，确保数据库中数据的准确性、一致性和有效性关系数据库基础概念键的概念完整性约束唯一标识元组的属性组合保证数据正确性的规则关系与模式•超键包含候选键的属性集•实体完整性主键非空模型转换•候选键最小超键•参照完整性外键约束E-R关系是二维表格，关系模式定义表结构•主键选定的候选键•用户定义完整性概念模型向逻辑模型转换•关系名和属性集合•实体转换为关系•域的定义和约束•联系转换规则•模式实例化过程•属性映射方法语言概述SQL数据定义语言DDL定义数据库结构和模式，包括CREATE创建对象、ALTER修改结构、DROP删除对象等操作，是数据库设计的基础语言数据操作语言DML处理数据库中的数据，包括SELECT查询、INSERT插入、UPDATE更新、DELETE删除等操作，是日常数据处理的核心数据控制语言DCL控制数据访问权限，通过GRANT授权、REVOKE回收权限等命令管理用户对数据库对象的访问控制事务控制语言TCL管理事务处理，使用COMMIT提交事务、ROLLBACK回滚事务、SAVEPOINT设置保存点等确保数据一致性查询详解一SQL基本语句SELECTFROM指定数据源，SELECT选择列条件过滤WHERE使用比较运算符和逻辑运算符聚合函数统计COUNT、SUM、AVG等统计计算分组与排序GROUP BY分组，ORDER BY排序SQL查询的执行顺序遵循严格的逻辑首先FROM子句确定数据源，然后WHERE子句过滤行，接着GROUP BY进行分组，HAVING过滤分组，SELECT选择输出列，最后ORDER BY对结果排序理解这个执行顺序有助于编写高效的查询语句查询详解二SQL多表连接子查询嵌套内连接返回匹配行，外连接保留不匹配在WHERE、HAVING、FROM子句中行，自然连接自动匹配同名列，交叉连嵌套查询，支持相关子查询和非相关子接产生笛卡尔积查询，提供灵活的数据检索方式视图与存储过程集合操作视图提供逻辑数据独立性，存储过程封UNION合并结果集，INTERSECT求交装复杂业务逻辑，触发器实现自动化数集，EXCEPT求差集，为复杂查询提供据处理机制集合论基础的操作方法数据库规范化理论1NF第一范式消除重复组，确保每个属性都是原子值，不可再分2NF第二范式满足1NF并消除部分函数依赖，非主属性完全依赖于主键3NF第三范式满足2NF并消除传递函数依赖，非主属性不依赖于其他非主属性BCNF范式BC更严格的3NF，每个决定因素都必须是候选键规范化过程通过分解关系模式来消除数据冗余和更新异常虽然高度规范化能减少存储空间和维护成本，但可能增加查询复杂度实际应用中需要在规范化程度和查询性能之间找到平衡点，有时会适度反规范化以提高查询效率数据完整性与约束域约束与约束实体完整性约束CHECK限制属性值的取值范围，确保数据类型和格式的正确性，主键约束确保每个实体的唯一性，主键值不能为空，为关通过CHECK约束实现复杂的业务规则验证系中的每个元组提供唯一标识参照完整性约束触发器与存储过程外键约束维护表间关系的一致性，确保引用的完整性，支实现复杂的业务逻辑和完整性约束，在数据变更时自动执持级联更新和删除操作行预定义的操作，确保数据一致性第三部分数据库设计需求分析概念设计逻辑设计物理设计理解业务需求，识别数据实体构建E-R模型，抽象数据结构转换为关系模式，优化数据结考虑存储和性能，确定实现细和关系构节数据库设计是一个系统化的过程，从用户需求出发，经过概念设计、逻辑设计到物理设计，逐步细化和优化数据库结构每个阶段都有其特定的任务和产出物，良好的设计方法论能够确保最终的数据库系统满足功能需求和性能要求数据库设计方法论设计阶段主要任务产出物使用工具需求分析收集用户需求，分析业务流程需求规格说明书UML、用例图概念设计构建E-R模型，定义实体关系E-R图，数据字典ERwin、PowerDesigner逻辑设计关系模式设计，规范化处理关系模式，完整性约束数据建模工具物理设计存储结构，索引设计物理模式，性能规范DBMS专用工具实施维护系统部署，运行维护运行系统，维护文档监控工具，DBA工具数据库设计遵循软件工程的生命周期模型，采用自顶向下的设计方法，从抽象到具体逐步细化CASE工具的使用能够提高设计效率，确保设计文档的一致性和完整性概念设计建模E-R实体识别属性定义关系建模从业务需求中识别出具有确定实体的特征，包括简识别实体间的联系，确定独立存在意义的对象，如单属性、复合属性、派生联系的类型（一对

一、一学生、课程、教师等，每属性，区分关键属性和非对多、多对多）和参与约个实体都有其特定的属性关键属性，建立完整的数束（全部参与或部分参集合据字典与）层次结构处理实体的概化和特化关系，建立ISA层次结构，合理设计弱实体和标识关系，确保模型的完整性逻辑设计关系模式设计实体转换规则每个强实体转换为一个关系，实体的属性成为关系的属性，实体标识符成为关系的主键弱实体需要包含标识实体的主键作为外键一对一关系处理可以合并到任一实体对应的关系中，或者创建独立的关系表选择策略时需考虑参与约束和查询频率一对多关系处理在多端的关系中添加一端的主键作为外键这是最常见且高效的处理方式，避免了数据冗余多对多关系处理必须创建新的关系表，包含两个实体的主键作为外键，这些外键的组合构成新关系的主键，还可以包含关系属性物理设计索引与存储索引选择策略基于查询模式和数据特征选择最优索引索引类型设计B+树、哈希、位图索引的应用场景存储结构优化分区表、聚集索引、存储参数调优物理设计阶段需要根据具体的DBMS特性和硬件环境进行优化B+树索引适合范围查询，哈希索引适合等值查询，位图索引适合低基数列的查询聚集索引决定数据的物理存储顺序，分区表可以提高大表的查询和维护性能存储参数的合理设置能显著影响数据库的整体性能第四部分数据库事务与并发控制特性ACID并发控制事务的四个基本特性管理多用户同时访问•原子性全部成功或全部失败•锁机制共享锁和排他锁•一致性维护数据完整性•时间戳排序协议•隔离性并发事务相互独立•多版本并发控制•持久性提交后永久保存隔离级别锁机制控制事务间可见性防止并发冲突的技术•读未提交最低隔离级别•锁粒度行锁、页锁、表锁•读已提交防止脏读•锁类型意向锁、更新锁•可重复读防止不可重复读•死锁检测与处理•可串行化最高隔离级别数据库事务基础原子性保证机制通过日志记录和回滚技术确保事务的完整执行当事务中的任何操作失败时，系统会撤销所有已执行的操作，恢复到事务开始前的状态一致性维护方法通过完整性约束、触发器和业务规则确保数据库始终处于一致状态事务执行前后，数据库必须满足所有预定义的完整性约束条件隔离性实现技术使用锁机制、时间戳或多版本并发控制技术，确保并发执行的事务相互隔离，每个事务都感觉像在独占数据库资源持久性保障措施通过写前日志（WAL）、检查点和备份机制确保已提交事务的更改永久保存即使系统故障，已提交的数据也不会丢失并发问题与控制技术并发问题问题描述解决方案隔离级别要求脏读读取未提交的数读已提交隔离级READ据别COMMITTED及以上不可重复读同一事务多次读可重复读隔离级REPEATABLE取结果不同别READ及以上幻读查询结果集中出可串行化隔离级SERIALIZABLE现新记录别丢失更新并发更新导致数乐观锁或悲观锁应用层控制据丢失多版本并发控制（MVCC）是现代数据库系统普遍采用的技术，通过为每个数据项维护多个版本，允许读操作不加锁，大大提高了系统的并发性能乐观并发控制适用于冲突较少的场景，悲观并发控制适用于冲突频繁的场景锁机制详解基本锁类型共享锁允许并发读取，排他锁独占访问多粒度锁意向锁提高锁管理效率，支持层次化锁定锁升级机制根据访问模式动态调整锁粒度和类型死锁处理检测死锁并选择合适的事务进行回滚锁粒度的选择是性能优化的关键因素行级锁提供最高的并发性但管理开销大，表级锁管理简单但并发性低现代数据库系统通常采用自适应锁升级策略，根据访问模式自动调整锁粒度死锁检测算法定期检查等待图中的环路，通过回滚代价最小的事务来解决死锁隔离级别与实现第五部分数据库恢复技术故障分析与分类识别不同类型的数据库故障，包括事务故障、系统故障、媒体故障和灾难性故障，为每种故障制定相应的恢复策略日志与检查点建立完善的日志记录机制和检查点策略，确保数据变更的可追溯性和恢复的高效性，实现精确的故障恢复恢复算法实现掌握各种恢复算法的原理和实现，包括REDO、UNDO操作和ARIES算法，确保数据的完整性和一致性备份与高可用制定全面的备份策略和高可用性解决方案，构建多层次的数据保护体系，最大限度地减少数据丢失风险数据库故障分析事务故障由应用程序逻辑错误、死锁或用户中断引起，影响单个事务的执行，通过回滚机制可以恢复到事务开始前的状态系统故障操作系统崩溃、断电或硬件故障导致数据库系统停止运行，内存中的数据丢失，需要通过日志进行恢复媒体故障存储设备损坏导致数据永久丢失，是最严重的故障类型，需要通过备份文件和日志文件进行完整恢复灾难性故障自然灾害、恶意攻击或重大事故导致整个数据中心不可用，需要异地备份和灾难恢复计划来应对日志与检查点日志记录类型协议WAL物理日志记录页面级变化，逻辑日志记写前日志协议确保日志记录在数据页面录操作级变化，混合日志结合两者优之前写入磁盘，保证恢复操作的正确性势，提供灵活的恢复粒度和完整性与检查点技术REDO UNDOREDO操作重做已提交事务的变更，定期将内存中的脏页写入磁盘并记录检UNDO操作撤销未提交事务的变更，确查点，缩短系统重启时的恢复时间，提保数据一致性高系统可用性恢复策略与算法即时更新恢复事务执行过程中直接更新数据库，同时记录UNDO和REDO信息故障恢复时需要撤销未完成事务的修改，重做已提交事务的修改延迟更新恢复事务提交前不修改数据库，只记录REDO日志恢复时只需重做已提交事务，不需要UNDO操作，简化了恢复过程影子分页技术维护数据页的当前版本和影子版本，事务提交时原子性地切换页表指针，提供简单有效的恢复机制恢复算法ARIES业界标准的恢复算法，包含分析、重做、撤销三个阶段，支持细粒度锁和生理日志，具有出色的性能和可靠性备份与还原技术备份类型备份内容备份时间还原时间存储空间完全备份整个数据库长短大增量备份上次备份后短长小的变化差异备份上次完全备中等中等中等份后的变化热备份在线备份中等短大冷备份离线备份短短大时间点恢复（PITR）技术允许将数据库恢复到任意指定时间点，结合完全备份和事务日志实现精确恢复高可用性解决方案包括主从复制、集群技术和异地灾备，构建多层次的数据保护体系，确保业务连续性第六部分数据库优化查询处理优化索引策略优化性能调优SQL深入理解查询执行计划的合理设计和维护索引结构，识别和解决常见的SQL性生成过程，掌握基于规则平衡查询性能和存储开销，能问题，通过查询重写和和基于代价的优化技术，实现最优的数据访问路径优化技术提升应用程序的提高查询执行效率整体性能系统级优化从硬件配置、操作系统参数到数据库服务器设置进行全方位优化，构建高性能的数据库环境查询处理流程查询解析词法分析和语法分析将SQL文本转换为内部表示，检查语法错误和语义正确性，生成查询树结构查询重写应用查询重写规则简化和规范化查询，包括常量折叠、谓词下推、子查询消除等优化技术执行计划生成查询优化器生成多个可能的执行计划，使用代价模型评估每个计划的执行成本，选择最优方案查询执行执行引擎按照选定的执行计划处理数据，包括表扫描、索引查找、连接操作等，返回最终结果查询优化技术基于规则的优化使用预定义的启发式规则进行查询转换，如选择下推、投影下推、连接重排序等规则简单直观但可能不是最优解基于代价的优化使用统计信息和代价模型评估不同执行计划的开销，选择总代价最小的方案需要准确的统计信息支持连接顺序优化多表连接时选择最优的连接顺序，使用动态规划或启发式算法在搜索空间和优化质量之间取得平衡物化视图重写利用预计算的物化视图回答查询，避免重复计算，特别适用于复杂的聚合查询和数据仓库应用索引优化策略选择性分析优先为高选择性列建立索引复合索引设计合理安排复合索引中列的顺序覆盖索引优化包含查询所需全部列的索引设计维护成本权衡平衡查询性能和更新开销索引设计需要考虑查询模式、数据分布和更新频率复合索引的列顺序应该将选择性高的列放在前面，覆盖索引可以避免回表操作提高查询效率过多的索引会影响插入和更新性能，需要定期分析索引使用情况，删除冗余索引性能调优SQL执行计划分析使用EXPLAIN分析查询执行路径查询重写技术优化SQL语句结构和逻辑参数化查询使用预编译语句提高执行效率批处理优化减少网络往返和事务开销执行计划分析是SQL调优的基础，通过观察表扫描方式、连接算法和过滤条件来识别性能瓶颈常见的优化技术包括避免函数在WHERE子句中使用、合理使用UNION和EXISTS、优化子查询等参数化查询不仅提高安全性，还能重用执行计划提高性能数据库服务器优化内存管理子系统I/O缓冲池配置与优化存储性能优化•缓冲池大小设置•RAID配置选择2•LRU算法优化•SSD存储应用•内存预分配策略•I/O调度算法连接管理资源CPU并发连接优化处理器配置优化•最大连接数设置•并行查询设置•连接池配置•CPU亲和性配置•网络参数调优•线程池管理第七部分分布式数据库系统分布式基础理解分布式数据库的基本概念和架构特点分片技术掌握数据分片和分区的策略与实现分布式事务学习分布式环境下的事务处理机制一致性维护了解分布式系统中的一致性协议分布式数据库系统通过将数据分散存储在多个节点上，实现了高可用性、可扩展性和容错性CAP理论指出在网络分区的情况下，系统只能在一致性和可用性之间做出选择现代分布式数据库通过各种技术手段在这些特性之间找到平衡。