《数据库原理与应用》课件

数据库原理与应用欢迎各位学习《数据库原理与应用》课程本课程将系统地介绍数据库系统的基本概念、设计方法和应用技术，帮助大家掌握数据库系统的理论基础和实际应用能力在当今信息化社会，数据已成为重要的战略资源，而数据库技术则是管理和利用这些数据资源的关键通过本课程的学习，您将了解如何设计、实现和管理数据库系统，为未来的学习和工作打下坚实基础课程概述课程目标学习内容掌握数据库系统基本概念和覆盖数据库基础理论、关系原理，能够使用语言进数据库、语言、数据库SQL SQL行数据库操作，具备数据库设计、完整性与安全性、恢设计能力，了解新型数据库复技术、应用开发及新型数技术发展趋势据库技术等内容考核方式平时成绩（出勤、作业、实验）占，期末考试占考核内40%60%容包括理论知识和实践应用能力的综合评估第一章数据库系统概述什么是数据库系统数据库系统的发展历程数据库系统的重要性数据库系统是一个集数据存储、管理从早期的人工管理、文件系统，到现数据库系统是信息系统的核心组成部和应用为一体的系统，它由数据库、代的数据库系统，数据管理技术经历分，为组织机构的日常运营和决策支数据库管理系统、应用程序和数据库了长期的演变和发展持提供了数据基础管理员组成数据与信息

1.1数据的定义数据是对客观事物的符号表示，是信息的载体它可以是未经加工的文字、图形、音频、视频等原始材料信息的定义信息是数据经过处理后所获得的，能够用于决策的知识信息具有特定的含义和价值，能够减少人们对某事物的不确定性数据与信息的关系数据是信息的原材料，信息是经过加工的数据相同的数据在不同环境下可能产生不同的信息，而不同的数据也可能产生相同的信息数据管理的发展

1.2人工管理阶段20世纪50年代以前，数据管理主要依靠人工，以纸质文档形式存储和管理数据，处理效率低，难以满足日益增长的数据处理需求文件系统阶段20世纪60年代，计算机开始应用于数据管理，出现了文件系统虽然提高了效率，但存在数据冗余、一致性差、共享性低等问题数据库系统阶段20世纪70年代开始，数据库管理系统逐渐成熟，解决了文件系统的诸多缺点，提供了统一的数据管理和访问机制，大大提高了数据的共享性和一致性数据库系统的组成

1.3数据库数据库管理系统（）DBMS存储在计算机中、有组织的、可共享的、是一种系统软件，用于创建、访问、维护统一管理的相互关联的数据集合，是数据和管理数据库，例如、、MySQL Oracle1库系统的核心部分等SQL Server数据库管理员（）应用程序DBA负责数据库的规划、设计、实施和维护的通过调用提供的接口来实现特定功DBMS专业技术人员，确保数据库正常运行和数能的软件，是用户与数据库交互的桥梁据安全数据库系统的特点

1.4数据独立性数据共享性数据一致性应用程序与数据库的物理数据库中的数据可以被不数据库系统通过完整性约存储结构相互独立，数据同的用户和应用程序共同束机制，确保数据的正确的逻辑结构与物理结构相使用，减少了数据冗余，性、有效性和相容性，防互独立，使得数据与程序提高了数据的一致性和利止数据被破坏的维护和修改更加方便用率数据安全性数据库系统提供了授权机制和安全控制措施，防止数据被非法访问、修改或破坏，保护数据的安全数据库系统的体系结构

1.5外模式（用户视图）用户看到和使用的数据库局部视图模式（概念模式）数据库中全体数据的逻辑结构和特征的描述内模式（存储模式）数据物理结构和存储方式的描述数据库系统采用三级模式结构来实现数据的独立性通过两级映像（外模式模式映像和模式内模式映像）实现逻辑数据独立//性和物理数据独立性，使得数据库的物理结构变化不会影响应用程序，提高了系统的可维护性和扩展性第二章关系数据库关系数据库的起源基于在年提出的关系模型E.F.Codd1970基本结构以二维表格形式组织数据核心技术关系代数和关系演算为数据操作提供了理论基础关系数据库是当前最主流的数据库类型，它以简单直观的二维表结构存储数据，通过规范化理论减少数据冗余，使用语言进SQL行数据操作本章将介绍关系数据库的基本概念、数据结构、操作和完整性约束等内容，为后续学习奠定基础关系数据结构

2.1关系的概念关系的性质在数学上，关系是笛卡尔积关系中的数据具有原子性的子集在关系数据库中，（不可分割）、行的唯一性关系表示为二维表，行表示（不允许重复行）、列的同记录（元组），列表示属性质性（同一列的数据类型相（字段）每个关系都有一同）、行列的无序性（行和个名称，用于唯一标识列的顺序无关紧要）等特点关系模式关系模式是对关系的描述，通常表示为₁₂，其中RA,A,...,Aₙ是关系名，₁至是属性名关系模式描述了关系的结构，而R AAₙ关系是模式在某一时刻的数据内容关系操作

2.2选择从关系中选取满足条件的元组（行），相当于水平切割例如从学生表中选取年龄大于20岁的学生记录投影从关系中选取指定的属性（列），相当于垂直切割例如从学生表中只选取学号、姓名和专业三个字段连接根据指定的连接条件，将两个关系中满足条件的元组连接起来形成新的关系包括自然连接、等值连接、外连接等集合操作包括并、差、交等操作，用于处理多个关系之间的集合关系例如查找同时选修了数学和物理课程的学生关系完整性约束

2.3实体完整性参照完整性用户自定义完整性关系中的主键不能取空值，且不能有重如果关系中的外键引用关系的主根据具体应用的需要，由用户定义的完R FKS复值主键用于唯一标识关系中的每个键，则的取值必须在的取值集整性约束条件例如年龄必须大于PK FKPK0元组例如学生表中的学号是主键，合中或者为例如选课表中的且小于，性别只能是男或女等NULL120不能为，也不能重复学号是外键，它的值必须是学生表中已NULL存在的学号关系完整性约束是保证数据库中数据正确性、有效性和一致性的重要手段通过实现这些约束条件，确保数据库中的数据DBMS满足实际业务规则的要求，防止不合法的数据进入数据库关系代数

2.4类型操作符符号说明基本操作选择σ根据条件过滤行基本操作投影π选取指定列基本操作并∪两个关系的并集基本操作差-两个关系的差集扩展操作交∩两个关系的交集扩展操作连接⋈将两个关系连接关系代数是关系数据库的理论基础，它定义了一组在关系上的操作，这些操作的输入和输出都是关系关系代数操作可以分为基本操作和扩展操作两大类，通过这些操作的组合，可以实现复杂的数据查询和处理功能第三章语言SQL年1974诞生SQLIBM研究实验室开发年1986标准ANSI成为美国国家标准年1992SQL-92重要的SQL国际标准现今广泛应用几乎所有DBMS支持SQL（Structured QueryLanguage，结构化查询语言）是关系数据库的标准语言，它提供了一套完整的数据定义、操纵和控制功能SQL语言具有非过程性、简洁性和统一性等特点，使得用户可以用简洁的语句描述复杂的数据处理要求本章将详细介绍SQL语言的基本语法和使用方法概述

3.1SQL的发展历史SQL1SQL起源于IBM的System R项目，最初名为SEQUEL1986年被ANSI采纳为标准，1987年被ISO采纳，之后经历了多次发展，形成了SQL-

89、SQL-

92、SQL:

1999、SQL:2003等多个标准版本的特点SQL2SQL是一种非过程化语言，用户只需指定需要的数据，不必指定获取数据的方法它集数据定义、数据操纵和数据控制功能于一体，语法简单，功能强大，可移植性好的组成SQL3SQL主要由数据定义语言（DDL）、数据操纵语言（DML）、数据查询语言（DQL）和数据控制语言（DCL）四部分组成，分别用于定义数据结构、更新数据、查询数据和控制数据库访问权限数据定义语言（）

3.2DDL创建表修改表使用CREATE TABLE语句创建数据使用ALTER TABLE语句修改表结构，表，指定表名、列名、数据类型和约包括添加、修改和删除列，以及添加束条件或删除约束•CREATE TABLE表名列定义,...•ALTER TABLE表名•例如CREATE TABLEStudent ADD/DROP/MODIFY...Sno CHAR10PRIMARY KEY,•例如ALTER TABLEStudentSname VARCHAR20NOT ADDAge INTCHECK Age0NULL,...AND Age120删除表使用DROP TABLE语句删除数据表，删除后表结构和数据都会被永久删除•DROP TABLE表名•例如DROP TABLEStudent数据操纵语言（）

3.3DML更新数据使用语句修改表中已有数据UPDATE插入数据使用语句向表中插入新INSERT INTO数据删除数据使用语句删除表中满DELETE FROM足条件的数据数据操纵语言是语言的重要组成部分，用于对数据库中的数据进行添加、修改和删除等操作语句的基本语法DML SQLINSERT是表名列名值语句的基本语法是表名列名值条件INSERT INTO[,...]VALUES,...;UPDATE UPDATESET=,...WHERE;语句的基本语法是表名条件通过这些语句，用户可以灵活地管理数据库中的数据DELETE DELETEFROM WHERE数据查询语言（）

3.4DQL基本查询使用SELECT-FROM语句进行简单查询，返回表中的所有数据或指定列的数据•SELECT*FROM Student•SELECT Sno,Sname FROM Student条件查询使用SELECT-FROM-WHERE语句根据条件筛选数据，只返回满足条件的行•SELECT*FROM Student WHERE Sdept=CS•SELECT*FROM StudentWHERE Age20AND Age30排序查询使用ORDER BY子句对查询结果进行排序，可以指定升序（ASC）或降序（DESC）•SELECT*FROM StudentORDER BYAge DESC•SELECT*FROM StudentORDER BYSdept ASC,Age DESC复杂查询

3.5分组查询连接查询12使用GROUP BY子句将查询结果连接多个表进行查询，包括内连接、按指定列进行分组，通常与聚合函外连接（左外连接、右外连接、全数（如COUNT、SUM、AVG等）外连接）等可以使用JOIN关键一起使用，可以用HAVING子句对字或在WHERE子句中指定连接条分组结果进行筛选件例如SELECT Sdept,AVGAge例如SELECT S.Sno,S.Sname,FROM StudentGROUP BYSdept C.Cname FROMStudent SJOINHAVING AVGAge20SC ONS.Sno=SC.Sno JOINCourseC ONSC.Cno=C.Cno子查询3在查询中嵌套另一个查询，内部查询的结果作为外部查询的条件或数据源子查询可以出现在SELECT、FROM、WHERE和HAVING子句中例如SELECT SnameFROMStudentWHERE SnoIN SELECTSno FROMSCWHERE Cno=C001视图

3.6视图的概念视图操作视图是从一个或多个基本表（或视图）导出的虚拟表，它本身创建视图视图名列名•CREATE VIEW[,...]AS SELECT不存储数据，只存储视图的定义视图可以像表一样被查询，语句[WITH CHECKOPTION]但通常不能进行修改操作修改视图视图名列名语句•ALTER VIEW[,...]AS SELECT删除视图视图名视图的主要用途包括简化查询、保护数据安全、提供数据独立•DROP VIEW性等通过视图，用户可以只看到自己有权访问的数据，而不查询视图与查询表的方式相同，使用语句•SELECT必关心复杂的表结构视图操作的示例CREATE VIEWCS_Student ASSELECTSno,Sname,Age FROMStudentWHERESdept=CSWITH CHECKOPTION第四章数据库设计需求分析收集和分析用户需求，明确系统目标和功能概念设计2创建模型，描述实体、属性和关系E-R逻辑设计将模型转换为关系模式，进行规范化处理E-R物理设计4确定存储结构、访问方法和索引策略实施与维护创建数据库，加载数据，进行系统测试和维护数据库设计概述

4.1数据库设计的目标数据库设计的步骤•满足用户的数据存储和处理需求•需求分析明确系统目标，收集和分析用户需求，形成需求说明书减少数据冗余，避免数据不一致性••概念结构设计使用E-R模型描述现实世界中的实体及其提高数据的完整性和安全性•联系优化数据库性能，提高查询效率••逻辑结构设计将概念模型转换为特定DBMS支持的数据具有良好的可扩展性和可维护性•模型好的数据库设计不仅能满足当前需求，还应考虑未来的发展和•物理结构设计确定数据的物理存储结构和访问方法变化，为系统的长期稳定运行提供基础•数据库实施创建数据库，编写应用程序，加载初始数据•数据库运行与维护对数据库进行日常维护和性能优化需求分析

4.2需求收集通过访谈、问卷调查、观察用户工作流程等方式，收集用户对系统的需求和期望重点了解数据项、数据量、处理频率、安全需求等方面的信息需求分析方法可采用结构化分析方法、面向对象分析方法等通过数据流图、用例图等工具，对收集到的需求进行整理和分析，明确系统的边界和功能数据字典记录系统中所有数据元素的详细信息，包括数据项的名称、含义、类型、取值范围、约束条件等数据字典是进行后续设计的重要依据需求分析是数据库设计的第一步，也是最关键的步骤之一只有准确理解和把握用户需求，才能设计出满足实际应用需要的数据库系统需求分析的结果将直接影响后续的概念设计、逻辑设计和物理设计工作概念结构设计

4.3模型实体与属性E-R实体联系模型（实体是客观存在并可相互区-Entity-）是概念分的事物，如学生、课程等Relationship Model设计阶段常用的建模工具，每个实体有若干属性描述其用于描述现实世界的数据和特征，如学生实体可能有学数据间的联系模型通号、姓名、年龄等属性属E-R过图直观地表示出来，性可分为单值属性、多值属E-R便于用户理解和沟通性、复合属性等类型联系联系表示实体之间的相互关系，如学生选修课程联系可以有属性，如选课的成绩根据联系两端实体集的对应关系，联系可分为一对

一、一对多和多对多三种基本类型逻辑结构设计

4.4关系模式的优化图向关系模式的转换E-R对转换得到的初始关系模式进行分析和优化，主要包括规范化处理和反将概念结构设计阶段得到的E-R图转换为关系数据库的逻辑结构，包括规范化处理规范化用于消除数据冗余和异常，反规范化则为了提高查将实体转换为关系（表），将属性转换为字段，将联系转换为外键或独询效率而适当增加冗余立的关系等•规范化1NF（消除非原子属性）→2NF（消除部分函数依赖）→•实体转换每个实体类型转换为一个关系模式，实体的属性成为关3NF（消除传递函数依赖）→BCNF→4NF→5NF系的属性•反规范化适当增加冗余以提高性能，如预计算和存储统计值、添•联系转换根据联系的类型（1:1,1:n,m:n）采用不同的转换策略加冗余外键等物理结构设计

4.5存储结构设计索引设计确定数据的物理存储结构，包括表的存储方式、记录格式、页选择适当的字段建立索引，以加快数据检索速度索引设计是面大小等，以优化数据的存取效率物理设计中的重要环节，影响系统的整体性能•文件组织方式顺序、散列、索引等•主键索引自动为主键建立的唯一索引•存储分配表空间、段、区等•唯一索引保证列值唯一性的索引•数据压缩减少存储空间•聚集索引决定表中数据的物理顺序•数据加密保护敏感数据•非聚集索引不影响数据物理排序的索引•复合索引包含多个列的索引存储结构设计需要考虑数据量、访问频率、硬件条件等因素，在存储空间和访问效率之间取得平衡索引虽然能提高查询效率，但也会增加存储空间和降低更新效率，因此需要谨慎选择索引字段数据库实施与维护

4.6数据库的实施测试与验证包括创建数据库、建立表和索引、编1对数据库功能、性能、安全性等进行写存储过程和触发器、导入初始数据全面测试，确保满足设计需求等优化与升级日常维护根据运行情况对数据库进行性能优化包括数据备份、性能监控、故障恢复、和功能升级，满足不断变化的需求安全管理等日常运维工作数据库实施与维护是数据库生命周期中的重要阶段良好的实施计划和维护策略可以确保数据库系统的稳定运行和持续优化随着业务的发展和技术的进步，数据库系统也需要不断地调整和完善，以适应新的需求和挑战第五章数据库完整性保障数据质量防止数据错误整合业务规则完整性约束确保数据通过各种约束条件，将业务逻辑和规则融库中的数据符合业务拦截不符合规则的数入数据库设计，统一规则，防止错误数据据操作管理和应用的产生数据库完整性是指数据的正确性、一致性和可靠性，是数据库系统的重要特性之一本章将介绍数据库完整性的基本概念和分类，以及实现完整性控制的各种机制，包括实体完整性、参照完整性和用户自定义完整性等通过学习这些内容，可以掌握如何设计和实现有效的完整性约束，确保数据库中数据的质量完整性概述

5.1用户自定义完整性特定应用领域的业务规则和约束参照完整性表间引用关系的正确性保证实体完整性主键非空且唯一的基本要求数据库完整性是指数据库中的数据满足特定规则的状态，是数据正确性、有效性、一致性的保证完整性规则用来防止数据库中存在不符合语义的数据，防止因错误信息的输入和修改造成的数据库中的不一致状态根据约束条件的作用对象，数据库完整性约束可分为域完整性、实体完整性、参照完整性和用户自定义完整性其中域完整性是最基本的约束，规定属性的取值范围；实体完整性确保记录的唯一性；参照完整性维护表间的引用关系；用户自定义完整性则满足特定的业务规则要求实体完整性

5.2主键约束唯一性约束非空约束主键是唯一标识表中每条记录的字段或字唯一性约束要求指定的字段或字段组合在非空约束要求字段不能存储NULL值，确保段组合，它必须满足非空且唯一的条件表中不能有重复值，但可以为NULL（除非字段必须有有效的数据在SQL中，可以在SQL中，可以使用PRIMARY KEY关键字同时指定了NOT NULL）在SQL中，可使用NOT NULL关键字定义非空约束定义主键约束以使用UNIQUE关键字定义唯一性约束•在CREATE TABLE语句中定义...•在CREATE TABLE语句中定义...ID•在CREATE TABLE语句中定义...Name VARCHAR50NOT NULL,...INT PRIMARY KEY,...Email VARCHAR50UNIQUE,...•或者单独定义...CONSTRAINT•或者单独定义...CONSTRAINTPK_Name PRIMARYKEY IDUK_Name UNIQUEEmail参照完整性

5.3外键约束级联操作外键是一个表中的字段，它引用另一个表的主键或唯一键，建立当对父表进行删除或更新操作时，级联操作定义了对相关子表记了两个表之间的关联关系外键约束确保引用的完整性，防止出录的处理方式常见的级联选项包括现孤儿记录当父表记录被删除或更新时，自动删除或更新子•CASCADE在中定义外键表中的对应记录SQL当父表记录被删除或更新时，将子表中的外键设•SET NULL•CREATE TABLEOrdersOrderID INTPRIMARYKEY,置为NULLCustomerID INT,FOREIGN KEYCustomerID当父表记录被删除或更新时，将子表中的外•SET DEFAULTREFERENCESCustomersCustomerID键设置为默认值外键约束要求如果在子表中引用了父表的某个键值，则该键值或如果子表中存在相关记录，则禁•RESTRICT NOACTION必须存在于父表中止删除或更新父表记录例如FOREIGN KEYDeptID REFERENCESDepartmentsIDON DELETECASCADE ONUPDATE CASCADE用户自定义完整性

5.4约束CHECKCHECK约束用于限制列中的值范围，确保数据满足特定的条件或业务规则它可以应用于单个列或整个表，包含一个返回布尔值的表达式例如Age INTCHECK Age=18AND Age120，限制年龄必须在18到120岁之间触发器触发器是一种特殊的存储过程，它在数据库中的特定事件（如INSERT、UPDATE、DELETE）发生时自动执行触发器可以验证数据，执行复杂的完整性检查，甚至可以修改其他表的数据触发器可以设置为在操作前（BEFORE）或操作后（AFTER）执行，也可以针对每行（FOR EACHROW）或整个语句（FOR EACHSTATEMENT）触发存储过程和函数存储过程和函数也可以用于实现复杂的完整性约束，特别是那些涉及多个表或需要复杂计算的约束它们可以在数据操作前被显式调用，检查数据是否满足特定的业务规则相比简单的约束条件，存储过程和函数提供了更灵活和强大的完整性控制机制第六章数据库安全性访问控制确保只有授权用户才能访问数据数据加密保护敏感数据免受窃取和窥探审计追踪记录并监控数据库操作行为数据库安全性是指保护数据库免受未授权访问、修改和破坏的能力随着信息化程度的提高，数据库中存储的数据越来越重要和敏感，数据库安全问题也日益突出本章将介绍数据库安全概述、用户身份鉴别、存取控制、视图机制、审计和数据加密等内容，帮助大家了解如何保护数据库系统的安全数据库安全概述

6.1安全性的重要性安全威胁分类数据库安全对于组织机构至关重要，主要体现在以下几个方面数据库系统面临的安全威胁主要包括非授权访问未经授权的用户获取数据库访问权限•保护敏感数据防止个人隐私、商业机密等敏感信息泄露•权限提升普通用户获取超出其权限范围的访问能力•数据泄露敏感数据被复制或传输给未授权方•确保数据完整性防止数据被恶意篡改或破坏•数据篡改未经授权修改数据库中的内容•保证业务连续性确保数据库系统的稳定运行•拒绝服务攻击导致数据库服务不可用•遵守法律法规满足数据保护相关法律要求，如《网络安•内部威胁来自组织内部人员的恶意行为•全法》注入通过输入恶意代码实现非法操作•SQL SQL维护组织声誉避免因数据泄露导致的声誉损失•备份数据泄露数据库备份文件被非法获取•用户身份鉴别

6.2身份鉴别方法密码管理用户身份鉴别是确认用户身份的过程，是数据库访问控制的第一道防密码是最常用的身份鉴别方式，有效的密码管理策略包括线常见的身份鉴别方法包括•密码复杂度要求包含大小写字母、数字和特殊字符，长度不少•口令鉴别用户提供用户名和密码进行验证，最常用的方法于8位•令牌鉴别使用物理设备（如智能卡、动态密码卡）进行身份验•密码定期更换强制用户定期修改密码，如每90天证•密码历史记录防止用户重复使用旧密码•生物特征鉴别利用用户的生物特征（如指纹、虹膜、人脸）进•账户锁定策略多次登录失败后锁定账户行身份验证•密码加密存储使用单向哈希算法（如SHA-256）加密存储密码•多因素鉴别结合两种或多种鉴别方法，如密码+短信验证码•安全问题和备用验证提供密码重置机制存取控制

6.3强制存取控制基于安全标签的集中式授权控制自主存取控制授权用户自行决定数据的访问权限基于角色的访问控制按用户角色分配权限的管理方式3存取控制是数据库安全保护的核心机制，用于确保用户只能执行其被授权的操作自主存取控制（DAC）让数据对象的所有者决定其他用户的访问权限，例如通过SQL的GRANT和REVOKE语句实现强制存取控制（MAC）则由系统统一管理，根据主体（用户）和客体（数据）的安全级别决定访问权限，多用于军事和政府系统基于角色的访问控制（RBAC）是目前最常用的方式，将权限与角色关联，再将角色分配给用户，简化了权限管理无论采用哪种方式，存取控制都应遵循最小特权原则，即只给用户分配完成其工作所需的最小权限集视图机制

6.4基表数据包含全部字段和记录的原始表视图定义选择性地展示基表中的数据用户视图用户只能看到被授权的数据部分视图机制是数据库系统提供的一种重要安全保护手段，它允许用户只能看到和访问其所需的数据子集，而不是整个基表通过视图，可以实现以下安全控制首先，视图可以隐藏敏感字段，例如创建一个不包含工资字段的员工视图供一般人员使用其次，视图可以过滤行记录，如只显示本部门的员工信息此外，视图还可以聚合或计算数据，隐藏原始值，如只显示部门的平均工资而不是个人工资最后，视图可以简化复杂查询，提供更友好的数据访问接口审计

6.5审计的概念数据库审计是指对数据库操作活动进行记录、监控和分析的过程，目的是发现异常行为、跟踪用户活动、确保合规性和提供取证证据审计可以回答谁在什么时间对什么数据做了什么操作的问题，是数据库安全管理不可或缺的组成部分有效的审计机制可以起到威慑作用，减少内部人员的恶意行为，同时也有助于事后调查和安全分析审计的方法数据库审计可以通过以下几种方式实现•本机审计使用数据库系统自带的审计功能，如Oracle的审计功能•触发器审计利用触发器捕获数据变更，记录到审计表中•应用层审计在应用程序中实现审计逻辑•第三方审计工具使用专门的数据库审计系统，如安全审计软件审计内容通常包括登录尝试、权限变更、数据定义操作（DDL）、数据操作（DML）等为避免审计日志过大，通常需要定义合理的审计策略，只审计重要的操作和敏感数据数据加密

6.6加密的基本概念常用加密算法数据加密是将明文数据转换为密文的过程，只有拥有正确密钥的用数据库加密中常用的算法包括户才能将密文解密为明文数据加密是保护敏感数据的最后一道防对称加密算法使用相同的密钥进行加密和解密，如、•AES线，即使攻击者获取了数据库文件，没有密钥也无法获取有用信息、DES3DES非对称加密算法使用公钥加密、私钥解密，如、•RSA ECC数据库中的加密可以应用于多个层次哈希算法单向加密，不可逆，常用于密码存储，如、•MD5连接加密客户端与服务器之间的通信加密，如SHA-256•SSL/TLS数字签名确保数据完整性和来源认证，结合哈希和非对称加字段级加密加密表中的特定敏感字段，如信用卡号、密码••密表级加密加密整个数据表•数据库级加密加密整个数据库文件在实际应用中，通常结合使用多种加密技术，如使用对称加密保护•数据，非对称加密保护密钥，哈希算法验证数据完整性密钥管理透明数据加密（）在数据写入磁盘前自动加密，读取时•TDE是加密系统的关键环节，包括密钥生成、分发、存储、更换和销毁自动解密等过程第七章数据库恢复技术事务处理故障处理备份恢复确保数据库操作的原子性、识别和应对各类可能导致通过数据备份和日志记录一致性、隔离性和持久性数据丢失的故障情况确保数据可恢复性并发控制管理多用户环境下的并发访问，防止数据不一致数据库恢复技术是保证数据库可靠性和可用性的关键技术，它使数据库系统能够从各种故障中恢复，确保数据的完整性和一致性本章将介绍数据库恢复的基本概念、故障类型、恢复策略以及并发控制机制，帮助大家理解现代数据库系统如何保证数据的安全可靠事务的概念

7.1一致性（）隔离性（）Consistency Isolation事务执行前后，数据库从一个一致状态并发事务之间互不干扰，如同串行执行变到另一个一致状态一样原子性（）持久性（）Atomicity Durability事务是不可分割的工作单位，要么全部事务一旦提交，其结果永久保存在数据执行，要么全部不执行库中234事务是数据库操作的基本单位，是一组相关的数据库操作，这些操作要么全部成功，要么全部不执行，保证了数据的一致性和完整性事务通常由开始标记（BEGINTRANSACTION）、一系列数据库操作和结束标记（COMMIT或ROLLBACK）组成事务的ACID特性是数据库恢复机制的理论基础原子性使得部分执行的事务可以通过回滚来撤销；一致性确保数据库状态的有效性；隔离性通过并发控制机制实现；持久性则依赖于日志和恢复技术来保证理解这些特性对掌握数据库恢复技术至关重要故障的种类

7.2事务内部故障系统故障事务执行过程中由于逻辑错误、并发导致数据库系统停止运行的故障，如控制冲突等导致的故障，通常只影响硬件故障、操作系统崩溃、数据库管当前事务，可通过事务回滚解决理系统故障等内存中的数据可能丢失，但磁盘上的数据通常不受影响•逻辑错误如算术溢出、被零除等程序错误•软件故障操作系统或DBMS软件崩溃•并发控制冲突如死锁导致事务终止•硬件故障CPU、主板等硬件故障•用户主动终止用户发出•电源故障断电导致系统突然停ROLLBACK命令止介质故障存储介质（如硬盘）的物理损坏导致的故障，可能造成数据的永久丢失，是最严重的故障类型•磁盘损坏磁盘扇区不可读写•磁头故障磁盘读写头损坏•自然灾害火灾、水灾等导致存储设备物理损坏恢复的基本原理

7.3数据转储登记日志文件数据转储（）是指将数据库中的数据复制到另外的存储介质日志文件（）记录了数据库中所有的更新操作，是数据库Dump LogFile上，作为后备副本，是数据库恢复的基础根据转储时数据库的状恢复的另一个重要基础日志记录通常包含以下信息态和转储的数据量，可以分为以下几类事务标识哪个事务执行的操作•静态转储在数据库停止运行的状态下进行的转储，数据一致•操作类型插入、更新或删除•性好，但需要停机操作对象受影响的表和记录•动态转储在数据库运行状态下进行的转储，不需要停机，但•操作前数据值（旧值）用于撤销操作•可能存在数据一致性问题操作后数据值（新值）用于重做操作•完全转储转储整个数据库的内容•时间戳操作发生的时间•增量转储只转储自上次转储以来发生变化的数据•日志文件遵循先写日志，后写数据（，差分转储只转储自上次完全转储以来发生变化的数据WAL Write-Ahead•）原则，确保在数据被实际修改前，相应的日志记录已经Logging合理的转储策略通常结合完全转储和增量转储，在保证数据安全的安全地写入日志文件这样即使在数据更新过程中发生故障，也可同时，减少转储时间和存储空间占用以通过日志进行恢复恢复策略

7.4事务撤销事务撤销（Transaction Undo）是指将已经执行但尚未提交的事务所做的修改恢复到事务执行前的状态撤销操作主要用于处理事务内部故障和系统故障中未完成的事务事务撤销的过程是从后向前扫描日志文件，对于未提交事务的每一条更新操作，根据日志中记录的旧值（BFIM，Before Image）将数据恢复到操作前的状态这个过程一直持续到事务的开始标记为止事务重做事务重做（Transaction Redo）是指将已经提交但可能尚未写入磁盘的事务所做的修改重新执行一遍重做操作主要用于处理系统故障中已提交事务的数据丢失问题事务重做的过程是从前向后扫描日志文件，对于已提交事务的每一条更新操作，根据日志中记录的新值（AFIM，After Image）将数据更新到操作后的状态这个过程一直持续到日志文件的末尾恢复策略的选择取决于故障类型和系统的容错需求对于介质故障，通常需要先恢复最近的完全备份，然后应用增量备份和事务日志中的更新操作现代数据库系统通常采用恢复管理器来自动执行恢复过程，根据当前的系统状态和可用的备份和日志资源，选择最合适的恢复策略并发控制

7.5并发问题问题描述解决方法丢失更新两个事务同时修改同一数据，后一个覆盖前一个锁机制不可重复读同一事务两次读取的数据不一致读锁或隔离级别幻读同一查询在不同时间返回不同的记录集范围锁或隔离级别脏读读取到未提交事务的数据隔离级别并发控制是数据库系统中保证多用户环境下数据一致性的重要机制当多个事务并发执行时，可能会导致数据不一致问题，如丢失更新、不可重复读、幻读和脏读等锁机制是实现并发控制的主要方法，包括共享锁（读锁）和排他锁（写锁）两段锁协议规定事务分为加锁阶段和解锁阶段，所有加锁操作都在第一个解锁操作之前完成，这样可以保证可串行性此外，系统还提供了不同的隔离级别（读未提交、读已提交、可重复读、可串行化）来平衡数据一致性和并发性能第八章数据库应用开发需求分析明确系统功能和用户需求，确定数据处理流程和业务规则数据库设计根据需求设计数据库结构，包括概念设计、逻辑设计和物理设计应用程序设计设计用户界面、功能模块和系统架构，确定开发技术和工具编码实现使用适当的编程语言和数据库访问技术实现应用程序测试部署对系统进行功能测试、性能测试和安全测试，确保系统满足需求数据库应用开发是将数据库技术与应用程序开发相结合，构建满足特定业务需求的信息系统本章将介绍数据库应用系统开发方法、JDBC编程、存储过程和数据库连接池等内容，帮助大家掌握数据库应用开发的基本技能数据库应用系统开发方法

8.1结构化方法面向对象方法结构化方法是传统的系统开发方法，强调自顶向下，逐步求面向对象方法是现代系统开发的主流方法，它将现实世界抽象精的设计思想，将系统按功能分解为模块，并明确定义模块为对象及其关系，强调对象的封装、继承和多态等特性间的接口主要特点主要特点数据与处理统一为对象，对象包含属性和方法•数据与处理分离，先设计数据结构，再设计程序结构•利用继承和组合复用已有功能，提高开发效率•采用功能分解，自顶向下逐步细化系统功能•使用（统一建模语言）描述系统结构和行为•UML使用数据流图、结构图等工具描述系统•适应需求变化，易于维护和扩展•面向过程的开发方式，强调算法和步骤•面向对象方法适用于复杂系统和需求可能变化的系统开发，例结构化方法适用于需求明确、变化较少的系统开发，例如传统如应用、移动应用等Web的管理信息系统编程

8.2JDBC概述JDBCJDBC（Java DatabaseConnectivity）是Java语言访问关系数据库的标准API，它提供了一组与数据库无关的接口，使Java应用程序能够以统一的方式访问不同的数据库系统JDBC的主要组成部分包括JDBC API（Java应用程序使用的接口）、JDBC驱动管理器（负责管理数据库驱动程序）和JDBC驱动程序（由数据库厂商提供，实现JDBC接口）编程步骤JDBCJDBC程序的基本步骤包括•加载JDBC驱动程序Class.forNamecom.mysql.jdbc.Driver;•建立数据库连接Connection conn=DriverManager.getConnectionurl,user,password;•创建Statement对象Statement stmt=conn.createStatement;•执行SQL语句ResultSet rs=stmt.executeQuerySELECT*FROM Students;•处理结果集whilers.next{...}•关闭资源rs.close;stmt.close;conn.close;常用接口JDBCJDBC API中的主要接口包括•Connection代表与数据库的连接•Statement用于执行静态SQL语句•PreparedStatement用于执行预编译的SQL语句，提高性能和安全性•CallableStatement用于调用存储过程•ResultSet表示查询结果集，提供访问查询结果的方法•DatabaseMetaData提供数据库的元数据信息存储过程

8.3存储过程的概念存储过程是一组预编译的SQL语句集合，存储在数据库服务器中，可以被应用程序调用执行存储过程通常包含业务逻辑和数据操作逻辑，可以接收参数、返回结果和执行各种操作存储过程的主要优点•减少网络流量多条SQL语句只需一次网络传输•提高执行效率预编译和优化，避免重复解析•增强安全性可以控制用户对数据的访问权限•代码重用多个应用可以调用同一存储过程•业务逻辑集中将业务规则集中在数据库中，便于维护存储过程的创建与调用存储过程的创建语法因数据库系统而异，以下是MySQL中的示例创建存储过程CREATE PROCEDUREGetStudentsByDeptIN deptNameVARCHAR50BEGINSELECT*FROM StudentsWHEREDepartment=deptName;END;调用存储过程CALL GetStudentsByDeptComputer Science;在Java程序中调用存储过程CallableStatement cstmt=conn.prepareCall{CALL GetStudentsByDept};cstmt.setString1,ComputerScience;ResultSet rs=cstmt.executeQuery;数据库连接池

8.4连接的借用和归还应用程序从池中获取连接并在使用后归还连接池的概念1创建和维护一组可重用的数据库连接连接的管理池自动管理连接的创建、测试和关闭数据库连接池是一种用于管理数据库连接的技术，它在应用程序启动时预先创建一定数量的数据库连接，并将这些连接保存在连接池中当应用程序需要访问数据库时，它从连接池中借用一个连接，使用完毕后再归还到池中，而不是每次都创建和关闭连接连接池的主要优点包括提高性能（避免了频繁创建和关闭连接的开销）、控制资源使用（限制最大连接数）、简化编程模型（统一的连接管理）常用的Java连接池实现包括DBCP、C3P

0、HikariCP和Tomcat连接池等使用连接池时，通常需要配置最小连接数、最大连接数、连接超时时间、最大空闲时间等参数第九章数据仓库与数据挖掘级PB60%大数据规模数据增长率现代企业存储的数据量每年企业数据量增幅倍20%5结构化数据投资回报企业总数据量中的占比数据分析的平均ROI随着信息技术的发展和数据量的爆炸性增长，企业和组织面临着如何从海量数据中提取有价值信息的挑战数据仓库和数据挖掘技术应运而生，为决策支持和知识发现提供了强有力的工具本章将介绍数据仓库的基本概念和架构，以及数据挖掘的常见任务和算法，帮助大家了解如何利用这些技术从数据中发现知识数据仓库概述

9.1数据仓库的定义数据仓库的特征数据仓库（，）是一个面向主题的、集成的、数据仓库与传统数据库的主要区别Data WarehouseDW相对稳定的、反映历史变化的数据集合，用于支持管理决策特性操作型数据库数据仓库与传统的操作型数据库相比，数据仓库具有以下特点目的日常业务处理分析决策支持面向主题围绕企业的主要业务主题（如客户、产品、销售等）•数据内容当前业务数据历史聚合数据组织数据，而不是围绕具体应用集成性来自不同源系统的数据经过清洗、转换和集成，解决•数据结构规范化表结构维度模型了数据不一致性问题查询类型简单、频繁、增复杂、临时、大非易失性数据仓库中的数据一般不会随时间更新或删除，主•删改查批量读取要进行数据加载和查询操作时变性保存历史数据，能够反映数据随时间的变化，支持趋•数据量较小非常大势分析和时间比较数据仓库的体系结构

9.2数据源1提供原始数据的各种内外部系统层ETL负责数据提取、转换和加载的处理过程数据仓库存储集成后的企业数据的中央存储库数据集市面向特定业务部门的小型数据仓库数据仓库的体系结构通常采用多层架构，从数据源到最终用户形成一个完整的数据流程首先，数据源包括企业内部的业务系统（如ERP、CRM）和外部数据（如市场研究数据、社交媒体数据），这些是原始数据的来源ETL（提取、转换、加载）过程是数据仓库建设的核心，负责将不同来源的异构数据清洗、转换并加载到数据仓库中数据仓库是整个体系的中心，存储了企业范围内的集成数据数据集市则是为特定部门或业务线建立的小型数据仓库，通常从中央数据仓库获取数据，并针对特定需求进行定制联机分析处理（）

9.3OLAP的概念的基本操作OLAP OLAP联机分析处理（Online AnalyticalProcessing，OLAP）是一种支持复杂分析操作的OLAP系统支持多种数据分析操作，主要包括技术，允许用户从多个维度查看数据，进行复杂的计算和趋势分析，是数据仓库的•上卷（Roll-up）沿维度向上聚合数据，如从日销售额聚合到月销售额重要应用•下钻（Drill-down）沿维度向下查看更详细的数据，如从国家销售额分解到省OLAP系统的特点包括份销售额•多维数据模型数据被组织为数据立方体（Data Cube），每个维度代表一个•切片（Slice）选择一个维度上的特定值，如只查看2023年的销售数据业务视角•切块（Dice）选择多个维度上的特定值，如查看2023年北京地区的男性客户•快速分析响应针对分析查询进行了优化，能够快速返回结果数据•丰富的分析功能支持趋势分析、比较分析、钻取分析等复杂分析操作•旋转（Pivot）改变维度的查看角度，如将行列互换•直观的操作界面通常提供图形化的分析工具，便于业务用户使用这些操作使用户能够灵活地从不同角度分析数据，发现数据中隐藏的模式和趋势数据挖掘概述

9.4数据挖掘的定义数据挖掘（Data Mining）是从大量数据中提取潜在有价值信息的过程，是知识发现的核心步骤它结合了统计学、机器学习、人工智能和数据库技术等多个领域的方法，用于发现数据中隐藏的模式、关联和趋势数据挖掘与传统数据分析的主要区别在于数据挖掘更注重自动化和对未知模式的发现，而不仅仅是验证已有假设；数据挖掘通常处理更大规模的数据；数据挖掘采用更复杂的算法和模型数据挖掘的任务数据挖掘的主要任务包括•分类（Classification）将数据项划分到预定义的类别中，如垃圾邮件分类•聚类（Clustering）将相似的数据项分组，如顾客细分•关联规则挖掘（Association RuleMining）发现数据项之间的依赖关系，如购物篮分析•预测（Prediction）根据历史数据预测未来值，如销售预测•异常检测（Anomaly Detection）识别与正常模式显著不同的数据，如欺诈检测•序列模式挖掘（Sequential PatternMining）发现频繁出现的时间序列，如网站访问路径分析常见数据挖掘算法

9.5算法类型代表算法应用场景分类算法决策树、朴素贝叶斯、支持向量机、神经网络垃圾邮件分类、客户流失预测、疾病诊断聚类算法、层次聚类、K-means、算法客户细分、文档分类、图像分割关联规则、DBSCAN EMApriori FP-、商品推荐、购物篮分析、网页关联回归算法线性回归、逻辑回Growth Eclat归、随机森林房价预测、销售预测、风险评估序列分析、、GSP PrefixSpan用户行为分析、序列分析SPADE DNA数据挖掘算法是从数据中提取模式和知识的工具，不同的任务需要使用不同的算法分类算法用于预测离散类别，决策树易于理解，而神经网络则适合处理复杂关系；聚类算法根据数据相似性进行分组，简单高效，K-means DBSCAN能识别任意形状的簇；关联规则算法发现项目间关联，是经典算法，而Apriori效率更高FP-Growth在实际应用中，通常需要结合业务需求、数据特点和算法特性选择合适的挖掘算法，并通过参数调整和模型评估获得最佳结果随着大数据技术的发展，分布式数据挖掘算法也越来越受到重视，能够处理更大规模的数据集第十章新型数据库技术随着大数据时代的到来和应用需求的多样化，传统关系数据库已无法满足所有数据管理需求，各种新型数据库技术应运而生本章将介绍NoSQL数据库和大数据处理技术，帮助大家了解这些新兴技术的特点和应用场景，把握数据库技术的发展趋势数据库

10.1NoSQL文档数据库列式数据库图数据库键值数据库存储半结构化的文档数据，按列而非行存储数据，适合专为存储和查询复杂关系网以键值对形式存储数据，结如JSON或XML文档代表大规模分析查询代表产品络设计代表产品有Neo4j、构简单，查询快速代表产产品有MongoDB、有HBase、Cassandra等JanusGraph等适用于社品有Redis、DynamoDB等CouchDB等适用于内容管特别适用于大数据分析、日交网络、推荐系统、知识图适用于缓存、会话管理、实理、产品目录、用户配置文志存储等需要高吞吐量的场谱等领域，擅长处理高度关时计数器等需要高性能读写件等场景，特点是灵活的数景，具有高可扩展性和优秀联的数据和路径查询的场景据模型和高扩展性的分析性能NoSQL（Not OnlySQL）数据库是一类非关系型数据库的统称，它们放弃了关系模型的一些特性（如强一致性、复杂查询），以获得更高的性能、可扩展性和灵活性NoSQL数据库通常采用分布式架构，能够横向扩展到多台服务器，适合处理大规模和高并发的数据大数据处理技术

10.2生态系统流式数据处理Hadoop分布式存储和计算框架，处理海量数据实时处理持续生成的数据流人工智能与机器学习数据分析与可视化通过算法从数据中学习模式从数据中提取价值并直观呈现大数据处理技术是处理超出传统数据库处理能力的大规模数据集的技术集合Hadoop生态系统是大数据处理的核心框架，包括HDFS（分布式文件系统）、MapReduce（分布式计算模型）、YARN（资源管理器）等组件，以及Hive（数据仓库）、HBase（列式数据库）、Spark（内存计算引擎）等扩展工具流式数据处理技术如Apache Kafka、Storm、Flink等，能够实时处理不断生成的数据流，应用于日志分析、实时监控、推荐系统等场景随着人工智能和机器学习的发展，大数据处理技术也越来越多地与AI技术结合，形成数据驱动的智能应用和服务课程总结与展望主要内容回顾数据库技术发展趋势本课程系统地介绍了数据库的基础理论与应用技术，内容涵盖未来数据库技术的发展方向主要包括云原生数据库适应云计算环境的弹性扩展需求•数据库系统基本概念和发展历程•多模数据库单一数据库系统支持多种数据模型•关系数据模型和关系代数•自主数据库具备自我管理、自我优化能力•语言的数据定义、操作和查询•SQL区块链数据库结合区块链技术提供不可篡改特性•数据库设计方法与规范化理论•与数据库融合智能查询优化、自动索引推荐•AI数据库完整性与安全性控制•实时大数据处理低延迟处理级数据的能力•PB数据库恢复技术与并发控制•边缘数据库在边缘计算环境中的数据管理•数据库应用系统开发•隐私计算在保护数据隐私的前提下进行计算•数据仓库与数据挖掘技术•数据库与大数据处理技术•NoSQL。