《第讲数据模型》课件

第讲数据模型X数据模型是数据库系统的核心理论基础，也是连接现实世界与信息系统的重要桥梁本讲将系统性地介绍数据模型的基本概念、发展历程以及各种类型的数据模型特点数据模型概述数据模型定义现实世界与信息系统的桥梁三要素构成数据模型是对现实世界数据特征的将复杂的现实业务逻辑转化为计算抽象，描述数据的组织结构、操作机可以处理的数据结构和关系方式和约束条件为什么需要数据模型统一表达信息提供标准化的数据描述方法，确保不同系统和用户对数据理解的一致性降低系统复杂性通过抽象化处理，简化复杂的业务逻辑，使系统设计更加清晰可管理促进数据共享和一致性建立统一的数据标准，支持多应用系统间的数据交换与集成数据模型发展历程第一代层次、网状模型第三代对象与新型模型年代，以为代表的层次模型和网状模年代后，面向对象、文档型、图数据等新型模型应对复杂应用需1960-1970IBM IMSCODASYL1980型奠定了数据库发展基础求123第二代关系模型年提出关系模型，基于数学集合论，成为现代数据库1970E.F.Codd的主流模型层次模型（Hierarchical）简介Model树形结构特征代表系统IBM IMS数据以严格的树形层次结构组IBM信息管理系统（IMS）是层织，每个节点只能有一个父节次模型的典型代表，广泛应用于点，但可以有多个子节点，形成大型机环境的事务处理系统清晰的上下级关系节点/记录类型层级关系通过定义不同层级的记录类型和它们之间的父子关系，构建完整的数据组织架构网状模型（）简介Network Model有向图结构采用有向图来表示数据间的复杂关系，节点间可以有多条路径连接支持多对多关系突破层次模型的限制，能够自然表达现实世界中的多对多关系CODASYL DBTG模型数据系统语言协会制定的数据库任务组模型，是网状模型的标准规范层次与网状模型对比层次模型特点网状模型特点以一对多关系为主导，数据访问路径固定，查询效率较高结构支持多对多关系，表达能力强，灵活性好但结构复杂，编程难简单清晰，但灵活性有限，难以表达复杂的多对多关系度大，系统维护成本高•结构简单，易于理解•关系表达能力强•查询效率高•支持复杂查询•数据完整性容易保证•编程复杂度较高关系数据模型（）提出Relational Model数学集合论基础E.F.CoddIBM研究员，1970年发表开创性论文基于严格的数学理论建立数据模型易于理解概念简洁非技术人员也能快速掌握基本概念用简单的表格概念表达复杂数据关系关系数据模型三要素完整性约束实体完整性、参照完整性和用户定义完整性规则数据操作关系代数和语言提供的数据操作能力SQL数据结构以关系（表）作为唯一的数据组织形式关系模型中的基本术语关系=表元组=行，属性=列关系是一个二维表格，是关系元组代表表中的一行数据，属模型中数据的基本组织单位，性代表表中的一列，每个属性每个关系都有唯一的名称都有特定的数据类型和取值范围域、主码、外键域定义属性的取值范围，主码唯一标识元组，外键建立表间的参照关系关系模型的优缺点主要优点主要缺点•概念简单直观，易于理解和使用•在大数据量下存在性能瓶颈•数据独立性强，逻辑结构与物理存储分离•水平扩展能力有限•查询处理灵活，支持复杂的SQL操作•处理复杂对象和非结构化数据能力不足•理论基础坚实，基于数学集合论•在某些应用场景下存储效率较低关系模型的这些优点使其成为数据库领域的主流选择这些限制推动了NoSQL等新型数据模型的发展概念模型与逻辑模型概念模型（ER模型）使用实体关系模型描述业务需求，独立于具体的数据库管理系统，关注-业务逻辑和数据语义这一层面主要解决要存储什么数据的问题逻辑模型将概念模型转换为具体的数据库结构，包括表、字段、约束等，但仍然独立于物理实现细节这一层面解决如何组织数据的问题设计转换过程从概念模型到逻辑模型的转换是数据库设计的关键步骤，需要遵循特定的转换规则和最佳实践，确保数据结构的合理性和完整性模型简介ER实体（Entity）属性（Attribute）联系（Relationship）现实世界中可以独立存在的对象，如学生、课实体的特征或性质，如实体间的相互关系，如程、教师等，具有相同学生的姓名、学号、年学生选课、教师授课属性的实体构成实体集龄等，可分为简单属等，可以是一对

一、一性、复合属性、单值属对多或多对多关系性、多值属性等图常见元素ER3基本图形符号矩形、椭圆、菱形构成ER图的核心元素1矩形实体用矩形框表示实体类型，如学生、课程等2椭圆属性用椭圆表示实体的属性，下划线表示主键属性3菱形联系用菱形表示实体间的联系，连接相关实体模型到关系模型转换规则ER实体转换为关系属性转换为字段每个实体类型转换为一个关系模式，实实体的简单属性直接转换为关系的字体的属性成为关系的属性段，复合属性需要分解联系转换规则结构设计优化根据联系类型采用不同转换策略一对应用范式理论优化关系结构，消除冗一合并，一对多添加外键，多对多建立余，提高数据一致性中间表关系模式与关系实例关系模式结构描述关系模式定义了关系的结构，包括关系名、属性列表、数据类型、约束条件等静态信息它是关系的框架和模板关系实例具体数据内容关系实例是某一时刻关系中存储的具体数据集合，是关系模式的一个快照，随着数据的增删改而动态变化关系类型表示方法一对一关系通过共享主键实现，一对多关系通过外键连接，多对多关系需要建立关联表来表示复杂的对应关系键的定义与分类超键（Super Key）能够唯一标识元组的属性集合，可能包含冗余属性候选键（Candidate Key）最小的超键，去除任何属性都不能唯一标识元组主键（Primary Key）从候选键中选择的一个作为主键，唯一且非空外键（Foreign Key）引用其他关系主键的属性，建立表间参照关系实体完整性与参照完整性实体完整性关系的主码属性不能取空值，确保每个元组都能被唯一标识这是关系模型的基本要求，保证了数据的基本完整性•主码不能为NULL•主码值必须唯一•主码不能更改参照完整性外键必须引用存在的主码值或为空值，确保关系间引用的一致性违反参照完整性会导致数据不一致•外键值必须存在于被引用表中•删除被引用记录需要处理依赖•支持级联操作用户定义完整性域约束检查约束限制属性的取值范围，如年龄定义更复杂的业务规则，如工必须在0-150之间，性别只资不能为负数，开始日期不能能是男或女等基本数据类型和晚于结束日期等跨字段验证规取值限制则触发器与存储过程实现复杂的业务逻辑和自动化操作，如审计日志记录、数据同步、复杂计算等高级完整性保证机制关系代数基础并（Union）交（Intersection）差（Difference）笛卡尔积（Cartesian合并两个关系的所有元返回存在于第一个关系Product）组，自动去除重复记返回同时存在于两个关但不存在于第二个关系录，要求两关系结构相系中的元组，用于找出中的元组两个关系的所有可能元同共同数据组组合，是连接操作的基础关系代数操作举例选择操作选行根据条件筛选满足要求的元组，如选择年龄大于岁的学生记18录投影操作选列选择需要的属性列，去除不需要的字段，如只显示学生的姓名和学号连接关联多表数据根据连接条件将多个关系的相关数据组合在一起，实现跨表查询关系模型的范式理论1第一范式（1NF）原子性关系中的每个属性都是不可分解的原子值，消除重复组和多值属性，确保数据的基本结构合理性2第二范式（2NF）消除部分函数依赖在基础上，非主属性完全函数依赖于主键，消除部分依赖1NF导致的数据冗余和更新异常3第三范式（3NF）消除传递依赖在基础上，非主属性不传递依赖于主键，进一步减少数据2NF冗余，提高数据一致性范式分解的实际意义保证数据一致性提高设计质量避免更新异常、插入异常和删除异常，确保数据修改的一致规范的数据库结构便于维护和消除冗余性扩展，降低系统复杂度优化操作性能通过范式分解减少重复数据存储，节约存储空间，提高存储合理的表结构设计可以提高查效率询效率，减少锁冲突从到案例讲解1NF BCNF原始表结构分析以学生选课表为例，包含学号、姓名、课程号、课程名、教师、成绩等字段，存在多种函数依赖关系和数据冗余问题1NF到2NF分解识别部分函数依赖，将学生信息、课程信息分别独立出来，建立学生表、课程表和选课表，消除部分依赖2NF到3NF分解进一步分析传递依赖关系，如教师信息传递依赖于课程，将教师信息独立为教师表，完成第三范式分解BCNF最终优化检查是否存在主属性对候选键的部分依赖，进行分解，BCNF确保每个决定因素都是候选键，达到最高标准化程度反规范化与实际工程性能需求下的反规范化增加冗余换取查询效率在实际应用中，严格的范式化可能导致过多的表连接操作，影响通过适当增加数据冗余，如预计算字段、冗余常用字段等方式，查询性能特别是在数据仓库、报表系统等读密集型应用中在保证数据一致性的前提下优化系统性能•空间换时间策略•减少表连接次数•预计算统计数据•提高查询响应速度建立合理的冗余机制••简化复杂查询逻辑数据模型的抽象层次概念层（ER模型）面向用户的最高抽象层，描述业务实体和关系逻辑层（关系模式）描述数据的逻辑结构和约束，独立于物理实现物理层（存储细节）具体的存储结构、索引和访问方法实现物理数据模型常用结构索引结构聚簇与分区B+树、哈希索引、位图索引根据数据访问模式将相关数据等不同类型的索引结构，用于物理上存储在一起，通过分区加速数据检索和查询优化，是策略提高大表的管理效率和查物理层性能调优的重要手段询性能数据冗余与备份通过、镜像、备份等机制保证数据的可靠性和可用性，是企业RAID级数据库系统的基本要求数据模型设计流程概念建模需求调研构建模型，定义实体、属性和关系，ER形成概念层的数据模型深入了解业务需求，识别数据实体和业务规则，收集完整的功能和性能要求逻辑结构设计将概念模型转换为逻辑模型，进行范式化处理和完整性约束定义迭代优化物理实现根据实际运行情况持续优化和调整，确保系统性能和数据质量选择具体的数据库系统，设计物理存储结构和性能优化策略典型业务案例教务系统数据建1模三大核心实体学生实体包含学号、姓名、专业、年级等属性；课程实体包含课程号、课程名、学分、学时等属性；教师实体包含教师号、姓名、职称、所属院系等属性实体间关系设计学生与课程之间存在多对多的选课关系，需要建立选课表记录成绩；教师与课程之间存在一对多的授课关系；学生与教师通过课程建立间接关系关系结构实现学生表、教师表、课程表作为基础表，选课表作为关系表包含学号、课程号、成绩等字段，通过外键约束保证数据完整性典型业务案例电商平台数据建2模商品管理订单处理用户体系商品实体包含商品ID、名订单实体关联用户和商品，用户实体包含基本信息、称、价格、库存、分类等包含订单状态、支付信息、收货地址、支付方式等，属性，支持商品规格变体配送地址等复杂业务逻辑支持用户行为分析和个性和库存管理化推荐评价系统评价实体连接用户和商品，记录评分、评论内容、评价时间等信息，支持商品质量反馈典型业务案例金融交易系统建模3账户管理账户实体包含账户号、余额、账户类型、开户时间等信息，支持多种账户类型和货币交易记录交易实体记录每笔交易的详细信息，包括交易类型、金额、时间戳、交易状态等审计日志完整的操作日志记录，满足金融监管要求，支持交易追溯和风险控制安全合规实现强制访问控制、数据加密、操作审计等安全机制，确保资金安全和监管合规数据模型在决策支持系统中的应用多维数据建模（OLAP）星型模型设计雪花型模型扩展采用维度建模方法，将业务数据组织以事实表为中心，维度表直接连接事对星型模型的规范化扩展，维度表进成事实表和维度表的结构，支持快速实表形成星型结构，查询性能优异，一步分解为多层结构，减少数据冗余的多维分析和数据钻取操作，是数据是最常用的数据仓库模型设计模式但增加了查询复杂度，适用于复杂的仓库的核心建模方法层次化维度新型数据模型简介1面向对象模型支持对象、类、继承等面向对象概念，能够直接存储复杂对象和方法，适合工程设计、多媒体等应用2文档型模型以等文档格式存储数据，支持嵌套结构和动态模JSON/BSON式，如、等MongoDB CouchDB3图数据模型专门处理图结构数据，优化节点和边的存储与查询，如、等图数据库Neo4j OrientDB面向对象数据模型多态性支持方法重载和动态绑定继承机制支持类的继承和属性继承对象和类直接支持面向对象的数据组织方式面向对象数据模型特别适合于系统、工程设计、多媒体应用等需要处理复杂对象的领域代表系统包括、CAD/CAM ObjectStore等，能够无缝集成面向对象编程语言Versant文档型数据模型JSON/BSON文档结构采用灵活的文档格式存储数据，支持嵌套对象、数组等复杂结构，无需预定义固定的表结构，便于快速开发和迭代灵活存储半结构化数据同一集合中的文档可以有不同的字段和结构，特别适合存储用户生成内容、配置信息、日志数据等半结构化信息水平扩展能力支持分片和副本集等分布式架构，能够处理大规模数据和高并发访问，在互联网应用中广泛使用图数据模型边（Edge）路径查询表示实体间的关系，可以有方支持复杂的图遍历和路径发现向和权重，包含关系属性算法顶点（Vertex）应用场景表示实体对象，如人、地点、社交网络、推荐系统、知识图事件等，包含属性信息谱、风险控制等数据模型概述NoSQL键值对（K-V）文档型列族最简单的NoSQL模存储半结构化文档，如按列存储数据，如型，如、、、Redis MongoDBCassandra，适合缓，适合内容，适合大数据分DynamoDB CouchDBHBase存和会话管理管理和快速开发析和时序数据图数据库专门处理图结构，如、，Neo4j ArangoDB适合关系分析和网络数据关系数据模型与新型模型对比特点关系模型NoSQL模型结构化程度高度结构化，严格模式灵活模式，支持半结构化数据可扩展性垂直扩展为主，水平扩展有限天然支持水平扩展和分布式架构查询能力强大的SQL查询和事务支持各有侧重，查询能力因类型而异特性完全支持事务通常支持模型，最终一致性ACID ACIDBASE适用场景传统企业应用，复杂事务处理大数据、实时应用、快速开发大数据与数据模型大数据环境的挑战传统关系数据模型在面对海量数据时遇到性能瓶颈，包括存储容量限制、查询响应时间过长、并发处理能力不足等问题，需要新的解决方案扩展性需求提升大数据应用要求系统能够线性扩展，支持级数据存储和处理，这PB推动了分布式数据库和技术的快速发展NoSQL容错性要求增强在分布式环境中，硬件故障是常态，数据模型必须具备自动故障检测、数据恢复和服务自愈能力，确保系统的高可用性实时数据应用与数据模型流数据处理架构采用事件驱动的数据模型，支持实时数据流的连续处理，如、等流处理平台Apache KafkaStorm时序数据库模型专门优化时间序列数据的存储和查询，如、InfluxDB，支持高频率数据写入和时间范围查询TimescaleDB实时分析需求支持毫秒级查询响应，实现实时监控、告警和决策支持，满足物联网、金融交易等场景需求数据模型设计常见误区过度规范化问题过度反规范化问题盲目追求高范式导致表结构过于复杂，查询需要大量连接操作，为了提高查询性能而过度增加冗余，导致数据一致性维护困难，严重影响性能应该根据实际业务需求和查询模式来平衡规范化更新成本高昂需要建立合理的冗余控制机制程度•数据一致性难以保证•查询复杂度过高•存储空间浪费•连接操作过多•维护成本增加•性能严重下降数据模型安全性考虑授权与访问控制敏感信息脱敏设计实现基于角色的访问控制对个人隐私、商业机密等敏感（RBAC），确保用户只能访数据进行脱敏处理，包括数据问其权限范围内的数据，建立加密、字段屏蔽、假名化等技完善的权限管理体系和审计机术手段，确保数据安全合规制数据加密策略实施端到端的数据加密，包括传输加密、存储加密和应用层加密，建立密钥管理体系，防止数据泄露风险数据模型演化与版本管理版本控制策略模型变更策略建立数据模型的版本管理机制，记录每制定平滑的数据迁移方案，包括增量迁次结构变更的详细信息和影响范围移、并行运行、回滚机制等变更测试验证向后兼容实践建立完善的测试体系，确保模型变更不在模型演化过程中尽量保持向后兼容，会影响系统功能和性能减少对现有应用的影响数据模型与数据治理主数据管理元数据管理数据质量控制治理政策制定（MDM）管理数据的数据，包括建立数据质量评估和监制定数据管理政策和标建立统一的主数据标数据定义、业务含义、控机制，确保数据的完准，建立数据治理组织准，确保关键业务实体数据血缘关系等信息，整性、准确性和及时性架构和责任机制在不同系统中的一致性支持数据发现和理解和准确性数据模型建模工具介绍PowerDesignerSybase公司的企业级建模工具，支持概念模型、逻辑模型和物理模型的完整设计流程，提供强大的模型管理和代码生成功能ERwinCA公司的专业数据建模工具，特别擅长关系数据库设计，提供丰富的建模功能和多种数据库平台支持开源工具（MySQL Workbench等）MySQL Workbench、DbSchema、Draw.io等开源或免费工具，功能虽然相对简单，但能满足基本的建模需求，适合中小型项目使用数据模型人才能力要求战略思维能力具备系统性思维和前瞻性视野业务需求分析深入理解业务流程和需求本质数据库技术知识3掌握多种数据库系统和相关技术数据建模能力熟练运用各种建模方法和工具优秀的数据建模师需要具备跨领域的知识结构，既要有扎实的技术功底，也要有敏锐的业务洞察力，能够在技术实现和业务需求之间找到最佳平衡点数据建模在人工智能中的作用特征工程数据集结构设计合理的数据模型设计为机器学习针对不同的AI应用场景设计合适算法提供高质量的特征数据，包的数据集结构，包括训练集、验括特征选择、特征变换、特征组证集、测试集的划分策略，以及合等处理过程，直接影响模型的样本标注和数据增强的实现方预测效果案模型训练支持为深度学习和机器学习提供高效的数据访问接口，支持批量数据加载、并行处理、增量更新等功能，优化模型训练的效率和效果前沿话题知识图谱与数据模型实体关系网络知识图谱将现实世界的实体和关系组织成图结构，支持语义查询和推理语义理解能力通过本体和规则定义，实现机器对知识的语义理解和自动推理智能搜索应用支持自然语言查询，提供更智能的搜索和问答服务推荐系统增强4基于知识图谱的推荐算法能够提供更准确和可解释的推荐结果。