《基础系统架构》课件

基础系统架构什么是系统架构？结构指南协作系统架构定义了系统的系统架构为系统的设计系统架构是团队成员之整体结构、组件、关系、开发、部署和维护提间沟通和协作的基础，和交互方式，就像一栋供指导原则，确保系统确保每个人都对系统有大楼的蓝图，指引着系能够满足需求并高效运共同的理解，避免出现统的构建方向行偏差系统架构的重要性提高开发效率降低维护成本增强系统扩展性良好的系统架构可以将复杂系统分解成合理的架构设计可以提高代码可读性和优秀的系统架构应该具备良好的扩展性更小的模块，每个模块独立开发，并通可维护性，方便开发人员理解代码逻辑，能够应对未来业务发展需求例如，过接口进行交互这有助于提高开发效，修改代码时避免影响其他模块这有当用户量增加时，可以通过增加服务器率，减少代码冲突，加快开发进度助于降低维护成本，减少bug产生，提、优化数据库等方式来扩展系统，保证高系统稳定性系统性能和稳定性系统架构设计的原则模块化设计可扩展性12将系统分解成独立的功能模块，每个模块负责特定的功能系统能够随着业务需求的增长而平滑地扩展，例如增加服，模块之间通过接口进行交互模块化设计提高了系统的务器、增加数据库容量等可扩展性是系统架构设计的重可维护性、可扩展性和可复用性要目标，它保证了系统能够应对未来业务增长带来的挑战可维护性可靠性34系统易于维护和升级，例如代码易于理解、功能模块易于系统能够在各种情况下保持正常运行，例如硬件故障、网修改和扩展可维护性是保证系统长期运行的关键，它降络故障、软件错误等可靠性是保证系统稳定运行的关键低了系统维护的成本和难度，它减少了系统故障带来的损失模块化设计独立性可复用性每个模块应独立完成特定功能，模块化设计鼓励代码复用，减少并尽可能减少与其他模块的依赖重复开发，提高开发效率一个关系这样可以降低代码耦合度模块可以被多个系统或不同功能，方便模块的开发、测试和维护使用，降低代码维护成本可维护性模块化设计使系统结构清晰，便于理解和维护当需要修改或添加功能时，只需要修改或添加相关的模块，不会影响其他模块可扩展性水平扩展垂直扩展数据存储扩展水平扩展是指通过添加更多服务器来增加垂直扩展是指通过升级硬件，例如增加数据存储扩展是指通过添加更多磁盘、数系统容量当系统负载增加时，可以轻松CPU、内存或存储空间，来提高系统的性据库服务器或使用分布式数据库技术，来地添加新的服务器，从而提高系统的处理能它适用于系统负载增加，但服务器资扩展系统的存储容量和处理能力能力源不足的情况可维护性代码可读性模块化设计日志记录与监控代码审查与测试清晰、简洁的代码易于理解和将系统分解成独立的模块，每详细的日志记录和完善的监控定期进行代码审查和全面的测修改，降低维护成本，提高开个模块负责特定的功能，方便系统可以快速定位问题，帮助试可以尽早发现潜在问题，降发效率独立开发、测试和维护快速修复和解决故障低维护风险可靠性高可用性容错性12系统能够在出现故障的情况下系统能够在某些组件发生故障继续运行，确保用户不受影响时继续运行，例如数据库服务常见做法包括冗余设计、负器、网络连接等常见做法包载均衡、自动故障转移等括错误处理、重试机制、数据可恢复性3备份等系统在出现故障后能够快速恢复到正常运行状态，例如数据恢复、服务重启等常见做法包括备份策略、快速恢复流程等安全性身份验证和授权确保只有授权用户才能访问系统资源，并限制用户对不同资源的访问权限，例如使用用户名/密码、多因素身份验证或基于角色的访问控制数据加密对敏感数据进行加密存储和传输，例如使用HTTPS协议、数据加密算法和密钥管理系统，以防止数据被窃取或篡改安全漏洞修复及时发现和修复系统安全漏洞，例如定期进行安全扫描、漏洞评估和软件更新，以防止黑客攻击和数据泄露安全审计和监控对系统活动进行审计和监控，例如记录用户的操作、访问日志和系统事件，以便及时发现异常行为和安全威胁性能优化代码优化数据库优化网络优化系统架构优化通过使用更高效的算法、数优化数据库查询语句、使用使用更快的网络协议、减少采用分布式架构、负载均衡据结构和代码风格来提高代索引、进行数据库分表、使网络请求次数、使用CDN等、缓存等技术来提高系统的码执行效率，例如使用哈希用缓存等措施来提高数据库技术来提高网络传输效率整体性能和可扩展性表来查找数据、使用缓存来的响应速度和吞吐量减少重复计算等系统分层表现层1用户界面，负责与用户交互业务层2处理业务逻辑，实现核心功能数据层3存储和管理数据，提供数据访问服务基础设施层4提供基础服务，例如网络、服务器等系统分层是一种常见的架构模式，它将系统分解成多个层次，每个层次负责特定的功能这种分层结构可以提高系统的可维护性、可扩展性和可重用性表现层用户界面表现层可以是网页、移动应用、桌面应用表现层通常采用HTML、CSS、JavaScript等各种形式，其主要作用是接收用户的输等技术实现，并与后端系统通过API接口表现层直接面向用户，负责将系统功能以入，并向用户展示系统处理后的结果进行交互可视化的方式展现给用户它通常包括用户界面UI和用户体验UX设计，以及前端开发业务层核心逻辑数据交互业务层是系统中负责处理核心业务层与数据层进行交互，从业务逻辑的部分，它负责将用数据层获取数据，并将处理后户的请求转化为具体的业务操的结果存储到数据层作，并根据业务规则进行处理业务规则和计算业务层包含了系统的各种业务规则，例如权限控制、数据校验、业务流程等，这些规则确保系统按照预期的方式运行数据层数据存储数据访问数据安全数据层是系统架构的核心，负责数据的数据访问是指应用程序访问数据的方式数据安全是数据层的重要保障数据安存储、管理和访问数据存储是数据层数据访问层负责处理数据查询、更新全措施包括数据加密、访问控制、数据的关键组成部分，可以采用各种存储技、删除等操作常用的数据访问技术包备份等数据加密可以防止数据被盗取术，例如关系型数据库、NoSQL数据库括SQL语句、ORM框架等数据访问层，访问控制可以限制用户对数据的访问、文件存储等关系型数据库适用于结需要确保数据访问的安全性和效率权限，数据备份可以防止数据丢失构化数据的存储，如用户数据、商品信息等NoSQL数据库适用于非结构化数据的存储，如日志、文档等文件存储适用于大文件存储，如图片、视频等基础设施层服务器网络数据中心基础设施层是系统架构的底层，负责提供网络连接了服务器和用户，为系统提供了数据中心为服务器、网络设备等提供物理硬件资源和基础服务，为上层应用提供支数据传输通道网络设备包括交换机、路环境，包括电力供应、机房设施、安全保撑服务器是基础设施层的核心，负责运由器等，负责数据转发和网络管理障等，为系统运行提供可靠的保障行应用程序并存储数据系统通信机制系统间通信在分布式系统中，不同服务或模块之间需要进行通信，以协同工作完成任务系统通信机制是保证这些服务或模块之间能够有效地进行数据交换和协作的关键通信方式系统通信主要分为两种方式同步通信和异步通信选择因素选择哪种通信方式取决于具体场景的需求例如，需要实时交互的场景，如用户登录，适合使用同步通信；而需要低耦合和高可扩展性的场景，如消息推送，则适合使用异步通信同步通信同步通信是指发送方发同步通信通常需要较长同步通信可以保证数据出请求后，必须等待接的等待时间，因为必须的完整性，因为发送方收方返回响应后才能继等到接收方完成处理才可以确定接收方是否成续执行后续操作能返回响应功接收到请求异步通信定义优势异步通信是指发送方和接收方无•提高系统响应速度需同时在线，发送方发送消息后•增强系统容错能力无需等待接收方立即响应，可以•支持不同系统之间的数据交互继续执行其他操作接收方在合适的时间接收消息并进行处理应用场景异步通信广泛应用于各种场景，例如消息通知、任务调度、数据同步等消息队列概念优点消息队列（Message Queue）是一种应用程序之间的通信方式•异步通信，允许应用程序异步地相互发送消息消息队列通常使用发布/•解耦合订阅模式，其中一个应用程序可以发布消息，而其他应用程序可•流量控制以订阅该消息•提高系统可扩展性服务注册与发现服务注册服务发现12当一个服务启动时，它会将自当另一个服务需要调用某个服身信息注册到一个中心化的服务时，它会向服务注册中心查务注册中心，例如Consul、询该服务的地址信息服务注ZooKeeper或Eureka册中心会返回该服务的地址列表动态更新3服务注册中心会实时监控服务的状态变化，并自动更新服务地址列表当服务下线或出现故障时，服务注册中心会将该服务从地址列表中移除，以确保调用方不会访问到失效的服务服务熔断服务熔断是一种保护机服务熔断可以防止单个服务熔断可以快速恢复制，当服务出现故障或服务故障影响整个系统故障服务，减少对用户过载时，会自动断开与，提高系统的容错能力的影响，提高用户体验该服务的连接，防止故，确保其他服务正常运障蔓延，保护系统稳定行性服务降级降低服务质量返回默认值限流和排队当服务出现故障或负载过高时，为了避免对于一些非关键性的数据，可以返回默认值，例通如过空限字流符和串排、队0机等制，，以可避以免控服制务请阻求塞流量，避免服务被突发流量击垮服务完全崩溃，可以降低服务质量，例如减少功能、降低精度等，以保证核心功能的可用性系统监控日志收集指标监控收集系统运行时的日志信息，包监控系统的关键指标，例如CPU括应用程序日志、系统日志和错使用率、内存使用率、磁盘空间误日志这些日志可以帮助我们、网络流量等这些指标可以帮诊断问题，分析系统性能，了解助我们及时发现系统性能瓶颈，用户行为等并采取措施进行优化报警通知当系统出现异常情况时，及时发出警报，提醒运维人员进行处理报警可以是邮件、短信、电话等多种形式日志收集用途常见工具日志收集是系统监控中不可或缺的一部分，它记录了系统运行过程中的常各用种的事日件志和收信集息工具通包过括分析日志，可以帮助我们•排查故障，定位问题根源•Fluentd•监控系统性能，及时发现瓶颈•Logstash•分析用户行为，优化产品体验•Filebeat•审计系统操作，保障安全•Graylog•ELK StackElasticsearch,Logstash,Kibana指标监控系统性能服务可用性监控CPU使用率、内存使用率、磁盘空间、网络流量等指标，以了解监系控统服性务能响状应况时，间及、时错发误现率潜、在请问求题量等指标，确保服务正常运行，及时发现服务故障用户行为业务指标监控用户访问量、用户行为、页面加载速度等指标，了解用户使用习监惯控，销提售升额用、户订体单验量、用户增长率等业务指标，了解业务发展情况，及时调整运营策略报警通知实时告警1当系统出现异常或故障时，及时向相关人员发送报警通知，以便快速响应并进行处理多渠道通知2支持多种通知方式，例如邮件、短信、微信、电话等，根据不同的场景选择合适的通知方式报警降噪3对重复性或非紧急的报警进行过滤，避免过度打扰，提高报警的有效性报警记录4记录所有的报警事件，方便后续分析和排查问题容错设计重试机制幂等性设计数据一致性在网络故障或系统错误的情况下，重试机幂等性设计是指多次执行相同的操作，不数据一致性是指系统中不同节点的数据保制可以帮助系统恢复正常例如，当数据会改变系统状态例如，当用户重复提交持一致性例如，在分布式数据库系统中库连接失败时，系统可以尝试重新连接，订单时，系统应该只处理一次订单，而不，不同节点的数据应该保持一致，以确保直到连接成功为止设置合理的重试次数是重复创建订单幂等性设计可以有效防数据的一致性和完整性数据一致性可以和间隔时间可以有效避免因网络抖动或短止由于重复操作导致的数据错误或资源浪通过各种技术实现，例如分布式事务、两暂故障导致的系统崩溃费阶段提交等重试机制在网络不稳定或服务不重试机制需要设定合理在进行重试时，需要考可用时，系统可以尝试的重试次数和间隔时间虑幂等性问题，确保多多次重试请求，直到成，避免过度频繁的重试次重试不会导致数据重功或达到最大重试次数造成资源浪费和系统崩复或异常例如，在数据库连接溃失败时，可以进行多次重试，以确保操作成功幂等性设计定义必要性幂等性是指对同一请求多次执行在分布式系统中，由于网络原因，产生的结果和执行一次的结果，请求可能会重复发送，如果系是一样的，不会因为多次执行而统没有幂等性设计，可能会导致产生副作用数据错误或异常例如，在支付系统中，如果用户重复提交了支实现方式付请求，就会导致重复扣款常用的幂等性设计方法包括•使用唯一标识符•状态机•乐观锁数据一致性一致性问题常见的解决方案在分布式系统中，多个节点之间的数据一致性问题是一个非常重要的针对数据一致性问题，常见的解决方案包括挑战例如，在电商系统中，用户下单后，订单信息需要同步到多个•两阶段提交数据库，包括订单数据库、库存数据库、支付数据库等如果同步过•最终一致性程中出现问题，就可能导致数据不一致，从而造成订单丢失、库存错误等问题•分布式事务事务处理事务处理是一种机制，用于确保一组操作在数据库系统中，事务处理是至关重要的事务处理通常通过锁机制来实现，确保多个用户或进程访问共享资源时不会发生数据冲突要么全部成功，要么全部失败它保证了，它用于确保数据的原子性、一致性、隔数据的一致性和完整性，即使在出现错误离性和持久性（ACID）的情况下也是如此系统缓存缓存的优势缓存的类型•降低数据库压力•内存缓存Redis,Memcached•提升系统响应速度•磁盘缓存文件缓存•改善用户体验•数据库缓存MySQL QueryCache缓存穿透定义原因12缓存穿透指的是查询一个根本缓存穿透通常是由恶意攻击、不存在的数据，导致缓存和数错误的请求参数或缓存失效策据库都无法命中，每次请求都略导致的，例如，攻击者故意会直接落到数据库上，给数据请求不存在的数据，或者由于库带来巨大的压力缓存失效策略问题，导致缓存解决方案3提前失效，导致大量请求都落可以使用以下方法来解决缓存穿透问题-设置空值缓存如果查询到了数据库上结果为空，则将空值缓存到缓存中，下次请求时，就可以直接从缓存中获取结果-限制请求频率对高频请求进行限制，避免攻击者恶意请求-熔断机制当缓存失效或数据库压力过大时，可以启用熔断机制，将请求拒绝，避免数据库崩溃缓存击穿定义原因缓存击穿是指当缓存中没有数据缓存击穿通常发生在缓存失效的，而大量的请求同时到达数据库瞬间，大量请求同时访问数据库，导致数据库负载过高甚至崩溃导致的例如，一个热门商品的库存信息在缓存中失效，大量用户同时解决方案访问商品详情页面，导致数据库无法承受压力常用的解决方案包括•使用加锁机制在缓存失效的时候，只允许一个线程去更新缓存，其他线程等待，避免大量线程同时访问数据库•使用本地缓存当缓存失效的时候，先从本地缓存中读取数据，如果本地缓存中存在数据，则直接返回，否则再访问数据库•使用预热策略在缓存失效之前，提前将数据加载到缓存中，避免大量请求同时访问数据库缓存雪崩定义影响缓存雪崩是指由于缓存服务器缓存雪崩会严重影响系统性能宕机或失效，导致大量请求直和稳定性，会导致系统响应时接穿透到数据库，从而导致数间变长，甚至出现无法访问的据库负载过高，最终导致系统情况同时，大量的数据库请崩溃缓存雪崩通常发生在以求也会导致数据库崩溃下场景缓存服务器宕机、缓解决方法存失效时间设置不合理、缓存为了避免缓存雪崩，可以采取以下措施*使用多级缓存:将缓存分层更新策略不完善等，例如使用Redis作为一级缓存，MySQL作为二级缓存*设置合理的缓存失效时间:避免所有缓存同时失效，可采用随机失效时间或滑动窗口策略*使用限流和降级策略:限制数据库的请求频率，并在系统出现异常时进行降级处理，例如返回默认数据或提示用户稍后重试缓存失效策略定时失效主动刷新依赖失效缓存穿透预先设定缓存失效时间，到时定期检查数据是否更新，如果当数据源发生变化时，通知缓当缓存中没有数据，而数据源间自动失效简单易用，但无更新则手动刷新缓存灵活可存系统更新数据适用于数据也不存在，则会导致重复访问法及时更新数据控，但需要额外的代码逻辑源变化较频繁的场景，但需要数据源，造成性能下降可以额外的消息机制采用空值缓存或设置默认值来解决集群架构高可用性1确保系统在部分组件故障的情况下仍然可以正常运行可扩展性2能够根据业务需求进行水平扩展，增加服务器或节点负载均衡3将请求分发到不同的服务器，避免单点故障集群架构是一种将多个服务器组合在一起，形成一个整体的系统架构，并通过负载均衡、高可用性和可扩展性等机制来提高系统的性能、可靠性和可用性负载均衡定义工作原理负载均衡是一种将传入流量分配到多个服务器的技术，以确保网负载均衡器通常位于客户端和服务器之间，接收所有传入请求站或应用程序的高可用性和性能它通过将请求均匀地分发到多然后，它根据预定义的规则将请求转发到最合适的服务器，例如个服务器，防止单个服务器过载，并提高整体响应速度基于服务器的负载、可用性或其他因素高可用设计提高系统可用性，保证高可用设计能够有效减高可用设计可以有效应系统持续稳定地运行，少系统停机时间，提高对各种突发状况，如硬是系统架构设计中至关用户体验，降低运营成件故障、网络故障、流重要的一环本量峰值等主备切换原理优势12主备切换是指在系统中设置一主备切换可以提高系统的可用个主节点和一个备节点，主节性，即使主节点出现故障，备点负责处理所有请求，备节点节点也能快速接管，保证服务处于待命状态，当主节点出现不中断故障时，备节点会自动接管主挑战3节点的工作，保证系统的正常主备切换的实现需要考虑数据同步和故障切换的机制，以及如何保证数据一致性运行自动扩缩容自动扩容自动缩容当系统负载增加时，自动扩容可以动态添加新的服务器或资源，当系统负载下降时，自动缩容可以动态减少服务器或资源，以节省资源成本这可以优化资源利用率，降低运营成本以满足不断增长的需求这可以防止系统因负载过重而崩溃，并确保应用程序的正常运行灾难恢复数据备份故障转移定期备份系统数据，确保数据安当主系统出现故障时，能够快速全可靠可以选择不同的备份策切换到备用系统，保证业务的正略，例如全量备份、增量备份、常运行故障转移可以分为手动差异备份等，根据实际需求选择故障转移和自动故障转移，自动最合适的方案故障转移可以提高系统的可用性灾难演练定期进行灾难演练，模拟真实灾难场景，测试系统恢复能力通过演练可以发现系统恢复过程中的不足，及时改进，提高系统的恢复效率系统测试单元测试1验证代码逻辑的正确性和独立性，确保每个模块的功能都能正常工作集成测试2测试不同模块之间的交互，确保它们能够协同工作压力测试3模拟高负载环境，测试系统在极端情况下是否能够正常运行单元测试代码验证早期错误发现代码重构保障单元测试是指对软件中的最小可测试单元单元测试能够在开发的早期阶段发现代码单元测试可以作为代码重构的保障在进（通常是一个函数或方法）进行测试，以中的错误，从而减少后期调试和修复的成行代码重构时，可以运行单元测试来确保验证其是否符合预期功能和行为单元测本通过及早发现错误，可以提高代码质重构后的代码仍然能够正常工作，防止意试通过编写测试代码来模拟各种输入和场量和开发效率外的错误引入景，并检查输出是否符合预期集成测试集成测试是将多个模块集成测试的目标是发现集成测试通常采用自下组合在一起进行测试，模块之间接口的错误、而上、自上而下或混合验证它们之间是否能正数据传递的错误、模块式测试策略，并使用各常交互，并确保系统整之间逻辑的错误以及系种测试方法，如黑盒测体功能的正确性统整体性能的缺陷试、白盒测试、灰盒测试等压力测试模拟高负载情况下系统识别系统瓶颈，发现潜在性优能化问系题统参数，提升系统性能和稳定性的性能表现，评估系统承受能力灰度发布逐步上线降低风险提高效率灰度发布是一种将新版本软件逐步推广到灰度发布可以帮助降低新版本上线的风险灰度发布可以帮助提高软件发布的效率用户群中的方法它先将新版本发布给一如果新版本出现问题，只会影响到一小它可以快速识别问题并修复问题，避免大小部分用户，观察其运行情况，然后逐步部分用户，不会影响到所有用户范围的回滚扩大发布范围金丝雀发布概念目的金丝雀发布是一种将新版本软件金丝雀发布的目的是在将新版本逐步发布给用户的方法，最初只软件推向所有用户之前，先进行向一小部分用户发布，观察其行测试，降低风险，防止出现严重为并收集反馈，然后再逐渐扩展问题过程到更多用户金丝雀发布一般采用以下步骤

1.将新版本部署到一个或多个服务器上

2.将一部分用户流量指向新版本服务器

3.监控新版本服务器的性能和行为

4.根据监控结果，逐步增加指向新版本服务器的流量

5.如果一切正常，最终将所有用户流量切换到新版本服务器蓝绿部署蓝绿部署优势蓝绿部署是一种软件发布策略，它涉及运行两个完全相同的生产•降低风险在生产环境中进行新版本发布之前，可以先在绿环境中进行测试和验证，降低发布风险环境蓝环境和绿环境蓝环境代表当前正在运行的生产环境，•快速回滚如果新版本出现问题，可以立即切换回蓝环境，快速回滚而绿环境代表即将发布的新版本在发布新版本时，将新版本部•提高稳定性蓝绿部署确保始终有一个稳定运行的生产环境，即使新版本出现问题，也不影响用户体验署到绿环境，并进行测试和验证一旦验证通过，将流量切换到绿环境，并将蓝环境降级为备用环境这样，即使新版本出现问题，也可以迅速切换回蓝环境，确保服务持续可用总结与展望基础扎实应用广泛12通过本次学习，我们对基础系系统架构的知识在各种软件开统架构有了更深入的理解，掌发领域都具有广泛的应用，包握了模块化设计、可扩展性、括企业级应用、移动应用、云可靠性、安全性、性能优化等计算平台等我们学到的知识关键原则这些原则将帮助我将帮助我们更好地应对各种开持续学习3们设计和构建更健壮、更可靠发挑战随着技术不断发展，系统架构领域也在不断演进我们要保持持续学习的态度，不断探索新的技术和方法，不断提升自己的专业技能的系统。