《分布式并发》课件

分布式并发分布式系统是由多个独立的计算节点组成的计算机系统在分布式系统中,并发是一个重要的概念,它涉及多个任务同时执行,提高了系统的效率和性能合理的并发设计对于分布式系统的稳定运行至关重要为什么需要学习分布式并发系统复杂性增加微服务趋势兴起云计算环境下的挑战随着业务需求的不断增长,单机系统已经无微服务架构的兴起使得系统拆分成多个独立云计算环境下,系统需要处理更加复杂的分法满足高并发和海量数据的处理需求,需要的服务,这些服务之间需要通过并发机制进布式并发问题,如资源共享、负载均衡、容采用分布式架构来提高系统的可扩展性和可行协作和通信错等学习分布式并发可以帮助我们应对这用性些挑战分布式系统基础概念回顾网络通信服务架构分布式系统需要在不同节点之间进行分布式系统通常由多个服务节点组成,可靠的网络通信,确保信息能够有效传各节点承担不同的功能和任务递数据一致性弹性伸缩分布式系统需要保证数据在各节点之分布式系统可以根据需求动态调整资间保持一致,避免出现不一致的情况源,实现更好的扩展性和可用性进程和线程进程线程区别进程是操作系统中独立运行的基本单位,线程是进程中的执行单元,是CPU调度进程拥有独立的地址空间,线程共享进程拥有独立的地址空间和资源分配进程和分派的基本单位多线程可以并发执的地址空间进程切换开销大,线程切换可以包含一个或多个线程,是操作系统功行,提高程序的响应速度和资源利用率开销小进程是资源分配的基本单位,线能实现的基础程是CPU调度的基本单位并发编程模型共享内存模型消息传递模型在共享内存模型中,多个线程访问同一块共享内存区域,通过读写共消息传递模型中,线程之间通过发送和接收消息来实现通信和同步享变量来实现线程间的通信和同步这种模型简单直接,但需要有这种模型更加安全可靠,但需要额外的消息队列和协议支持效的同步机制来防止数据竞争同步与异步同步编程异步编程事件驱动同步编程方式要求在执行某个操作后异步编程允许程序在执行某个操作时事件驱动编程模型是异步编程的一种等待其完成才能继续执行下一个操作,不用等待,可以继续执行其他操作这实现方式,利用事件机制来触发回调函保证程序顺序执行这种方式简单直种方式可以提高程序的并发性和响应数,从而避免程序阻塞这种方式灵活接,但可能会导致性能瓶颈速度,但需要额外的协调机制性高,但编程复杂度也相对较高分布式并发的挑战业务复杂度资源共享容错设计分布式系统中涉及多个服务之多个服务共享有限的系统资源分布式系统中任何一个节点或间的协作和交互,业务逻辑变,如内存、CPU和网络带宽,需服务的故障都可能导致整个系得更加复杂,需要考虑服务之要合理分配和协调资源使用,统瘫痪,需要通过容错设计来间的依赖关系和通信机制避免资源争用和冲突保证系统的可靠性和可用性业务复杂度多系统集成架构复杂性数据一致性分布式系统通常需要连接多个异构系统,如分布式系统的架构通常包括多层次的组件,分布式系统中数据分散于多个节点,保证数存储、计算和通信系统,增加了系统整合的如服务发现、负载均衡和监控,对系统设计据一致性是一个棘手的问题,需要特殊的协复杂度和实现都提出了更高的要求调机制资源共享团队协作分布式系统中,多个节点需要共享资源,如内存、CPU、存储等有效的团队协作对资源共享至关重要数据共享分布式数据库是实现数据共享的关键,需要考虑一致性、可用性和容错性等问题网络互联分布式系统依赖网络互联,需要解决网络延迟、带宽、可靠性等挑战,确保资源能够高效共享容错设计故障隔离自动恢复12设计分布式系统时要考虑各组当部分组件出现问题时,系统应件之间的隔离,防止单点故障波能够自动快速进行故障恢复和及整个系统重启服务降级健康监控34针对不可预知的突发情况,系统建立完善的监控体系,及时发现应设计相应的容错机制,尽量保问题并进行预警,为系统管理提证核心功能的正常运行供依据基础理论概念临界区与互斥锁死锁与活锁临界区是多个进程/线程需要访问死锁是指多个进程/线程相互等待的共享资源,互斥锁用于保证同一对方释放资源而导致陷入僵局,活时刻只有一个进程/线程可以访问锁是指进程/线程一直在重复执行临界区动作而无法取得进展资源饥饿资源饥饿是指某个进程/线程一直无法获得所需的资源,长期得不到服务而导致程序执行受阻临界区和互斥锁临界区互斥锁临界区是指多个线程或进程都会访问和操作的共享资源的代码段互斥锁是一种同步机制,用于保护临界区它能够确保同一时间只为了保证数据的一致性和完整性,必须确保同一时间只有一个线有一个线程或进程能够进入临界区进行操作,避免了数据冲突和竞程或进程进入临界区争条件的发生死锁与活锁死锁死锁是一种进程永远阻塞的情况,发生于多个进程互相等待对方持有的资源而无法继续执行活锁活锁是一种进程不断重复执行某些操作但无法取得进展的情况,发生于多个进程互相以特定的方式响应对方的行为资源饥饿资源饥饿是一种进程无法获得所需资源而无法继续执行的情况,发生于资源分配不公或资源管理不善资源饥饿资源分配失衡资源争夺激烈优先级不均衡资源饥饿是指某些进程无法获得足够的资源在分布式环境中,多个进程或线程同时竞争有时低优先级的进程长时间无法获得资源,如CPU时间、内存等而导致整体性能下有限的资源,如果缺乏合理的仲裁机制,就容而高优先级进程占用了大量资源,这种不公降的问题这常见于资源分配不合理或缺乏易导致严重的资源饥饿问题,从而影响系统平的优先级分配也会造成资源饥饿有效的调度机制的情况下整体性能常见并发控制机制自旋锁信号量12在获取锁失败后会循环检查锁通过维护一个计数器来控制共的状态,直到获取成功适用于享资源的访问数量,支持多个线临界区较短的情况程同时访问读写锁条件变量34支持多个读线程同时读取,但只用于在满足特定条件时唤醒等允许一个写线程独占访问提待的线程,有助于实现复杂的同高并发效率步逻辑自旋锁高效的轻量级锁适用场景自旋锁是一种无需将线程挂起的自旋锁适用于临界区很短、竞争锁机制,线程在获取锁失败时会不不激烈的情况,比如对共享变量的断检查自旋锁的状态,直到成功读写操作但如果临界区时间较获取这种方式避免了线程上下长,会导致大量CPU资源耗费在自文切换的开销,对于短时间内的临旋上,影响系统性能界区很有效实现原理自旋锁通常由一个标志位表示锁的状态,线程通过原子操作如CAS不断尝试获取锁,直到成功相比互斥锁,自旋锁无需切换到内核态,开销较小信号量信号量介绍生产者-消费者模型临界区同步信号量是一种用于同步访问共享资源的机制信号量可以用于实现生产者-消费者模型,生信号量可用于实现对临界区的同步控制,通它使用计数器来控制对共享资源的访问数产者负责往共享缓冲区填充数据,消费者负过设置信号量的初始值,限制同一时刻进入量,当计数器值为0时,表示资源已被占用,线责从缓冲区取出数据,通过信号量实现两者临界区的线程数量,避免资源竞争程需要等待的协调读写锁读锁允许多个线程同时读取共享资源，但写入时会阻塞读锁可以并发执行写锁写操作会独占共享资源,确保数据一致性写锁在获得之前,其他线程的读写操作都会被阻塞读写锁结合读锁和写锁,在读多写少的场景下提高并发性能读操作互不影响,写操作独占条件变量1Wait和Signal操作2解决虚假唤醒条件变量可以解决虚假唤醒的条件变量提供了Wait和问题,线程在被唤醒后会再次检Signal两种操作Wait会使查条件是否满足线程进入等待状态，直到另一个线程发出Signal唤醒灵活性和可复用性原子性保证34相比互斥锁,条件变量提供了更条件变量的Wait和Signal操灵活的并发控制方式,便于在不作都是原子性的,可以避免并发同场景下复用访问的竞争条件高级并发控制模式生产者-消费者模式主从复制模式工作窃取模式生产者和消费者之间通过缓冲区进行数据主节点负责数据写入,从节点负责读取,实当某个线程/进程空闲时,可以从其他繁忙交互,实现了生产和消费的解耦,提高了系现了读写分离,提高了系统的可扩展性和高的线程/进程中窃取任务,从而实现负载均统的并发性和吞吐量可用性衡,提高资源利用率生产者消费者模式-解耦生产和消费异步缓冲生产者负责生产数据或任务,消费生产者和消费者通过一个共享的者负责消费或执行任务,两者相互缓冲区进行数据交换,可以缓解生解耦,提高系统的灵活性和可扩展产和消费之间的速度差异性流量控制通过控制缓冲区大小,可以防止生产者过快生产导致消费者处理不过来的问题,提高系统稳定性主从复制模式主从架构数据同步12主从复制模式利用一个主节点主节点的数据变更会被实时同和多个从节点的架构,主节点负步到从节点,保证了数据的一致责写入操作,从节点负责读取操性作负载均衡容错设计34读请求可以从多个从节点中均当主节点发生故障时,可以通过衡分配,提高了整体的系统吞吐选举新的主节点来保证服务的量可用性工作窃取模式提高团队效率促进知识共享实现工作负载平衡工作窃取模式可以通过让团队成员之间共享在工作窃取过程中,团队成员可以互相学习工作窃取模式可以帮助团队实现工作负载的工作负载,从而提高整个团队的工作效率从而增长知识和技能这种知识共享有助于动态平衡,防止部分成员因工作量过大而感当某个成员忙不过来时,其他成员可以主动团队整体能力的提升到压力帮助完成任务分布式事务处理两阶段提交协议三阶段提交协议补偿事务两阶段提交是一种分布式事务处理机制三阶段提交在两阶段的基础上增加了一个补偿事务采用正向操作和反向补偿操作相它通过协调参与者的行为来实现原子性和预提交阶段,可以更好地处理网络故障等异配合的方式来实现分布式事务,更灵活地应持久性,确保所有节点要么全部成功提交,常情况,提高了分布式事务的可靠性对各种异常情况要么全部回滚两阶段提交协议事务协调两阶段提交协议引入了事务协调器来管理参与者的提交流程投票与提交参与者在第一阶段投票决定是否可以提交事务,第二阶段统一提交或回滚数据一致性两阶段提交可以确保多个节点上的数据一致性,适用于需要强一致性的分布式场景三阶段提交协议准备阶段提交阶段协调器向参与者发送准备指令,如果所有参与者都准备就绪,协调要求参与者执行事务并反馈准备器发送提交指令;否则发送中止就绪状态指令结果反馈阶段参与者根据指令执行提交或中止操作,并反馈结果给协调器协调器收集并汇总结果补偿事务概念解释实现原理12补偿事务是一种针对分布式事务环境中补偿事务通过引入回滚操作来实现事务出现异常情况的补救措施当一个子事的最终一致性每个子事务都有一个与务失败时,系统会执行一组补偿操作来撤之对应的补偿操作,当出现异常时立即执销之前已提交的子事务行补偿应用场景3补偿事务广泛应用于微服务架构、云计算、电商等场景中,帮助解决了分布式系统中的一致性问题分布式锁实现方案基于数据库基于Redis利用数据库的行级锁机制来实现利用Redis的原子性命令分布式锁适用于小规模、低并SETNX、EXPIRE实现分布式发场景但需要考虑数据库的可锁Redis集群可提供高可用和用性和性能瓶颈高性能的分布式锁基于Zookeeper利用Zookeeper的临时有序节点机制实现分布式锁Zookeeper集群可提供高可靠的分布式协调服务基于数据库的分布式锁实现数据库基础锁利用数据库的表记录加锁机制来实现分布式锁,简单易用,但性能较差独占锁在数据库表中创建一条记录来表示获得锁,释放锁时删除该记录自动过期为锁记录设置超时时间,防止因异常而导致的死锁问题基于的分布式锁实现RedisRedis作为分布式锁可靠的集群方案出色的性能表现利用Redis的原子性操作,如SETNX和在生产环境中,可以采用Redis集群来增加Redis作为内存数据库,具有毫秒级的响应EXPIRE,可以实现简单高效的分布式锁可用性和容错性集群架构能够保证即使有速度这种性能优势使得基于Redis的分布这种方式具有低延迟和高吞吐的特点,非常节点宕机,锁资源也能被其他节点接管,从而式锁非常适合对延迟敏感的应用场景适合于高并发场景避免单点故障基于的分布式锁ZookeeperZookeeper简介Zookeeper分布式锁原理Zookeeper是一个开源的分布式协调服务,提供了一组高可用、基于Zookeeper的分布式锁依托Zookeeper的顺序节点和临高性能的分布式应用程序协调服务它是分布式系统的协调员,负时节点特性,通过创建临时顺序节点的方式来实现对临界资源的互责存储和管理应用程序所需的关键数据斥访问分布式消息队列消息队列简介Kafka架构分析RabbitMQ工作机制消息队列是一种分布式系统中常见的异步通Kafka是一种高吞吐量的分布式消息系统,RabbitMQ是一种基于AMQP协议的消信机制,它允许发送者和接受者解耦,提高系其核心包括Broker、Topic、Partition息中间件,支持发布/订阅、点对点等消息模统的可扩展性和容错性、Offset等概念,能够提供可靠的消息传递式,提供高可用和可扩展的消息传递服务服务消息队列简介异步处理解耦12消息队列允许应用程序异步地发送和接收消息,提高系统的吞消息队列将消息的发送和接收分离,提高系统的可扩展性和灵吐量和响应速度活性缓冲可靠性34消息队列能够暂时存储消息,缓解生产者和消费者之间的压力消息队列确保消息的可靠传输,即使在出现故障的情况下也能保证消息不丢失架构分析Kafka生产者与消费者主题与分区Broker和控制器复制与容错Kafka采用生产者-消费者模Kafka将数据按主题Topic Kafka集群由多个Broker组Kafka通过分区复制实现高式,生产者负责往Kafka集群进行存储,每个主题可以有多成,每个Broker负责管理部分可用性和容错能力每个分区中写入消息,消费者则从个分区Partition分区是分区其中一个Broker会被都有多个副本,副本之间通过Kafka集群中读取消息进行Kafka最小的存储单元,消费选举为控制器,负责管理整个选举机制保证数据一致性当处理生产者和消费者之间通者可以并行从不同分区读取消集群的元数据和分区分配Broker宕机时,系统可以自动过主题Topic进行解耦,实现息,提高整体吞吐量将分区转移到其他Broker了高度的异步性工作机制RabbitMQ消息队列RabbitMQ提供了持久化的消息队列,支持消息的顺序投递和消费消息生产者将消息发送到队列,消费者从队列中拉取消息进行处理消息交换器RabbitMQ使用消息交换器作为生产者和队列之间的中介,支持不同的交换器类型如直连交换器、主题交换器等路由机制消息交换器根据绑定的规则将消息路由到对应的队列消费者可以通过订阅感兴趣的队列来接收目标消息分布式一致性算法Paxos算法Raft算法Gossip协议Paxos是一种经典的分布式一致性算Raft是一种简单易懂的一致性算法,它Gossip协议是一种基于消息传播的一法,通过多轮投票达成一致它能够在存通过选举领导节点、日志复制等步骤来致性算法,通过节点之间的随机通信达成在故障节点的情况下保证系统的安全性实现一致性Raft更容易理解和实现数据一致它具有较强的可扩展性算法Paxos一致性算法三种角色容错机制Paxos算法是一种用于在分布式系统中达Paxos算法包括Proposer提议者、Paxos算法能够容忍少数节点失效,保证多成共识的算法它通过投票和多数决的方式Acceptor接受者和Learner学习者三数节点达成一致,从而提高了分布式系统的,确保系统中的所有节点就某个值达成一致种角色,他们通过一系列消息交互来达成共可靠性识算法Raft一致性共识领导者选举日志复制Raft算法旨在通过多数派投票的方式算法会定期进行领导者选举,以确保系统Raft算法通过复制领导者的日志来确实现分布式系统中的一致性共识,确保系中始终有一个可靠的领导节点来协调其保所有节点的数据一致性,即使在发生故统中的服务节点保持一致的状态他节点的状态障的情况下也能保证系统的可用性分布式一致性算法1Gossip协议2工作原理3应用场景Gossip协议是一种基于随机消息传每个节点都会周期性地与其他随机节Gossip协议适用于大规模分布式系播的分布式算法,通过节点之间的随点进行数据交换,通过不断的对话传统,比如网络监控、消息推送、数据机通信来实现数据一致性它具有高播信息,逐步达成全局一致性复制等场景它能够在出现故障时保容错性和良好的可扩展性持系统的可用性和一致性案例分析与最佳实践京东分布式事务实践京东在电商系统中大量采用分布式架构,面临复杂的分布式事务挑战通过两阶段提交协议和补偿事务等技术,确保了订单系统的一致性和可靠性阿里分布式锁实践阿里巴巴在分布式系统中广泛使用分布式锁,通过基于Redis和Zookeeper的高可用锁方案,解决了资源竞争和并发控制问题微信分布式队列实践微信的分布式消息队列采用RabbitMQ作为消息传输中间件,实现了高吞吐、低延迟的异步消息投递,保证了系统的可靠性和弹性京东分布式事务实践分布式事务挑战TCC事务模型事务协调器异常处理京东作为大型电商平台,面临京东采用了TCCTry-京东开发了分布式事务协调器在事务执行过程中,如果发生着复杂的业务场景和海量的用Confirm-Cancel事务模,负责管理和协调各个服务的异常情况,协调器会自动回滚户访问量,这给分布式事务处型,通过三阶段的操作实现了事务状态,保证事务的一致性事务,并通知相关服务进行补理带来了巨大挑战传统的两分布式事务的最终一致性和可靠性协调器使用偿操作,确保数据最终一致阶段提交方案无法满足高并发Try阶段进行资源预留Zookeeper实现分布式锁,和高可用的需求,Confirm阶段提交事务确保事务操作的原子性,Cancel阶段回滚事务阿里分布式锁实践分布式锁的挑战阿里的分布式锁方案业务场景应用性能优化实践在复杂分布式系统中,实现高阿里采用基于Redis的分布式阿里在电商、物流等核心业务阿里通过异步续租、故障自动效可靠的分布式锁是一大难题锁实现利用Redis的单原子中广泛应用分布式锁,如库存恢复等机制,进一步提高了分需要解决并发竞争、高可用操作特性,通过添加过期时间扣减、订单处理等关键环节都布式锁的性能和可靠性性、延迟低等多重目标和重入检查来保证锁的正确性依赖于此微信分布式队列实践海量消息处理微信每天处理海量的用户消息,需要采用分布式消息队列解决高并发问题高可扩展性消息队列设计需要考虑水平扩展,提高系统的可用性和吞吐能力高可靠性消息队列需要保证数据不丢失,并能有效应对系统故障和网络异常总结与展望通过对分布式并发的深入探讨,我们了解到了其在复杂业务中的重要性以及相关的基础理论和实现技术在未来,分布式并发将在更多领域得到广泛应用,推动企业和技术的不断创新让我们携手共同探索分布式系统的无限可能。