【数学课件】概率论解析 北师大版

概率论解析欢迎来到北京师范大学数学科学学院编写的概率论解析课程本教材基于王彭德、汪际和主编的权威教材，是数学公共课系列的重要组成部分概率论作为现代数学的重要分支，不仅在理论研究中占有重要地位，还在物理学、经济学、生物学等众多领域有着广泛应用通过本课程的学习，您将系统掌握概率论的基本理论框架和应用方法让我们一起踏上探索随机世界的数学之旅，领略概率论的深刻内涵与美妙之处课程概述课程内容适用对象本课程将全面介绍概率论的基础本课程主要面向大学数学专业的知识体系，涵盖从基本概念到高学生，同时也适合对概率论有兴级理论的各个方面通过50节精趣的相关专业学生学习者需具心设计的课程，我们将系统讲解备基本的微积分和线性代数知概率论的核心概念和重要应用识教学目标通过本课程的学习，学生将能够掌握概率论的基本理论体系，培养概率统计思维，并能运用所学知识解决实际问题，为后续学习统计学和随机过程打下坚实基础第一章概率论基础条件概率与贝叶斯公式从已知事件推测未知事件概率的定义与公理化体系构建概率的严格数学框架样本空间与随机事件描述随机现象的数学工具随机现象与随机试验概率论研究的基本对象第一章将介绍概率论的基础概念，从随机现象的特点出发，逐步建立概率论的理论框架我们将学习样本空间、随机事件的表示方法，以及概率的公理化定义，为后续深入学习概率论奠定基础随机现象与随机试验随机现象的特点随机试验的三个特征随机现象的本质特征是不随机试验具有三个基本特确定性，即在相同条件下征试验可以在相同条件重复进行试验，其结果具下重复进行；试验的所有有不确定性然而这种不可能结果可以事先明确；确定性中存在着某种规律进行一次试验前无法确定性，使得大量重复试验的会出现哪个结果，但试验结果呈现稳定的统计规的任何可能结果都能在某律种条件下被观察到可重复性与稳定性随机试验的可重复性是指试验可以在相同条件下多次重复进行稳定性则是指当试验次数足够多时，随机现象呈现出的统计规律性，这是概率论研究的基础样本空间与随机事件样本点与基本事件随机事件的代数表示样本空间中的每个元素称为样本点，表示试验的一个基本结随机事件是样本空间的子集，样本空间的定义果包含单个样本点的事件称可以用集合表示和处理事件Ω为基本事件，是不可再分的最发生意味着试验结果是该事件事件间的关系样本空间是随机试验所有可能小事件所包含的样本点之一结果的集合，通常用Ω表示事件之间可以通过集合运算建样本空间中的每个元素称为样立各种关系，如包含、并、本点，对应试验的一个可能结交、差等，这为事件的数学处果理提供了基础事件的关系与运算包含关系并交运算特殊事件关系若事件A的每个样本点都是事件B的样事件A与B的并，记为A∪B，表示事互斥事件A∩B=∅，表示A与B不能本点，则称A是B的子事件，记为件A或B至少有一个发生；事件A与同时发生A⊂B此时，当事件A发生时，事件B的交，记为A∩B，表示事件A和B对立事件A∪B=Ω且A∩B=∅，表示B必然发生同时发生B是A的余事件，记为B=A̅例如，在掷骰子实验中，点数为偶数事件A与B的差，记为A-B，表示事件完备事件组事件组{A₁,A₂,...,A}满是点数大于1的子事件A发生但B不发生ₙ足两两互斥且并集为样本空间概率的公理化定义1概率公理一对任意事件A，有PA≥0，即概率非负这体现了概率作为测度的基本要求，任何事件发生的可能性不能为负数2概率公理二必然事件的概率为1，即PΩ=1这规定了概率的标准化条件，将概率值限制在[0,1]区间内，便于比较不同事件发生的可能性3概率公理三对于互不相容的事件序列{A₁,A₂,...}，有PA₁∪A₂∪...=PA₁+PA₂+...这称为概率的可列可加性，是概率测度的核心特性4概率空间的构造三元组Ω,F,P称为概率空间，其中Ω是样本空间，F是事件域（σ代数），P是定义在F上的概率测度概率空间的建立使概率论具有了严格的数学基础古典概型应用举例扑克牌、骰子、彩票等随机试验概率计算PA=事件A包含的基本事件数/样本空间基本事件总数适用条件有限个等可能的基本事件古典概型是概率论中最基础的概率模型，适用于样本空间包含有限个等可能结果的随机试验在古典概型中，事件A的概率等于事件A包含的基本事件数与样本空间基本事件总数之比古典概型的计算通常需要运用排列组合理论例如，从52张扑克牌中抽取5张组成同花顺的概率，需要计算同花顺的总数与所有可能5张牌组合的比值但古典概型也有其局限性，它要求所有基本事件等可能，这在实际问题中并不总是满足的几何概型几何概型的定义几何概型是随机试验结果可以用几何区域中的点表示，且落在任意等度量区域的概率相等的概率模型它是古典概型在无限样本空间情况下的自然推广在几何概型中，事件A的概率等于事件A对应的几何测度与样本空间几何测度之比几何测度的选择根据随机试验的性质，几何测度可以是长度、面积、体积或更高维度的勒贝格测度选择合适的几何测度是解决几何概型问题的关键例如，在直线上随机选点，使用长度作为测度；在平面区域随机投点，使用面积作为测度贝特朗悖论与几何概型的限制贝特朗悖论指出，对于同一个随机试验，若采用不同的几何建模方法，可能得到不同的概率值这表明几何概型问题的解答依赖于随机试验的精确描述和合适的几何模型选择几何概型的限制在于，我们需要明确试验中的随机性究竟指什么，这往往需要额外的物理信息条件概率条件概率的定义在事件B已发生的条件下，事件A发生的概率称为条件概率，记为PA|B，其计算公式为PA|B=PA∩B/PB，其中PB0条件概率与无条件概率的区别条件概率PA|B与PB|A通常不相等，前者表示已知B发生下A的概率，后者表示已知A发生下B的概率条件概率改变了样本空间，相当于在B发生的基础上重新分配概率乘法公式由条件概率定义可导出乘法公式PA∩B=PB·PA|B=PA·PB|A对于多个事件，有PA₁∩A₂∩...∩A=PA₁·PA₂|A₁·PA₃|A₁∩A₂·...·PA|A₁∩A₂∩...∩A₁ₙₙₙ₋全概率公式若{B₁,B₂,...,B}构成样本空间Ω的一个完备事件组，则对任意事件A，有ₙPA=PB₁·PA|B₁+PB₂·PA|B₂+...+PB·PA|B全概率公式表示可以通ₙₙ过条件概率计算无条件概率贝叶斯公式贝叶斯公式推导先验概率与后验概率由条件概率定义和全概率公式可推导贝叶斯公式将先验概率PB₁通过观出贝叶斯公式1测事件A更新为后验概率PB₁|A，体PB₁|A=PB₁·PA|B₁/[PB₁·PA|B现了基于新信息对概率的修正过程₁+...+PB·PA|B]，其中ₙₙ{B₁,B₂,...,B}是完备事件组ₙ医学诊断应用其他应用在医学诊断中，贝叶斯公式可用于计贝叶斯公式在机器学习、信息检索、算患者出现某症状时患有特定疾病的垃圾邮件过滤等现代技术中有广泛应概率，结合疾病发病率（先验）和症用，是概率推理的核心工具状特异性（似然）事件的独立性独立性定义多事件独立性独立性与互斥性的对比如果PA∩B=PA·PB，则称事件A事件A、B、C两两独立不能推出三者独立性与互斥性是两个完全不同的概与B相互独立独立性表示一个事件相互独立三个事件相互独立需要满念的发生不影响另一个事件发生的概足互斥性A∩B=∅，PA∩B=0率

1.PA∩B=PA·PB独立性PA∩B=PA·PB独立性的等价条件若PB0，则A

2.PA∩C=PA·PC与B独立当且仅当PA|B=PA；若当PA0且PB0时，互斥事件必不

3.PB∩C=PB·PCPA0，则A与B独立当且仅当独立，独立事件必不互斥唯一例外

4.PA∩B∩C=PA·PB·PCPB|A=PB是PA=0或PB=0的情况第二章随机变量4∞主要部分可能取值随机变量章节包含四个核心内容随机变量随机变量可以取有限个、可数无穷个或不可定义、分布函数性质、离散型随机变量和连数无穷个可能的值续型随机变量2基本类型随机变量主要分为离散型和连续型两大类第二章将介绍随机变量的基本概念和性质随机变量是概率论中最核心的概念之一，它将随机试验的结果数量化，便于数学处理我们将学习如何描述随机变量的分布，掌握常见的离散分布和连续分布的特性，以及随机变量函数的分布计算方法这一章的内容为后续学习多维随机变量和随机变量的数字特征奠定基础，是概率论理论体系中的关键环节随机变量的定义随机变量的数学定义离散型与连续型随机变量随机变量的实际意义随机变量X是定义在样本空间Ω上的实值根据随机变量可能取值的多少，可将随随机变量将随机试验的结果数量化，便函数，对于每个样本点ω∈Ω，X将其映机变量分为离散型和连续型离散型随于进行数学处理如掷骰子可定义随机射为一个实数Xω从数学上看，随机机变量取有限个或可数无穷个可能值；变量X为骰子点数；在总体调查中，可变量是从样本空间到实数集的映射连续型随机变量取不可数无穷个可能定义随机变量Y为被调查者的年龄随X:Ω→R，使得对任意实数a，集合值，且存在概率密度函数还有一些随机变量是构建概率模型的基础工具，它{ω∈Ω:Xω≤a}是一个事件机变量既非离散型也非连续型，称为混将复杂的随机现象转化为可分析的数合型随机变量值分布函数1分布函数的定义随机变量X的分布函数定义为Fx=PX≤x，表示随机变量X取值不超过x的概率分布函数完整描述了随机变量的概率分布特性，是研究随机变量的基本工具2分布函数的基本性质分布函数Fx具有以下性质

①单调不减若x₁3分布函数与概率计算利用分布函数可以计算随机变量落在任意区间的概率Paa=1-Fa，PX=a=Fa-Fa-0分布函数的跳跃点对应于离散型随机变量的可能取值，跳跃高度即为该点的概率4分布函数的图像特点离散型随机变量的分布函数为阶梯函数，在每个可能取值处有跳跃，其余点连续；连续型随机变量的分布函数为连续函数，在概率密度函数存在的点处可导，导数等于该点的概率密度分布函数的图像直观反映了随机变量的分布特性离散型随机变量概率质量函数概率质量函数的性质离散型随机变量X的概率质量函数概率质量函数满足

①非负性PMF定义为px=PX=x，表示随px≥0；

②归一性∑pxi=1，其中机变量取各可能值的概率求和遍及X的所有可能取值分布律分布函数的表示离散型随机变量的概率分布通常以表离散型随机变量X的分布函数可表示格形式给出，称为分布律，列出随机为Fx=∑pxi，其中求和遍及满足变量的所有可能取值及其相应概率xi≤x的所有可能取值xi常见离散分布I两点分布分布伯努利试验与伯努利过程二项分布0-1随机变量X只可能取0和1两个值的分伯努利试验是只有两种可能结果（成在n次独立重复的伯努利试验中，成功布若PX=1=p，PX=0=1-p，则功/失败）的随机试验，且成功概率固次数X服从二项分布，记为称X服从参数为p的两点分布又称0-1定为p进行n次独立重复的伯努利试X~Bn,p其概率质量函数为分布或伯努利分布，记为X~B1,p验称为伯努利过程PX=k=Cn,kp^k1-p^n-k，两点分布常用于表示某事件是否发伯努利过程中，用Xi表示第i次试验的k=0,1,...,n生，如成功/失败、是/否等二元状结果（1表示成功，0表示失败），则二项分布的期望为EX=np，方差为态X1,X2,...,Xn是独立同分布的随机变DX=np1-p当p=

0.5时，二项分量，且Xi~B1,p布关于k=n/2对称；当p≠

0.5时，分布偏斜常见离散分布IIλe^-λ泊松分布参数泊松概率因子泊松分布Poiλ由单一参数λ0完全确定，泊松分布概率质量函数中的常数因子，体现表示单位时间或空间内随机事件的平均发生了零次事件发生的概率次数n!阶乘因子泊松分布概率公式中的阶乘项，反映了事件发生次序无关性的特点泊松分布Poiλ的概率质量函数为PX=k=e^-λλ^k/k!，k=0,1,2,...它适用于描述单位时间或空间内随机事件发生次数的分布，如单位时间内到达的顾客数、单位面积内的缺陷数等泊松定理指出，当n很大、p很小且np=λ时，二项分布Bn,p可以用泊松分布Poiλ近似几何分布与负二项分布则描述达到指定成功次数所需的试验次数超几何分布适用于有限总体中不放回抽样的情形，与二项分布的区别在于各次抽取不独立连续型随机变量概率密度函数的定义若存在非负函数fx，使随机变量X的分布函数可表示为Fx=∫₍₋∞,x₎ftdt，则称X为连续型随机变量，fx称为X的概率密度函数PDF概率密度函数表示随机变量取值的密集程度，而非具体概率值概率密度函数的性质概率密度函数fx具有以下性质

①非负性fx≥0；

②归一性∫₍₋∞,+∞₎fxdx=1；

③对任意实数a连续型随机变量的概率计算连续型随机变量落在任意点上的概率为零，即PX=c=0这意味着Pa常见连续分布I均匀分布若随机变量X的概率密度函数为fx=1/b-a（a≤x≤b）且其他区域为0，则X服从区间[a,b]上的均匀分布，记为X~U[a,b]均匀分布表示随机变量在给定区间内等可能地取值指数分布若随机变量X的概率密度函数为fx=λe^-λx（x0）且x≤0时为0，则X服从参数为λ的指数分布，记为X~Expλ指数分布具有无记忆性PXs+t|Xs=PXt正态分布若随机变量X的概率密度函数为fx=1/√2πσ²e^-x-μ²/2σ²，则X服从参数为μ,σ²的正态分布，记为X~Nμ,σ²正态分布是概率论中最重要的分布常见连续分布II分布与分布ΓβΓ分布是指数分布的推广，其密度函数含Γ函数当参数α为正整数时，Γ分布可视为α个独立同分布的指数随机变量之和β分布定义在[0,1]区间上，常用于描述比例或概率的分布，是贝叶斯分析中的重要分布卡方分布若X₁,X₂,...,X是独立同分布的标准正态随机变量，则它们的平方和ₙY=X₁²+X₂²+...+X²服从自由度为n的卡方分布，记为Y~χ²n卡方分布ₙ在统计假设检验中有重要应用，特别是用于检验拟合优度和独立性分布t若X~N0,1，Y~χ²n，且X与Y独立，则随机变量T=X/√Y/n服从自由度为n的t分布t分布用于小样本情况下的均值检验，随着自由度增大，t分布趋近于标准正态分布分布F若U~χ²m，V~χ²n，且U与V独立，则随机变量F=U/m/V/n服从自由度为m,n的F分布F分布用于方差分析和回归分析中，是检验两个总体方差是否相等的重要工具随机变量函数的分布1问题描述若已知随机变量X的分布，求随机变量Y=gX的分布这在概率论和统计学中是一类重要问题，因为实际应用中常需要对随机变量进行非线性变换2分布函数法根据Y的分布函数定义F_Yy=PY≤y=PgX≤y若gx为单调函数，可直接求解；若gx非单调，需将{gX≤y}分解为X落在若干区间的并集，再计算其概率3密度函数法对于连续型随机变量，若gx是严格单调可微函数，则Y=gX的概率密度为f_Yy=f_Xhy|hy|，其中hy是gx的反函数，hy是其导数这种方法利用了变量替换公式4卷积公式对于两个独立随机变量X和Y的和Z=X+Y，其密度函数可通过卷积公式计算f_Zz=∫f_Xxf_Yz-xdx卷积公式在处理独立随机变量的和、差、积、商等问题时非常有用第三章多维随机变量多维随机变量及其推广更高维度的随机向量理论条件分布与独立性多变量间的关系与条件概率分析联合分布与边缘分布多变量分布及其映射二维随机变量的定义4二元随机向量的基本概念第三章将介绍多维随机变量的理论，从二维随机变量开始，逐步推广到多维情况多维随机变量用于描述多个随机因素共同作用的复杂随机现象，是现代概率论的重要组成部分我们将学习联合分布、边缘分布和条件分布之间的关系，掌握随机变量独立性的判断方法，以及二维正态分布等典型多维分布的性质这些内容为理解随机变量之间的相关性和依赖关系奠定基础二维随机变量二维随机变量的定义二维随机变量X,Y是定义在同一样本空间Ω上的两个随机变量构成的有序对从几何角度看，二维随机变量可视为从样本空间Ω到平面R²的映射，每个样本点ω对应平面上的一个点Xω,Yω二维随机变量用于描述两个相关随机因素的联合统计特性，例如个体的身高和体重、股票的价格和交易量等二维分布函数二维随机变量X,Y的分布函数定义为Fx,y=PX≤x,Y≤y，表示事件{X≤x,Y≤y}的概率二维分布函数具有以下性质

①单调性若x₁离散型与连续型二维分布二维离散型随机变量由联合概率质量函数PX=x,Y=y=px,y描述，满足px,y≥0且∑∑px,y=1二维连续型随机变量由联合概率密度函数fx,y描述，满足fx,y≥0且∫∫fx,ydxdy=1在连续情况下，任意区域D的概率为区域D上的二重积分PX,Y∈D=∫∫_{D}fx,ydxdy边缘分布变量值X的边缘分布Y的边缘分布条件分布离散情况下的条件分布连续情况下的条件分布条件数学期望对于离散型随机变量X,Y，在Y=y条对于连续型随机变量X,Y，在Y=y条在Y=y条件下X的条件期望定义为件下X的条件分布定义为件下X的条件概率密度函数定义为EX|Y=y=∑_x x·PX=x|Y=y（离散情PX=x|Y=y=PX=x,Y=y/PY=y=p fx|y=fx,y/f_Yy，其中f_Yy0况）x,y/p_Yy，其中p_Yy0条件概率密度函数描述了在Y=y条件EX|Y=y=∫x·fx|ydx（连续情况）这表示在已知Y=y的条件下，X取值为下X的分布特征条件分布函数为条件期望EX|Y=y是y的函数，表示在x的条件概率条件分布具有概率分布Fx|y=∫_{-∞}^{x}ft|ydt条件密度Y=y条件下X的平均值它是研究随机的所有性质，如非负性和归一性∑_x函数满足fx|y≥0和∫fx|ydx=1变量关系的重要工具PX=x|Y=y=1随机变量的独立性独立性的定义随机变量X和Y相互独立，当且仅当对任意实数x和y，有PX≤x,Y≤y=PX≤x·PY≤y，即Fx,y=F_Xx·F_Yy独立性表示一个随机变量的取值不会影响另一个随机变量的概率分布独立性的等价条件对于离散型随机变量，X和Y独立当且仅当px,y=p_Xx·p_Yy对所有可能的x和y成立对于连续型随机变量，X和Y独立当且仅当fx,y=f_Xx·f_Yy对几乎所有的x,y成立函数的独立性若随机变量X和Y相互独立，则X的函数gX与Y的函数hY也相互独立这一性质在处理随机变量函数的问题时非常有用例如，若X和Y独立，则X²和Y²也独立，X+Y和X-Y通常不独立独立性与不相关性独立性蕴含不相关性（零协方差），但反之不成立不相关仅意味着两随机变量间没有线性关系，而独立则要求更强的无关联性例如，若X~N0,1，Y=X²，则X和Y不独立但可能不相关二维正态分布二维正态分布的密度函数二维正态随机向量X,Y的密度函数为复杂的指数形式，含有五个参数X和Y的均值μ₁、μ₂，方差σ₁²、σ₂²，以及相关系数ρ当ρ=0时，密度函数可分解为两个一维正态密度的乘积参数的几何意义ρ相关系数ρ描述了X和Y的线性相关程度|ρ|越接近1，两个变量的线性相关性越强；ρ=0时，变量不相关在二维正态分布中，ρ的几何意义表现在等高线为椭圆，ρ决定了椭圆主轴的倾斜方向边缘分布与条件分布二维正态分布的边缘分布仍是正态分布X~Nμ₁,σ₁²，Y~Nμ₂,σ₂²条件分布也是正态分布在Y=y条件下，X服从正态分布Nμ₁+ρσ₁/σ₂y-μ₂,σ₁²1-ρ²独立性条件二维正态随机向量中，X和Y独立的充要条件是ρ=0，即不相关这是二维正态分布的重要特性，在一般的分布中，不相关并不意味着独立，但在正态分布中二者等价多维随机变量多维随机变量是n个随机变量构成的随机向量X₁,X₂,...,X它的联合分布由n维分布函数ₙFx₁,x₂,...,x=PX₁≤x₁,X₂≤x₂,...,X≤x完全描述多维随机变量的边缘分布、条件分布和独立性的概念是二维情况的自然ₙₙₙ推广n个随机变量相互独立，当且仅当它们的联合分布函数等于各自边缘分布函数的乘积Fx₁,x₂,...,x=F₁x₁·F₂x₂·...·F x多维正态分布是最重要的多维分布，其性质优美任意线性组合仍服从正态分布，ₙₙₙ且分量间不相关等价于独立随机变量的函数1变换问题已知X,Y的分布，求Z=gX,Y的分布，如求和Z=X+Y、乘积Z=XY等2分布函数法利用F_Zz=PZ≤z=PgX,Y≤z，将条件转化为X,Y的区域计算3卷积公式对于和Z=X+Y，若X,Y独立，则f_Zz=∫f_Xxf_Yz-xdx4雅可比变换对于变换U,V=TX,Y，若T可逆，则f_U,Vu,v=f_X,Yx,y|J|两个随机变量函数的分布是概率论中常见的问题类型对于和Z=X+Y，若X和Y独立，则Z的分布可通过卷积公式求解对于连续随机变量，卷积公式特别有用f_Zz=∫f_Xxf_Yz-xdx类似地，可求解差U=X-Y、积V=XY和商W=X/Y的分布对于二维随机向量的变换U,V=TX,Y，若变换T是一一映射且可微，则可利用变量替换公式和雅可比行列式f_U,Vu,v=f_X,Yxu,v,yu,v|J|，其中J是雅可比行列式这一方法可推广至高维情况第四章随机变量的数字特征期望方差与标准差随机变量的平均值，表示其集中趋势描述随机变量取值的分散程度1矩与协方差矩阵协方差与相关系数3刻画随机变量分布形状的高阶特征衡量两个随机变量之间的线性相关程度第四章将介绍随机变量的数字特征，这些特征用于描述随机变量分布的主要特点与分布函数或密度函数相比，数字特征不能完全确定分布，但它们提供了分布的重要信息，如集中趋势、离散程度和相关性我们将学习期望、方差、协方差、相关系数等基本数字特征的定义、性质和计算方法，以及它们在实际问题中的应用这些工具在数据分析、工程应用和理论研究中都有重要价值数学期望期望的计算离散型EX=∑x·px，连续型EX=∫x·fxdx期望的性质2线性性EaX+bY=aEX+bEY，独立性EXY=EX·EY（若X,Y独立）期望的意义反映随机变量的平均水平和集中趋势数学期望（均值）是随机变量最基本的数字特征，表示随机变量取值的加权平均，权重由概率给出从物理意义看，期望是分布的重心，表示随机变量的集中趋势期望具有线性性EaX+b=aEX+b，EX+Y=EX+EY若随机变量X和Y独立，则EXY=EX·EY；反之不成立随机变量函数的期望E[gX]可通过积分或求和计算E[gX]=∑gx·px（离散型）或E[gX]=∫gx·fxdx（连续型）常见分布的期望二项分布Bn,p的期望为np；泊松分布Poiλ的期望为λ；均匀分布U[a,b]的期望为a+b/2；指数分布Expλ的期望为1/λ；正态分布Nμ,σ²的期望为μ方差与标准差方差的定义方差的计算公式方差的性质随机变量X的方差定义为方差的等价计算公式为方差具有如下性质DX=E[X-EX²]，表示随DX=EX²-EX²，这一公

①Dc=0，常数的方差为0；机变量取值围绕期望的波动程式在实际计算中更为方便对

②DaX+b=a²DX，常数平度方差越大，随机变量取值于离散型随机变量，移不改变方差，比例缩放使方的分散程度越大；方差为零，DX=∑x-μ²·px；对于连续差成比例变化；

③若X和Y独表示随机变量几乎必然等于其型随机变量，DX=∫x-立，则DX+Y=DX+DY，期望值μ²·fxdx，其中μ=EX独立随机变量之和的方差等于方差之和切比雪夫不等式切比雪夫不等式指出对任意随机变量X和任意正数ε，有P|X-EX|≥ε≤DX/ε²这一不等式表明，随机变量取值与其期望的偏差超过ε的概率不大于DX/ε²，为大数定律的证明提供了基础协方差协方差的定义协方差的计算随机变量X和Y的协方差定义为CovX,Y=E[X-EXY-EY]，它衡量协方差的等价计算公式为CovX,Y=EXY-EXEY这个公式通常更两个随机变量的线性相关程度协方差的正负表示两变量的变化趋便于计算，尤其是当联合分布已知时对于离散型随机变量，势正值表示同向变化，负值表示反向变化，零值表示线性不相关CovX,Y=∑∑x-μ₁y-μ₂px,y；对于连续型随机变量，CovX,Y=∫∫x-μ₁y-μ₂fx,ydxdy协方差的性质独立性与零协方差协方差具有如下性质

①CovX,X=DX，自己与自己的协方差即为方若随机变量X和Y独立，则CovX,Y=0，即独立变量必定不相关但反差；

②CovX,Y=CovY,X，协方差的对称性；之不成立零协方差（不相关）并不意味着独立例如，若X服从标准

③CovaX+b,cY+d=ac·CovX,Y，线性变换下的协方差缩放；正态分布，令Y=X²，则X和Y不独立，但CovX,Y=0只有在特殊情况

④CovX+Y,Z=CovX,Z+CovY,Z，协方差对于加法的线性性下，如二维正态分布中，不相关等价于独立相关系数矩与中心矩阶矩的定义中心矩与原点矩的关系高阶矩的统计意义k随机变量X的k阶原点矩定义为中心矩可以用原点矩表示例如高阶矩描述了分布形状的特征μ=EXᵏ，表示随机变量k次方的期ₖμ₂=μ₂-μ₁²三阶中心矩μ₃用于衡量分布的偏度望一阶原点矩μ₁=EX即为期望（skewness），即分布的不对称性μ₃=μ₃-3μ₂μ₁+2μ₁³随机变量X的k阶中心矩定义为标准化偏度定义为γ₁=μ₃/μ₂^3/2正μ=E[X-EXᵏ]，表示随机变量与这些关系式可通过二项式展开推导得偏度表示分布右侧拖尾，负偏度表示ₖ其期望之差的k次方的期望二阶中心到，在实际计算中非常有用左侧拖尾，对称分布的偏度为零矩μ₂=E[X-EX²]即为方差四阶中心矩μ₄用于衡量分布的峰度（kurtosis），即分布尾部的厚度标准化超额峰度定义为γ₂=μ₄/μ₂²-3正峰度表示分布尾部比正态分布更厚，负峰度表示尾部更薄协方差矩阵对于n维随机向量X=X₁,X₂,...,Xᵀ，其协方差矩阵Σ是一个n×n矩阵，其元素σᵢⱼ=CovXᵢ,Xⱼ对角元素σᵢᵢ=DXᵢ是各分量的方差，非对ₙ角元素σᵢⱼ表示分量间的协方差协方差矩阵完整描述了随机向量各分量间的线性相关结构协方差矩阵具有重要性质

①对称性Σ=Σᵀ；

②半正定性对任意向量a∈Rⁿ，有aᵀΣa≥0，这反映了任意线性组合的方差非负；

③若分量相互独立，则Σ为对角矩阵协方差矩阵的特征值和特征向量具有重要的统计意义，用于主成分分析等多元统计方法条件数学期望条件期望的定义条件期望的性质全期望公式随机变量X关于Y的条件数学期望EX|Y条件期望具有以下性质

①线性性全期望公式（也称为迭代期望律或双重定义为在Y=y条件下X的条件分布的期EaX+bZ|Y=aEX|Y+bEZ|Y；

②若X期望公式）指出EX=E[EX|Y]这望，即EX|Y=y=∑x·PX=x|Y=y（离散和Y独立，则EX|Y=EX；

③若gY是表明随机变量X的期望可通过先计算条情况）或EX|Y=y=∫x·fx|ydx（连续Y的函数，则EgY|Y=gY；

④若X和件期望EX|Y，再对Y取期望得到全情况）条件期望EX|Y是Y的函数，Y独立，则EXZ|Y=EX·EZ|Y这些期望公式是概率论中的基本工具，在复本身也是一个随机变量性质在概率计算和随机过程分析中有重杂问题的简化和顺序决策分析中有广泛要应用应用生成函数与特征函数1概率生成函数非负整数值随机变量X的概率生成函数定义为G_Xs=Es^X=∑s^k·PX=k它是一种表示离散分布的工具，特别适用于处理和、最大值等问题例如，二项分布Bn,p的概率生成函数为Gs=1-p+ps^n矩生成函数随机变量X的矩生成函数定义为M_Xt=Ee^tX矩生成函数（若存在）具有以下性质

①M_X0=1；

②M_X^k0=EX^k，即矩生成函数在t=0处的k阶导数等于X的k阶原点矩；

③独立随机变量和的矩生成函数等于各自矩生成函数的乘积3特征函数随机变量X的特征函数定义为φ_Xt=Ee^itX，其中i是虚数单位特征函数是矩生成函数的扩展，对任何分布都存在特征函数完全确定分布，且满足

①|φ_Xt|≤1，φ_X0=1；

②若X和Y独立，则φ_{X+Y}t=φ_Xt·φ_Yt；

③特征函数的展开式与矩的关系为φ_Xt=1+itEX-t^2/2EX^2+...反转公式与唯一性定理特征函数的反转公式允许从特征函数恢复分布函数或密度函数唯一性定理指出，不同的概率分布必有不同的特征函数，这使得特征函数成为分析分布性质的有力工具特征函数在极限定理的证明中也发挥着核心作用第五章大数定律与中心极限定理随机变量序列的收敛性概率论中有多种随机变量序列收敛的概念，包括依概率收敛和几乎必然收敛这些收敛概念描述了随机变量序列接近某个极限的不同方式，为理解和分析随机现象的稳定性提供了数学基础大数定律大数定律是概率论的基本定理，它从数学上揭示了随机现象在大量重复试验中呈现出的稳定性切比雪夫大数定律、辛钦大数定律和伯努利大数定律分别针对不同条件下随机变量的均值收敛性质，反映了大量观察的平均结果趋于稳定的普遍规律中心极限定理中心极限定理指出，在适当条件下，大量独立同分布随机变量的标准化和近似服从标准正态分布这一定理解释了正态分布在自然和社会现象中广泛存在的原因，为统计推断和实际应用提供了理论依据随机变量序列的收敛性依概率收敛几乎必然收敛随机变量序列{X}依概率收敛到随机变量X，随机变量序列{X}几乎必然收敛（也称为几ₙₙ记为X→ᵖX，如果对任意ε0，有乎处处收敛或强收敛）到随机变量X，记为ₙlimn→∞P|X-X|≥ε=0这意味着对于任意X→ᵃ·ˢX，如果Plimn→∞X=X=1这意ₙₙₙ小的正数ε，当n足够大时，X落在以X为中味着在概率为1的样本点集合上，序列ₙ心、半径为ε的区间外的概率可以任意小{Xω}作为数列收敛到Xωₙ依概率收敛是概率论中最常用的收敛概念之几乎必然收敛比依概率收敛更强，即X→ᵃ·ˢXₙ一，它描述了随机变量序列在概率意义上接近蕴含X→ᵖX，但反之不成立几乎必然收敛ₙ极限的方式依概率收敛是大数定律的核心，对应于强大数定律，表明在几乎所有可能的样表明样本均值作为总体均值的估计量是相合本序列上，样本均值都收敛到总体均值的依分布收敛随机变量序列{X}依分布收敛到随机变量X，记为X→ᵈX，如果对分布函数序列{F x}和分布函ₙₙₙ数Fx，在Fx的连续点x处有limn→∞F x=Fx依分布收敛只关心随机变量的分布，而不是随ₙ机变量本身依分布收敛是中心极限定理的收敛概念，它比依概率收敛弱，因为它允许极限随机变量与序列在概率空间上完全不同依分布收敛的等价条件可通过特征函数表述φt→φt对所有tₙ大数定律切比雪夫大数定律设随机变量序列{X₁,X₂,...}相互独立，具有相同的期望μ和有限方差，则其算术平均X̄=X₁+X₂+...+X/n依概率收敛到μ，即对任意ε0，有limn→∞P|X̄-μ|≥ε=0ₙₙₙ这一定理是从切比雪夫不等式推导出的，不要求随机变量同分布辛钦大数定律若随机变量序列{X₁,X₂,...}独立同分布，且具有有限的期望EX₁=μ，则其算术平均X̄ₙ依概率收敛到μ辛钦大数定律对方差没有要求，仅需期望存在有限，适用范围更广这一定理通常借助特征函数证明伯努利大数定律在n次独立重复的伯努利试验中，若每次试验成功的概率为p，记成功次数为n，则成ₙ功频率n/n依概率收敛到p，即对任意ε0，有limn→∞P|n/n-p|≥ε=0伯努利大ₙₙ数定律是辛钦大数定律在二项分布情况下的特例大数定律的应用大数定律在科学研究、工程应用和商业决策中有广泛应用它为抽样调查提供了理论基础，解释了为何大样本调查能够准确反映总体特征在保险精算、质量控制和物理测量中，大数定律帮助我们理解和预测大量观测的平均行为中心极限定理1李雅普诺夫中心极限定理设随机变量序列{X₁,X₂,...}独立，具有期望EXᵢ=μᵢ和方差DXᵢ=σᵢ²，定义B²=∑σᵢ²若对某ₙ个δ0，极限limn→∞1/B^2+δ∑E|Xᵢ-μᵢ|^2+δ=0成立，则随机变量∑Xᵢ-μᵢ/B依ₙₙ分布收敛到标准正态分布这一定理是最一般形式的中心极限定理2林德伯格列维中心极限定理-若随机变量序列{X₁,X₂,...}独立同分布，具有期望EXᵢ=μ和有限方差DXᵢ=σ²0，则随机变量∑Xᵢ-nμ/σ√n依分布收敛到标准正态分布这一定理适用于独立同分布的情况，是最常用的中心极限定理形式3棣莫弗拉普拉斯定理-在n次独立重复的伯努利试验中，若每次试验成功的概率为p，成功次数为n，则当n→∞时，ₙ随机变量n-np/√np1-p依分布收敛到标准正态分布这一定理是林德伯格-列维定理在ₙ二项分布情况下的特例4中心极限定理的概率论意义中心极限定理从理论上解释了为什么许多自然和社会现象近似服从正态分布当一个随机变量受到多种独立随机因素的影响，且每个因素的影响相对较小时，其分布近似正态这一定理是现代概率论和统计学的基石，为抽样理论、统计推断和风险分析提供了理论支撑中心极限定理的应用正态分布的近似计算抽样分布与统计推断中心极限定理使我们可以用正态分布中心极限定理是构建抽样分布理论的近似计算其他分布的概率例如，二基础，它保证了样本均值的分布近似项分布Bn,p当n较大时可近似为正正态，这使得区间估计和假设检验方态分布Nnp,np1-p，通常当np≥5法成为可能且n1-p≥5时近似效果较好工程应用模拟与验证在通信系统中，中心极限定理用于分通过计算机模拟，可以直观展示不同4析噪声的累积效应；在可靠性工程分布的随机变量之和如何随样本量增3中，用于评估系统故障概率；在金融加而趋近正态分布，验证中心极限定工程中，用于风险管理和期权定价理的普适性第六章随机过程初步随机过程的基本概念平稳过程与马尔可夫链随机过程是参数化的随机变量平稳过程的统计特性不随时间变族，描述随机现象随时间或空间化，是研究时间序列的重要模演变的数学模型它可视为以时型马尔可夫链是一类特殊的随间t为参数的随机变量Xt的集机过程，其特点是无记忆性合，或者看作样本空间Ω到函数未来状态的条件分布仅依赖于当空间的映射，每个样本点对应前状态，与过去历史无关ω一条样本路径Xt,ω泊松过程与布朗运动泊松过程是描述随机事件在时间上发生的数学模型，广泛应用于排队理论和可靠性分析布朗运动是连续时间随机过程的典范，具有独立增量和正态分布增量等性质，在金融、物理和生物学中有重要应用随机过程基础随机过程的定义有限维分布与轨道随机过程的分类随机过程{Xt,t∈T}是定义在概率空随机过程{Xt,t∈T}的有限维分布是随机过程可按不同标准分类间Ω,F,P上的随机变量族，参数t通常指在任意有限多个时刻

1.按状态空间离散状态过程和连续表示时间，取值于参数集T对固定的t₁,t₂,...,t T，随机向量ₙ∈状态过程t₀，Xt₀是一个随机变量；对固定的Xt₁,Xt₂,...,Xt的联合分布有ₙ

2.按参数集离散参数过程和连续参样本点ω₀，Xt,ω₀是t的函数，称为限维分布族满足相容性条件，它们完数过程样本路径或轨道全确定了随机过程的概率特性

3.按概率特性马尔可夫过程、平稳随机过程可分为离散时间过程（当T为随机过程的样本轨道是随机过程在每过程、独立增量过程等可数集，如T={0,1,2,...}）和连续时间个样本点上的实现，反映了随机过程

4.按轨道特性连续轨道过程、跳跃过程（当T为连续区间，如的路径性质轨道的性质（如连续过程等T=[0,+∞）性、可微性）是研究随机过程的重要方面不同类型的随机过程适用于建模不同的随机现象马尔可夫链马尔可夫性的定义离散时间马尔可夫链{X,n≥0}是具有马尔可夫性的随机过程，即对任意n≥0和任意状ₙ态i₀,i₁,...,i,j，满足条件概率关系ₙPX₁=j|X₀=i₀,X₁=i₁,...,X=i=PX₁=j|X=i这表明系统未来状态的条ₙ₊ₙₙₙ₊ₙₙ件分布仅依赖于当前状态，与过去历史无关马尔可夫性反映了系统的无记忆特性，大大简化了随机过程的分析马尔可夫链广泛应用于物理、生物、经济等领域的随机系统建模转移概率矩阵马尔可夫链的单步转移概率pᵢⱼ=PX₁=j|X=i表示系统从状态i转移到状态j的ₙ₊ₙ概率所有单步转移概率构成转移概率矩阵P=pᵢⱼ，满足pᵢⱼ≥0且∑ⱼpᵢⱼ=1n步转移概率pᵢⱼ⁽ⁿ⁾=PX=j|X=i表示从状态i经过n步转移到状态j的概ₙ₊ₘₘ率n步转移概率矩阵为P^n，即P的n次方，这是马尔可夫链分析的基本工具状态分类与遍历性马尔可夫链的状态可分类为常返状态（可以从该状态出发，以概率1重返该状态）和非常返状态（以正概率永远不返回）常返状态又可分为正常返（平均返回时间有限）和零常返（平均返回时间无限）若马尔可夫链是不可约的（任意两状态间可相互到达）且所有状态都是正常返的，则称该链是遍历的遍历马尔可夫链有唯一的平稳分布，且从任何初始分布出发，分布最终都收敛到平稳分布泊松过程泊松过程的定义事件计数过程指数分布的无记忆性泊松过程{Nt,t≥0}是计数过程，泊松过程是最简单的事件计数过若T服从指数分布Expλ，则对任表示在时间区间[0,t]内发生的事件程，参数λ表示单位时间内事件发意s,t0，有数它满足以下条件生的平均次数，称为强度或率PTs+t|Ts=PTt这一性质

①N0=0；

②具有独立增量，即在任意长度为t的时间区间内，事称为无记忆性，它是指数分布和不相交时间区间上的计数相互独件发生次数的期望为ENt=λt，泊松过程的特征性质无记忆性立；

③具有平稳增量，即增量分方差为DNt=λt意味着已经等待的时间不影响未布仅依赖于时间长度；

④对任意来等待时间的分布泊松过程中，相邻事件发生的时t0，Nt服从参数为λt的泊松分间间隔T₁,T₂,...相互独立且服从相由于无记忆性，泊松过程在任意布，即PNt=k=λt^k·e^-同的指数分布Expλ，这一性质使时刻重新开始的性质与原过程相λt/k!得泊松过程分析变得简单同，这使得泊松过程可以视为连续时间马尔可夫链的特例复合泊松过程复合泊松过程是在泊松过程基础上，为每个事件赋予随机大小而得到的过程若泊松过程表示索赔发生的次数，随机变量表示每次索赔的金额，则复合泊松过程表示累计索赔金额复合泊松过程在保险精算、金融风险管理和可靠性分析中有重要应用它将事件发生的随机性和事件影响的随机性统一在一个模型中布朗运动0t初始值期望增长标准布朗运动始于原点，即W0=0布朗运动均值为零的情况下，带漂移的布朗运动期望值随时间线性增长EWt=μt√t标准差增长率布朗运动的标准差以时间的平方根速率增长，反映了其扩散特性SDWt=σ√t布朗运动{Wt,t≥0}是连续时间随机过程，数学上也称为维纳过程它具有以下性质

①W0=0；

②具有独立增量，即不相交时间区间上的增量相互独立；

③对任意0≤s布朗运动是连续时间随机行走的极限，可视为大量微小随机扰动累积的结果标准布朗运动可推广为带漂移的布朗运动{μt+σWt}，其中μ是漂移参数，σ是波动参数布朗运动在金融中用于建模股票价格（Black-Scholes模型），在物理学中描述粒子的随机运动，在信号处理中表示随机噪声总结与展望本课程系统介绍了概率论的基本理论体系，从基本概念到随机变量、多维分布、数字特征，再到极限定理和随机过程初步我们看到，概率论不仅是一个严格的数学理论，还是理解和分析随机现象的有力工具概率论与数理统计有着密切联系，前者为后者提供理论基础，后者则为前者提供应用背景和数据分析方法现代概率论已广泛应用于经济金融、信息科学、物理化学、生物医学等领域，成为科学研究和技术创新的重要支撑未来学习可进一步探索随机过程理论、统计学习、贝叶斯分析等方向推荐阅读《概率论与数理统计》（陈希孺）、《随机过程》（钱敏平）等经典教材，以及近年来有关概率在机器学习和大数据分析中应用的前沿文献。