《概率论与数理统计》课件

概率论与数理统计欢迎进入概率论与数理统计的学习旅程本课程将带领您探索不确定性世界中的数学规律，从基本的概率概念到高级统计推断，系统地建立起应对随机现象的思维框架课程概述课程目标内容安排12培养学生掌握概率论与数理统课程分为概率论和数理统计两计的基本理论和方法，能够应大部分，包括随机事件与概用概率统计模型分析和解决实率、随机变量及其分布、多维际问题，建立概率统计思维方随机变量、数字特征、大数定式，为进一步学习相关专业课律与中心极限定理、参数估程奠定基础计、假设检验及回归分析等内容学习方法第一章随机事件与概率随机现象与随机试验研究在相同条件下可重复的、结果不确定的随机现象，建立数学模型描述和分析这类现象的特征和规律事件与概率引入随机事件的概念，通过概率这一数量指标来度量事件发生的可能性大小，建立事件的运算规则和概率的计算方法条件概率与独立性研究事件之间的相关性，引入条件概率、全概率公式和贝叶斯公式，分析随机事件的内在联系和独立性特征随机试验与样本空间

1.1随机试验的特点样本空间和样本点随机试验是指在相同条件下可重复进行，并且每次试验的结果不随机试验E的所有可能结果组成的集合称为样本空间，记为Ω确定但所有可能结果事先可以明确的实验例如掷骰子、抛硬样本空间中的元素称为样本点，通常用小写字母ω表示样本空币、抽取样本等随机试验的特点是可重复性、结果不确定性和间可以是有限集、可数无限集或不可数无限集结果可预测性事件及其运算

1.2事件的定义基本事件1随机试验的样本空间Ω的子集称为随机由单个样本点组成的子集称为基本事2事件，简称事件样本空间Ω称为必然件一个事件由若干个基本事件组成事件，空集∅称为不可能事件事件的运算事件的关系43并集A∪B、交集A∩B、差集A-B和互斥包含关系若A⊂B，则事件A发生必导事件的概念及其表示致事件B发生频率与概率

1.3频率的定义在相同条件下，进行了n次试验，其中事件A发生的次数为nA，则比值nA/n称为事件A在这n次试验中出现的频率，记为fnA频率具有统计稳定性，即当试验次数n很大时，频率fnA会稳定在某个常数附近概率的定义在大量重复试验中，事件A的频率fnA的稳定值称为事件A的概率，记为PA概率是事件发生可能性大小的数量度量，满足

①0≤PA≤1；

②PΩ=1；

③若A∩B=∅，则PA∪B=PA+PB古典概型

1.4古典概型的定义具有有限个样本点且每个基本事件发生的可能性相同的概率模型称为古典概型在古典概型中，事件A的概率计算公式为PA=A中包含的基本事件数/样本空间Ω中的基本事件总数计数原理加法原理完成一个任务有n类不同方式，第i类有mi种不同方法，则完成任务的总方法数为m1+m2+...+mn乘法原理完成一个任务有n个步骤，第i个步骤有mi种不同方法，则完成任务的总方法数为m1×m2×...×mn排列组合排列数从n个不同元素中取出m个元素进行排列的方法数为An,m=nn-

1...n-m+1组合数从n个不同元素中取出m个元素的组合数为Cn,m=An,m/m!条件概率

1.5条件概率的定义1在事件B已发生的条件下，事件A发生的概率，称为条件概率，记为PA|B当PB0时，条件概率的计算公式为PA|B=PA∩B/PB条件概率P·|B满足概率的所有公理性质乘法公式2PAB=PAPB|A=PBPA|B推广到n个事件的情况PA1A

2...An=PA1PA2|A1PA3|A1A

2...PAn|A1A

2...An-1条件概率的性质3条件概率具有非负性、规范性和可列可加性，与无条件概率具有相同的性质当事件A与条件事件B独立时，PA|B=PA全概率公式

1.6事件的划分1设B1,B2,...,Bn是样本空间Ω的一个划分，即

①B1∪B2∪...∪Bn=Ω；

②BiBj=∅i≠j；

③PBi0i=1,2,...,n全概率公式2对任意事件A，有PA=PB1PA|B1+PB2PA|B2+...+PBnPA|Bn=∑PBiPA|Bi全概率公式表示事件A的概率可以分解为在不同条件下发生的概率的加权和全概率公式的应用当事件A的发生受到其他因素影响，而这些因素构成一个完备事件3组时，可以用全概率公式计算事件A的概率全概率公式常用于复杂问题的求解，将问题分解为若干个简单的条件概率问题贝叶斯公式

1.7后验概率1根据结果推断原因的概率贝叶斯公式2PBi|A=PBiPA|Bi/PA先验概率3事件发生前已知的概率PBi贝叶斯公式描述了在得知事件A发生后，对引起A的各种原因Bi概率的修正贝叶斯公式的完整形式为PBi|A=PBiPA|Bi/∑PBjPA|Bj，其中分母是全概率公式贝叶斯公式的应用广泛，包括医学诊断、模式识别、机器学习等例如，在医学诊断中，PBi表示患某种疾病的先验概率，PA|Bi表示患这种疾病的情况下出现某症状的概率，PBi|A表示出现该症状时患这种疾病的概率第二章随机变量及其分布本章将介绍随机变量这一核心概念，它是概率论的基础我们将学习如何用数学函数描述随机现象，研究随机变量的分布特征，掌握离散型和连续型随机变量的分布规律，以及常见的概率分布模型及其应用通过本章学习，您将能够建立随机变量的概念，掌握描述随机变量分布的方法，为后续章节学习随机变量的数字特征和极限定理奠定基础随机变量的概念

2.1321核心要素主要类型数学本质随机变量的定义、取值范围和概率分布是理根据取值特点，随机变量可分为离散型和连随机变量是定义在样本空间上的实值函数，解随机变量的三个核心要素，它们共同构成续型两大类，分别用不同的数学方法描述其将随机试验的每个可能结果映射到实数轴了描述随机现象的数学模型概率分布上随机变量是概率论中描述随机现象数值化的基本工具形式上，随机变量X是定义在样本空间Ω上的函数，对每个样本点ω∈Ω，都有唯一的实数值Xω与之对应随机变量的引入使我们能够用数学方法来研究随机现象的规律离散型随机变量及其分布

2.2律取值xi x1x

2...xn...概率pi p1p

2...pn...离散型随机变量是指取值只有有限个或可列无限多个的随机变量其概率分布可以用分布律表示，即列出随机变量的所有可能取值及其对应的概率分布律必须满足两个条件

①非负性PX=xi=pi≥0；

②规范性∑pi=1离散型随机变量的概率可以用概率质量函数PMF表示，即PX=x在所有可能取值x处的函数值在实际应用中，我们常通过频率分析确定离散型随机变量的分布律，或采用适当的理论模型进行描述，如二项分布、泊松分布等连续型随机变量及其概率

2.3密度概率密度函数概率计算密度函数性质连续型随机变量X的概连续型随机变量在某区概率密度函数必须满足率密度函数PDF是指间内的概率等于其概率两个条件

①非负性满足条件密度函数在该区间上的fx≥0；

②规范性Pa≤X≤b=∫[a,b]fx积分值得注意的是，∫[-∞,+∞]fxdx=1dx的非负函数fx概连续型随机变量取任一密度函数的形状直观反率密度函数表示随机变特定值的概率为零映了随机变量取值的分量在各点取值的概率布特点密集程度分布函数

2.4定义随机变量X的分布函数CDF定义为Fx=PX≤x，表示随机变量X取值不超过x的概率分布函数对任意类型的随机变量都适用，是描述随机变量分布的统一方式性质分布函数具有以下性质

①单调非减；

②右连续；

③F-∞=0，F+∞=1；

④PaX≤b=Fb-Fa这些性质反映了概率的基本特征与密度函数的关系对于连续型随机变量，其分布函数与概率密度函数之间存在关系Fx=∫[-∞,x]ftdt，fx=Fx（在Fx可导点处）这表明分布函数是概率密度函数的积分，而概率密度函数是分布函数的导数常见离散型随机变量分布

2.5二项分布泊松分布几何分布Bn,p PλGp描述n次独立重复试验中，每次试验成功描述单位时间内随机事件发生次数的分描述首次成功前所需的独立重复试验次数概率为p，成功总次数的分布其分布律布其分布律为PX=k=e^-λλ^k/k!，的分布其分布律为PX=k=1-p^k-为PX=k=Cn,kp^k1-p^n-k，k=0,1,2,...参数λ0表示单位时间内事件1p，k=1,2,...期望EX=1/p，方差k=0,1,...,n期望EX=np，方差的平均发生次数期望和方差均为λDX=1-p/p^2DX=np1-p常见连续型随机变量分布

2.6正态分布均匀分布指数分布其他分布正态分布Nμ,σ²是最重要的连续型分布，其密度函数为fx=1/√2πσ²e^-x-μ²/2σ²，-∞x+∞标准正态分布N0,1的密度函数为φx=1/√2πe^-x²/2，其分布函数通常记为Φx均匀分布Ua,b描述在区间[a,b]上随机选取点的分布，其密度函数为fx=1/b-a，a≤x≤b指数分布Expλ常用于描述随机事件之间的等待时间，其密度函数为fx=λe^-λx，x0随机变量的函数的分布

2.7分布函数法公式法卷积公式123设X是随机变量，Y=gX是X的函对于某些特殊情形，可直接应用已若X、Y是独立连续型随机变量，则数，要求Y的分布，可先求Y的分布知结论例如，若X~Nμ,σ²，则线Z=X+Y的概率密度函数为fZz=∫[-函数FYy=PY≤y=PgX≤y，然性函数Y=aX+b~Naμ+b,a²σ²，∞,+∞]fXz-yfYydy，这称为卷积后根据X的分布特性计算此概率a≠0这一性质称为正态分布的线公式类似地，离散型随机变量的对于连续型随机变量，还可通过求性变换不变性和的分布可通过分布律的卷积得导得到概率密度函数到第三章多维随机变量及其分布研究对象主要内容多维随机变量研究两个或多个随本章将介绍二维及多维随机变量机变量的联合分布，以及随机变的联合分布、边缘分布、条件分量之间的相互关系这是实际问布等基本概念，探讨随机变量间题中常见的情况，因为很多随机的独立性，研究多维随机变量函现象往往由多个相互关联的随机数的分布，特别是二维正态分布因素共同决定的性质及应用应用价值多维随机变量理论在多变量数据分析、相关性分析、回归分析等领域有广泛应用，是现代统计学和机器学习的理论基础，对于理解复杂随机系统具有重要意义二维随机变量及其联合分布

3.1二维随机变量联合分布函数离散型与连续型由两个随机变量X和Y组成的向量X,Y称二维随机变量X,Y的联合分布函数定义对于离散型二维随机变量，其联合分布为二维随机变量或二维随机向量二维为Fx,y=PX≤x,Y≤y，表示事件可用联合分布律PX=xi,Y=yj=pij表示；随机变量可以看作是从样本空间Ω到平面{X≤x,Y≤y}的概率联合分布函数完整对于连续型二维随机变量，则用联合概R²的映射，每个样本点ω对应平面上的一描述了两个随机变量的概率分布特征以率密度函数fx,y描述，满足个点Xω,Yω及它们之间的相互关系PX,Y∈D=∬[D]fx,ydxdy边缘分布与条件分布

3.2条件分布1在Y=y条件下X的条件分布联合分布2描述X,Y整体的概率分布边缘分布3单独看X或Y的分布边缘分布是指在二维随机变量X,Y中，仅考虑其中一个变量的分布X的边缘分布函数为FXx=Fx,+∞，Y的边缘分布函数为FYy=F+∞,y对于离散型随机变量，边缘分布律可通过联合分布律求得PX=xi=∑jPX=xi,Y=yj；对于连续型随机变量，边缘密度函数为fXx=∫[-∞,+∞]fx,ydy条件分布描述在已知一个随机变量取值的条件下，另一个随机变量的分布对于离散型，PX=xi|Y=yj=PX=xi,Y=yj/PY=yj；对于连续型，条件密度函数为fx|y=fx,y/fYy，当fYy0相互独立的随机变量

3.3独立性定义离散型独立条件若对任意实数x,y，有1对于离散型随机变量，X和Y相互独立的Fx,y=FXxFYy，则称随机变量X和Y2充要条件是对所有可能的取值xi,yj，有相互独立独立性表明两个随机变量之PX=xi,Y=yj=PX=xiPY=yj间没有统计关联独立性检验连续型独立条件4在实际问题中，可通过统计检验方法判3对于连续型随机变量，X和Y相互独立的断随机变量之间是否相互独立，如卡方充要条件是在联合密度函数非零的区域独立性检验等上有fx,y=fXxfYy二维正态分布

3.4二维正态分布是最重要的多维连续型分布，其概率密度函数为复杂的二元函数，包含五个参数μ

1、μ

2、σ

1、σ2和ρ其中μ1和μ2是X和Y的期望，σ1和σ2是标准差，ρ是相关系数当ρ=0时，X和Y相互独立二维正态分布具有良好的数学性质

①边缘分布仍为正态分布；

②条件分布也是正态分布；

③线性组合仍为正态分布；

④若X,Y服从二维正态分布，则X和Y相互独立的充要条件是它们不相关ρ=0这些性质使二维正态分布在多变量统计分析中有广泛应用随机变量的函数的分布

3.5一般方法1对于二维随机变量X,Y的函数Z=gX,Y，求Z的分布可通过分布函数法，即先求FZz=PZ≤z=PgX,Y≤z，然后根据X,Y的联合分布计算此概率和与差的分布2若X和Y独立，则Z=X+Y的密度函数为fZz=∫[-∞,+∞]fXz-yfYydy特别地，若X~Nμ1,σ1²，Y~Nμ2,σ2²且独立，则X+Y~Nμ1+μ2,σ1²+σ2²商与积的分布对于商Z=X/Y和积Z=XY，其分布较为复杂，通常需要通过变量3变换和积分计算在工程应用中，有专门的统计表用于特定分布的商和积第四章随机变量的数字特征期望方差与标准差协方差与相关系数随机变量的平均值，反描述随机变量取值分散描述两个随机变量之间映随机变量取值的中心程度的指标方差越线性相关程度的指标位置期望是随机变量大，表示随机变量的取相关系数取值在[-1,1]最基本的数字特征，用值越分散，波动性越之间，绝对值越接近1于描述随机变量的集中大；标准差是方差的平表示相关性越强，0表趋势方根，具有与随机变量示不相关相同的量纲数学期望

4.1离散型随机变量的期望若X是离散型随机变量，其分布律为PX=xi=pi，则X的数学期望为EX=∑xipi，其中求和范围是X的所有可能取值只有当∑|xi|pi收敛时，期望才存在连续型随机变量的期望若X是连续型随机变量，其概率密度函数为fx，则X的数学期望为EX=∫[-∞,+∞]xfxdx只有当积分∫[-∞,+∞]|x|fxdx收敛时，期望才存在期望的性质

①Ec=c，c为常数；

②EaX+b=aEX+b；

③若X和Y相互独立，则EXY=EXEY；

④一般情况下，EgX=∑gxipi（离散型）或∫[-∞,+∞]gxfxdx（连续型）方差与标准差

4.2方差的定义方差的计算公式12随机变量X的方差定义为DX=E[X-EX²]，表示随机变量取值与方差可通过公式DX=EX²-[EX]²计算，这是一个常用的计算技其期望的偏离程度方差是描述随机变量波动性的重要指标，方巧对于离散型随机变量，DX=∑xi-μ²pi，其中μ=EX；对于差越大，随机性越强连续型随机变量，DX=∫[-∞,+∞]x-μ²fxdx标准差方差的性质34标准差σX=√DX是方差的平方根，与随机变量具有相同的单

①Dc=0，c为常数；

②DaX+b=a²DX；

③若X和Y相互独立，位，更直观地表示了随机变量的离散程度在实际应用中，标准则DX±Y=DX+DY；

④一般情况下，DX≥0，且DX=0的充差常用于测量数据的波动范围和风险评估要条件是X为常数协方差与相关系数

4.3协方差相关系数重要性质协方差CovX,Y=E[X-EXY-相关系数ρXY=CovX,Y/σXσY将协方差

①若X和Y相互独立，则CovX,Y=0，但EY]=EXY-EXEY描述了两个随机变标准化，使其取值范围在[-1,1]之间反之不一定成立；

②只有对二维正态分量的线性相关程度若CovX,Y0，表|ρXY|=1表示X和Y完全线性相关，ρXY=0布，不相关与独立等价；示X和Y正相关，即一个变量增大，另一表示X和Y不相关相关系数是衡量两个

③CovaX+b,cY+d=acCovX,Y；个也倾向于增大；若CovX,Y0，表示X随机变量线性相关程度的无量纲指标，

④DX±Y=DX+DY±2CovX,Y，这是和Y负相关；若CovX,Y=0，则X和Y不相广泛应用于统计分析中方差公式的推广关矩和协方差矩阵

4.4矩的概念协方差矩阵随机变量X的k阶原点矩定义为对于n维随机向量₁₂EX^k，k阶中心矩定义为E[X-X=X,X,...,Xn^T，其协方差ᵢⱼEX^k]特别地，一阶原点矩矩阵定义为Σ=σn×n，其中ᵢⱼᵢⱼ就是期望EX，二阶中心矩就是σ=CovX,X协方差矩阵是方差DX矩用于描述随机变量对称正半定矩阵，主对角线元素分布的形状特征，高阶矩反映了为各随机变量的方差，非对角线分布的偏态性和尖峰性元素为两两之间的协方差应用价值协方差矩阵在多元统计分析、主成分分析、因子分析等领域有重要应用同时，在机器学习中，协方差矩阵用于降维、特征提取和模式识别矩生成函数和特征函数是通过矩研究随机变量分布的重要工具切比雪夫不等式

4.5切比雪夫不等式是概率论中的一个基本不等式，提供了随机变量取值偏离其期望的概率上界对于任意随机变量X（只要其方差存在），对于任何正数ε，都有P|X-EX|≥ε≤DX/ε²这一不等式表明，随机变量的取值集中在其期望附近，且集中程度与方差成反比切比雪夫不等式的重要性在于它适用于任何分布，不需要知道随机变量的具体分布形式，只需知道其期望和方差这一性质使其成为概率论中最基本的工具之一，为大数定律的证明提供了基础在实际应用中，切比雪夫不等式常用于估计样本均值的置信区间第五章大数定律与中心极限定理弱大数定律1随机变量序列的算术平均值按概率收敛于期望这表明当样本量足够大时，样本均值很可能接近总体均值，是统计推断的理论基础强大数定律2随机变量序列的算术平均值几乎必然收敛于期望这提供了更强的收敛保证，表明当样本量趋于无穷时，样本均值与总体均值的偏差几乎肯定会消失中心极限定理3大量相互独立的随机变量之和的分布近似服从正态分布这解释了为什么正态分布在自然和社会现象中如此普遍，是统计学中最重要的定理之一大数定律的概念

5.1大数定律的直观理解随机变量序列的均值行为统计学意义大数定律描述了当观测次数增加时，事件从数学角度看，大数定律研究随机变量序大数定律是统计推断的理论基础，它保证₁₂的频率趋近于概率的现象例如，投掷硬列{X,X,...,Xn,...}的算术平均值了我们可以通过大样本的统计特征来推断₁₂币的次数越多，出现正面的频率越接近X+X+...+Xn/n当n→∞时的极限行总体特征定律的应用涉及抽样调查、质

0.5这一规律解释了为什么赌场长期总是为该定律表明，在一定条件下，这个均量控制、保险精算、风险管理等诸多领盈利，而赌徒却往往输钱值会收敛到一个常数，通常是EX域切比雪夫大数定律

5.2定理陈述₁₂设随机变量序列{X,X,...,Xn,...}相互独立，且具有相同的数学期望EX₁₂ᵢᵢ=μ和有限方差DX=σ²，则对任意正数ε，有P|X+X+...+Xn/n-μ|ε→1n→∞这表明样本均值按概率收敛于总体均值证明思路ᵢ证明基于切比雪夫不等式和独立随机变量的方差加和性质由于X相互独立，样本均值的方差为σ²/n，随着n增大而减小应用切比雪夫不等式得到概率界限，当n→∞时，该界限趋于0，从而完成证明条件与推广切比雪夫大数定律的条件是随机变量具有相同的期望和有限方差实际上，定理可以推广到具有不同期望和方差的情况，只要满足一定的条件这种推广增强了定理在实际应用中的适用性伯努利大数定律

5.31/n p收敛速度极限概率当试验次数n足够大时，相对频率与概率的偏差大伯努利大数定律证明了频率收敛到概率p，这为概约以1/√n的速度减小，这解释了为什么需要大样率的频率解释提供了数学基础本才能获得准确估计n试验次数定律适用于大量重复试验，表明当n增大时，偏离概率的可能性减小伯努利大数定律是最早的大数定律形式，由雅各布·伯努利于1713年提出定理陈述在n次伯努利试验中，设事件A在每次试验中发生的概率为p，事件A发生的总次数为nA，则对任意正数ε，有P|nA/n-p|ε→1n→∞这一定律描述了随机事件在大量重复试验中出现频率的稳定性，是概率论频率学派的理论基础它与相对频率的稳定性密切相关，表明随着试验次数的增加，事件发生的相对频率几乎必然接近事件的概率伯努利大数定律是切比雪夫大数定律在伯努利试验中的特例辛钦大数定律

5.4定理陈述证明方法12设随机变量序列辛钦大数定律的证明利用了特₁₂{X,X,...,Xn,...}独立同分征函数的性质通过研究样本ᵢᵢ布，且E|X|∞，记EX=μ，均值的特征函数在n→∞时的₁₂则X+X+...+Xn/n依概率极限行为，可以推导出样本均收敛于μ与切比雪夫大数定值按概率收敛到期望的结论律相比，辛钦定律放宽了条这种利用特征函数的方法是概件，不再要求方差有限，只需率论中研究极限行为的重要技期望存在即可术应用范围3辛钦大数定律适用于更广泛的随机变量类型，包括某些不具有有限方差的分布例如，柯西分布虽然不存在方差，但只要对分布进行适当截断使期望存在，就可以应用辛钦定律这扩展了大数定律的理论和应用价值中心极限定理的概念

5.5正态分布的普遍性随机变量和的行为统计推断基础中心极限定理解释了为中心极限定理研究大量中心极限定理是统计推什么正态分布在自然和独立同分布随机变量之断的理论基础，它使我社会现象中如此普遍和的分布特性具体来们可以在不知道总体分无论原始分布如何，当说，当n足够大时，标布的情况下，通过正态独立随机变量的数量足准化的随机变量和Sn-分布近似计算样本统计够大时，它们的和的分nμ/σ√n的分布函数量的概率这一定理支布近似服从正态分布趋近于标准正态分布函持了区间估计、假设检这就是为什么身高、血数Φx，其中验等统计方法，也是参₁₂压、测量误差等许多现Sn=X+X+...+Xn是数统计的核心支撑象都呈现正态分布的原随机变量之和因。