《随机过程导论》课件

随机过程导论欢迎来到随机过程导论课程本课程将带领大家深入探索随机过程的奥秘，从基础概念到高级应用，全面系统地学习随机过程理论随机过程作为描述随机现象演化的数学工具，在工程、金融、物理等众多领域有着广泛应用通过本课程的学习，你将掌握马尔可夫链、泊松过程、布朗运动等重要随机过程模型，理解它们的数学性质和应用价值，并能运用这些知识解决实际问题让我们一起踏上这段充满随机性与确定性交织的数学之旅课程概述1课程目标2学习要求3考核方式本课程旨在帮助学生掌握随机过程的学生需具备概率论与数理统计的基础本课程的考核包括平时作业（）30%基本理论和方法，培养随机思维和建知识，熟悉概率空间、随机变量、数、期中考试（）和期末考试（20%模能力学生将学习如何运用概率论学期望、方差等基本概念同时，良）平时作业主要考察基本概念50%和统计学知识分析随机现象，建立随好的微积分和线性代数基础也是学习和方法的掌握程度；期中考试侧重基机模型，并应用于解决实际问题通本课程的必要条件课程要求学生积础理论；期末考试则综合评估学生对过系统学习，学生将能够理解和应用极参与课堂讨论，按时完成作业和项全部课程内容的理解和应用能力各类随机过程模型目第一章随机过程基础概率论回顾随机变量分布函数和密度函数在进入随机过程的学习前，我们需要回随机变量是定义在样本空间上的实值函分布函数完整描述了随机变量的概率分顾概率论的基础知识概率空间由样本数，它将随机试验的结果映射到实数上布特性，对于连续型随机变量，其密度空间、事件集合和概率测度组成条件随机变量可分为离散型和连续型两类函数是分布函数的导数常见的分布包概率、全概率公式和贝叶斯公式是解决多维随机变量及其联合分布、边缘分括均匀分布、正态分布、指数分布和泊概率问题的重要工具这些基础知识为布和条件分布是研究随机过程的基础松分布等，这些分布在随机过程模型中理解随机过程提供了必要的数学框架扮演着重要角色随机过程的定义随机过程的概念状态空间和参数空间样本函数随机过程是参数化的随机变量族，可表示参数空间表示随机过程的时间维度，可对于随机过程∈中的每个样本点T{Xt,t T}ω为∈，其中为参数集每个固定以是离散的（如正整数集）或连续的（如，函数表示这个样本点对应的确定{Xt,t T}T Xt,ω的，是一个随机变量；每个固定的样实数区间）状态空间是随机变量可性函数，称为样本函数或轨道样本函数t XtS Xt本点，是一个函数，称为样本函数能取值的集合，同样可以是离散的或连续的集合构成了随机过程的全部可能实现，ωXt,ω或轨道随机过程描述了随机现象随时间的参数空间和状态空间的性质决定了随研究样本函数的性质（如连续性、可微性或空间变化的规律机过程的基本特征）是理解随机过程行为的重要手段随机过程的分类离散时间和连续时间离散状态和连续状态根据参数空间T的性质，随机过程可根据状态空间S的性质，随机过程可分为离散时间和连续时间过程离散分为离散状态和连续状态过程离散时间过程的参数集为可数集（如整数状态过程的状态空间为可数集，例如集），例如随机游走；连续时间过程马尔可夫链；连续状态过程的状态空的参数集为连续集（如实数区间），间为不可数集（通常是实数集的子集例如布朗运动不同类型的时间参数），例如高斯过程状态空间的性质导致过程的数学处理方法也有所不同影响着过程的分析方法和应用范围常见的随机过程类型根据随机过程的特性和应用背景，常见的随机过程类型包括马尔可夫过程、泊松过程、维纳过程（布朗运动）、高斯过程、鞅、平稳过程等每种类型的随机过程都有其特定的数学性质和适用的应用场景，构成了随机过程理论的丰富内容随机过程的统计特性均值函数自相关函数互相关函数随机过程∈的随机过程的自相关函数对于两个随机过程{Xt,t T}{Xt}均值函数定义为定义为和，它们的互相关μXt=RXt,s={Yt}，表示在时刻处，度量了过函数定义为E[Xt]t E[XtXs]RXYt,s=随机变量的数学期望程在不同时刻取值之间，表示两个E[XtYs]均值函数描述了随机过的相关程度自相关函过程在不同时刻取值之程的一阶矩特性，反映数是随机过程二阶矩特间的相关性互相关函了过程的整体趋势或中性的完整描述，对于平数在多变量随机过程分心位置在工程应用中稳过程，自相关函数仅析、信号处理和系统识，均值函数常用于表征依赖于时间差，简化别等领域有着重要应用t-s信号的直流分量或长期为，其中，特别是在研究系统输RXττ=t-s平均水平入输出关系时平稳随机过程严平稳过程1严平稳过程是指其任意有限维联合分布不随时间平移而改变的随机过程数学上，对于任意时间点t1,t2,...,tn和任意时间延迟τ，{Xt1,Xt2,...,Xtn}与{Xt1+τ,Xt2+τ,...,Xtn+τ}具有相同的联合分布严平稳性是一个强条件，实际应用中往往难以验证宽平稳过程2宽平稳过程（或二阶平稳过程）是指均值函数为常数，且自相关函数仅依赖于时间差的随机过程即E[Xt]=μ（常数）且RXt,s=RXt-s宽平稳性是对严平稳性的放宽，更容易在实际中验证和应用，特别是在信号处理和时间序列分析中平稳过程的性质3平稳过程具有许多重要性质其方差恒定；其自相关函数是偶函数，即RXτ=RX-τ；在频域中，其功率谱密度是自相关函数的傅里叶变换，表征了信号能量在频率上的分布这些性质使得平稳过程在工程中具有广泛应用，如通信系统分析和信号处理各态历经性各态历经性是平稳随机过程的一个重要性质，它允许我们用时间平均代替集合平均对于具有各态历经性的随机过程，单个样本函数的长时间平均等于该过程的统计平均（即期望值）这一性质极大地简化了实际系统的分析和测量具体来说，如果随机过程对均值具有各态历经性，则对几乎所有样本函数，有判断随机过程是否{Xt}limT→∞1/T∫[0,T]Xt,ωdt=E[Xt]具有各态历经性的常用准则包括自相关函数的积分条件和混合性条件等各态历经性在信号处理、通信系统和物理系统建模中有着广泛应用例如，在测量信号功率时，我们可以通过长时间测量单个信号样本的平均功率，而不必测量大量样本的集合平均，这大大简化了实验设计和数据处理第二章马尔可夫链马尔可夫性质马尔可夫性质（或无记忆性）是指随机过程的未来状态仅依赖于当前状态，而与过去的状态历史无关数学上表示为PXn+1=j|X0=i0,X1=i1,...,Xn=i=PXn+1=j|Xn=i这一性质极大地简化了随机过程的分析，使得复杂系统的建模变得可行转移概率矩阵对于具有有限或可数无限状态空间的马尔可夫链，转移概率可以用矩阵P表示，其中元素pij表示从状态i转移到状态j的概率转移概率矩阵是马尔可夫链的完整描述，满足条件pij≥0且对每行i，∑j pij=1通过这个矩阵，可以计算出系统在任意时刻的状态分布方程Chapman-KolmogorovChapman-Kolmogorov方程描述了n步转移概率的计算方法pijn+m=∑kpiknpkjm，表示从状态i经过n+m步到达状态j的概率等于所有可能的中间路径概率之和这个方程是马尔可夫链理论的基础，矩阵形式可表示为P^n+m=P^n×P^m，简化了多步转移概率的计算马尔可夫链的分类可约性周期性常返性和非常返性马尔可夫链的可约性关注状态间的可达性状态i的周期di定义为使piin0的所有n的常返状态（或正常返状态）是指系统从该不可约马尔可夫链是指从任何状态出发最大公约数如果di=1，则称状态i为非周状态出发，几乎必然会在有限时间内返回，可以到达任何其他状态的链，即对任意i,j期的对于不可约马尔可夫链，所有状态该状态的状态数学上，如果从状态i出发，存在n使得pijn0可约链则可以分解具有相同的周期周期性影响马尔可夫链，返回i的概率为1，则i是常返的非常返为互不可达的子链，这些子链内部是不可的极限行为周期链的状态概率不会收敛状态则是返回概率小于1的状态常返性决约的不可约性是马尔可夫链收敛到平稳到稳定值，而是在几个值之间周期性变化定了马尔可夫链长期行为的稳定性和可预分布的必要条件测性马尔可夫链的极限行为平稳分布马尔可夫链的平稳分布是指满足的概率向量，其中是转移概率矩阵πP=ππP如果马尔可夫链是不可约、非周期且正常返的，则存在唯一的平稳分布平稳分布表示系统在长时间运行后，各状态出现的概率分布，是理解系统长期行为的关键遍历定理遍历定理指出，对于不可约、非周期的正常返马尔可夫链，无论初始状态如何，系统最终都会收敛到唯一的平稳分布即对任意初始分布，，其中是步后的状态分布，是平稳分布遍历定limn→∞pn=πpn nπ理保证了马尔可夫系统长期行为的稳定性和可预测性收敛速度马尔可夫链收敛到平稳分布的速度由转移概率矩阵的第二大特征值决定收敛速度的研究对于实际应用中的计算效率和模拟精度至关重要通过谱分析和耦合技术等方法，可以估计马尔可夫链达到近似平稳状态所需的时间，这在马尔可夫链蒙特卡洛算法中尤为重要MCMC马尔可夫链的应用随机游走排队系统分枝过程随机游走是最简单的马马尔可夫链可以用来建分枝过程是描述种群生尔可夫链模型之一，描模和分析排队系统，例长的马尔可夫链模型，述了粒子在空间中随机如顾客到达服务窗口、其中每个个体可以产生移动的轨迹一维简单接受服务然后离开的过随机数量的后代随机游走中，粒子在每程通过马尔可夫链模分枝过Galton-Watson一步等概率地向左或向型，可以计算系统的平程是最基本的分枝过程右移动一个单位距离均等待时间、服务利用模型，广泛应用于生物随机游走模型在物理学率和队列长度等性能指学、流行病学和核反应、生物学和金融学中有标这类模型在通信网理论通过马尔可夫链广泛应用，如描述布朗络、交通管理和服务行理论，可以分析种群灭运动、分子扩散和股票业优化中有重要应用绝概率、长期增长率和价格波动稳定分布等重要指标第三章泊松过程无记忆性1满足指数分布间隔时间增量独立性2不同时间区间的计数独立计数性质3事件的发生次数服从泊松分布稀有事件4描述稀有事件随机发生的过程泊松过程是一种重要的计数过程，用于描述随机事件在时间或空间中发生的情况它是具有独立增量的随机过程，且增量服从泊松分布形式上，泊松过程{Nt,t≥0}满足1N0=0；2增量独立；3对任意时间区间t,t+h]，PNt+h-Nt=1=λh+oh，PNt+h-Nt≥2=oh，其中λ是强度参数或到达率泊松过程的一个核心特性是指数分布的无记忆性，即如果事件间隔时间T服从指数分布，则对任意t,s0，有PTt+s|Tt=PTs这一性质使得泊松过程在任意时刻重新开始的特性，极大地简化了其数学处理和应用建模泊松过程的统计特性泊松过程的增量具有独立性，这意味着不同时间区间内事件发生的次数是相互独立的随机变量对于不重叠的时间区间t1,t2]和t3,t4]，随机变量Nt2-Nt1和Nt4-Nt3是独立的这一性质使得泊松过程在数学上易于处理，在实际建模中也具有广泛适用性在泊松过程中，事件间隔时间服从参数为λ的指数分布，其概率密度函数为ft=λe^-λt，t0这意味着平均而言，相邻两个事件之间的时间间隔为1/λ对于给定时间区间0,t]，事件发生次数Nt服从参数为λt的泊松分布，即PNt=k=λt^k·e^-λt/k!，k=0,1,2,...在条件已知Nt=n的情况下，n个事件发生的时刻在区间0,t]内独立均匀分布这一条件分布性质在泊松过程的模拟和应用中非常有用，例如在通信网络中建模数据包到达时间或在可靠性理论中建模设备故障发生时间非齐次泊松过程时变到达率累积强度函数1λt随时间变化Λt=∫λsds2应用建模增量分布43描述变化率的随机事件Nt-Ns~PoissonΛt-Λs非齐次泊松过程是泊松过程的一种扩展，其强度参数λ不再是常数，而是时间的函数λt非齐次泊松过程{Nt,t≥0}满足1N0=0；2增量独立；3对任意时间区间t,t+h]，PNt+h-Nt=1=λth+oh，PNt+h-Nt≥2=oh非齐次泊松过程的累积强度函数定义为Λt=∫[0,t]λsds对于任意时间区间s,t]，增量Nt-Ns服从参数为Λt-Λs的泊松分布通过时变强度函数λt，非齐次泊松过程能够更灵活地建模现实世界中的随机事件，如交通流量、顾客到达、通话请求等具有明显时间变化模式的现象复合泊松过程定义与模型统计特性应用领域复合泊松过程是在普通泊松过程基础上，复合泊松过程的期望为复合泊松过程广泛应用于风险理论、金融St E[St]=λt·E[X]为每个事件赋予一个随机大小或标记的，方差为其矩生成函建模和可靠性分析等领域在保险中，它Var[St]=λt·E[X²]过程形式上，复合泊松过程可表示为数为，其中可以建模公司面临的总索赔金额，其中MStθ=exp{λtMXθ-1}，其中是强度为是的矩生成函数复合泊松过程保表示索赔次数，表示第次索赔的金St=∑[i=1to Nt]Xi NtλMXθX NtXi i的泊松过程，是独立同分布的随机变量留了泊松过程的独立增量性质，但增量不额在金融中，它可以建模资产价格的跳Xi，表示第个事件的大小再服从泊松分布，而是复合泊松分布跃部分，捕捉市场中的突发事件对价格的i影响第四章更新过程定义和基本概念更新过程是描述一系列事件发生时刻的计数过程，其中事件间隔时间是独立同分布的正随机变量形式上，对于间隔时间序列{Xi}，定义Sn=∑[i=1ton]Xi为第n个事件的发生时刻，更新计数过程Nt=max{n:Sn≤t}表示到时刻t为止发生的事件总数更新函数更新函数mt=E[Nt]表示到时刻t为止期望的事件发生次数更新函数满足更新方程mt=Ft+∫[0,t]mt-xdFx，其中Fx是间隔时间的分布函数更新函数的研究是更新理论的核心，它描述了系统长期行为的统计规律更新方程更新方程是分析更新过程的基本工具，它建立了更新函数与间隔时间分布之间的关系更新方程可以通过拉普拉斯变换求解，获得更新函数的解析表达式对于复杂的间隔时间分布，可能需要使用数值方法求解更新方程更新方程的解揭示了更新过程的长期行为和极限性质更新定理1/μσ²/μ³渐近斜率方差系数更新函数mt的渐近斜率为1/μ，其中μ是间隔时在基本更新定理中，渐近方差与间隔时间的方差间的均值σ²相关μ更新周期μ是更新过程的平均周期，代表事件发生的平均间隔时间基本更新定理指出，当t趋于无穷时，更新函数mt近似为t/μ+σ²-μ²/2μ²+o1，其中μ和σ²分别是间隔时间的均值和方差这一定理揭示了更新过程的长期行为趋于线性增长，斜率由间隔时间的均值决定基本更新定理在可靠性理论、维修策略和库存管理中有重要应用关键更新定理（或Smith定理）进一步指出，对于任意有界函数ht，积分∫[0,t]ht-sdMs当t趋于无穷时，近似为1/μ∫[0,∞hsds这一定理为分析更新奖励过程和更复杂的随机系统提供了强大工具，特别是在研究依赖于系统年龄的性能指标时更新奖励过程模型定义期望累积奖励1更新奖励过程结合更新与随机奖励E[Rt]=mt·E[Y]，Y为单次奖励2应用场景长期平均收益率43维修策略、库存控制、保险模型limt→∞Rt/t=E[Y]/E[X]更新奖励过程是更新过程的扩展，它将随机奖励与更新事件相关联具体而言，对于更新过程{Nt}，每次更新事件i发生时，系统获得一个随机奖励Yi这些奖励是独立同分布的随机变量，也独立于更新过程累积奖励过程定义为Rt=∑[i=1to Nt]Yi，表示到时刻t为止获得的总奖励根据更新奖励定理，当t趋于无穷时，Rt/t收敛于E[Y]/E[X]，其中E[Y]是单次奖励的期望，E[X]是更新间隔的期望这一结果表明，长期平均收益率由单次奖励的期望与更新周期的期望之比决定更新奖励定理为评估各种决策策略的长期效益提供了理论基础，在运筹学和经济学中有广泛应用再生过程再生点1过程重新开始的时刻再生周期2相邻再生点之间的时间间隔再生定理3描述长期行为的数学工具再生过程是一类在某些随机时刻（称为再生点）具有重新开始性质的随机过程在再生点处，过程的未来发展与过去历史无关，且统计上与起始时刻的过程相同形式上，存在严格递增的随机时刻序列{Tn}，使得过程在每个Tn之后的行为是原过程的独立复制再生过程与更新过程密切相关再生点的序列{Tn}构成了一个更新过程，再生周期Xn=Tn-Tn-1是独立同分布的随机变量再生定理指出，对于再生过程上的累积泛函，其长期平均值等于单个再生周期内泛函期望值与再生周期期望长度之比这一结果为分析复杂随机系统的长期行为提供了强大工具再生过程在可靠性理论、排队系统、库存管理和随机控制等领域有广泛应用例如，在可靠性中，设备故障-修复过程可以建模为再生过程，其中每次修复完成的时刻是再生点；在库存管理中，每次库存补充到固定水平的时刻可以视为再生点，帮助分析长期平均成本和服务水平第五章布朗运动布朗运动（或维纳过程）是最重要的连续时间随机过程之一，最初用于描述悬浮在流体中的微粒受到分子碰撞而产生的不规则运动标准布朗运动{Wt,t≥0}是满足以下性质的随机过程1W0=0；2具有独立增量；3对任意ts≥0，增量Wt-Ws服从均值为

0、方差为t-s的正态分布；4样本路径几乎必然是连续的布朗运动是高斯过程的一个特例，其任意有限维分布都是多元正态分布它的协方差函数为CovWs,Wt=mins,t，这意味着布朗运动不是平稳过程尽管布朗运动的样本路径几乎处处连续，但它们几乎处处不可微，这反映了微粒受到的碰撞力是完全随机的作为随机过程理论的基石，布朗运动在概率论、统计物理、金融数学、信号处理等众多领域有着深远影响在金融学中，布朗运动是Black-Scholes-Merton期权定价模型的核心；在物理学中，它是描述扩散现象的基础模型；在工程学中，它被用来建模噪声信号和随机扰动布朗运动的统计特性时间期望值方差标准布朗运动{Wt,t≥0}的均值函数为E[Wt]=0，方差函数为Var[Wt]=t这表明随着时间推移，布朗运动的随机性（不确定性）线性增加布朗运动的增量Wt-Ws是独立的，且服从均值为

0、方差为t-s的正态分布这种独立增量性质是布朗运动数学处理简便性的关键尽管布朗运动的样本路径是连续的，但它们具有非常不规则的形态，几乎处处不可微这反映了布朗运动所描述的随机现象在微观尺度上的高度不确定性布朗运动的这种连续但不可微的特性，使其成为构建随机微分方程和随机积分理论的理想基础布朗运动还具有尺度不变性（自相似性），即{Wat,t≥0}与{a^1/2Wt,t≥0}具有相同的有限维分布这一性质表明布朗运动在不同时间尺度上表现出相似的统计特性，这对于建模具有分形特性的自然现象（如金融市场、湍流等）非常有用布朗运动的变形漂移布朗运动几何布朗运动布朗桥漂移布朗运动（或带漂移的维纳过程）几何布朗运动是指随机过程布朗桥是指在时间区间上，起点和[0,T]是在标准布朗运动基础上添加确定性趋，其中终点都固定为的布朗运动形式上，布St=S0expμ-σ²/2t+σWt0势项的过程，表示为，其是标准布朗运动几何布朗运动的对朗桥可以表示为，其Xt=μt+σWt WtBt=Wt-t/T·WT中是漂移参数，是扩散参数，是数增量是独立同分布的正态随机变量，中是标准布朗运动布朗桥的条件分μσWt Wt标准布朗运动漂移布朗运动的均值为因此始终为正值几何布朗运动广泛布特性使其在统计推断、随机模拟和金St，方差为漂移项应用于金融数学，特别是在融建模中有重要应用例如，在构建无E[Xt]=μt Var[Xt]=σ²t Black-使得过程具有确定的长期趋势，常用于模型中用于建模股票价套利利率期限结构模型时，布朗桥可以Scholes-Merton建模具有系统性增长或衰减的随机现象格其关键特性是相对变化率（而非绝用来生成满足特定边界条件的随机路径对变化）服从正态分布布朗运动的应用1金融模型2物理现象3生物学应用布朗运动在金融数学中有广泛应用，尤其是布朗运动最初源于物理学中描述悬浮粒子的布朗运动在生物物理学和系统生物学中有重在资产定价和风险管理方面Black-随机运动，后来成为理解扩散过程的基础模要应用在细胞生物学中，布朗运动用于建Scholes-Merton期权定价模型基于几何布朗型在热力学中，布朗运动与爱因斯坦-斯模分子在细胞内的随机扩散和转运过程在运动建模股票价格，成为现代金融理论的基莫卢霍夫斯基方程相联系，揭示了微观粒子神经科学中，布朗运动可以描述神经元膜电石随机波动率模型将布朗运动扩展应用于运动与宏观扩散现象的关系在流体力学中位的随机波动和离子通道的开关动态在种波动率过程的建模，更好地捕捉市场波动特，布朗运动被用来建模湍流和混合现象；在群动态中，布朗运动用于引入环境随机性，性利率模型如Vasicek模型和Hull-White模材料科学中，用于描述晶格缺陷的扩散和晶建模种群规模的随机波动和灭绝风险，为生型也基于布朗运动构建，用于定价固定收益体生长的随机性态保护和资源管理提供理论依据证券和利率衍生品第六章马尔可夫过程定义和性质马尔可夫过程是具有马尔可夫性质的随机过程，即系统未来状态的条件分布仅依赖于当前状态，而与过去历史无关形式上，对于任意时刻和任意事件，有∈ts APXt A|Xs,Xu,u转移概率函数马尔可夫过程的转移概率函数表示在时刻处于状态的条Ps,x,t,A sx件下，到时刻进入集合的概率对于状态空间为实数的情况，通t A常存在转移概率密度函数，使得ps,x,t,y Ps,x,t,A=∫A ps,x,t,ydy转移概率函数完整描述了马尔可夫过程的动态行为，是分析过程长期性质的基础方程Chapman-Kolmogorov方程是马尔可夫过程的基本方程，描述了转Chapman-Kolmogorov移概率函数的半群性质对于任意s连续时间马尔可夫链强度矩阵可以通过强度矩阵（矩阵或生成元CTMC Q矩阵）完全描述矩阵元素表示从状qiji≠j2定义与特征态到状态的转移率，对角元素表i jqii=-∑j≠i qij示离开状态的总率强度矩阵的性质决定了连续时间马尔可夫链是状态空间离iCTMC的长期行为，如平稳分布和收敛性散但时间参数连续的马尔可夫过程CTMCCTMC的关键特征是在每个状态停留的时间服i1方程Kolmogorov从参数为的指数分布（为离开率）；离qi qi开状态后，下一个状态的选择概率为（i jpij前向方程描述了转移概率函数Kolmogorov转移概率）指数分布的无记忆性确保了过对时间的导数Pt d/dt Pt=PtQ程的马尔可夫性质后向方程则为Kolmogorov d/dt Pt=QPt3这两个微分方程是分析动态行为的CTMC基本工具，求解这些方程可以得到任意时刻的状态分布和转移概率马尔可夫跳跃过程定义和特性应用实例马尔可夫跳跃过程是一类在随机时刻发生状态跳变的连续时间马尔可夫过程过程马尔可夫跳跃过程在可靠性理论、排队论和金融建模中有广泛应用在可靠性理论在各状态的停留时间服从指数分布，且下一状态的选择独立于当前停留时间形式中，它可以建模具有多种故障和修复模式的系统；在排队系统中，它描述了队列长上，马尔可夫跳跃过程可以通过指定初始分布和强度矩阵Q来完全描述，Q的非对角度随时间的变化；在金融中，跳跃扩散模型将马尔可夫跳跃过程与扩散过程相结合元素qij表示从状态i到状态j的跳跃率，捕捉资产价格的连续波动和突发跳变123嵌入链马尔可夫跳跃过程的嵌入链是一个离散时间马尔可夫链，它记录了跳跃过程依次访问的状态序列，忽略在各状态的停留时间如果强度矩阵为Q，则嵌入链的转移概率矩阵P的元素为pij=qij/qi（i≠j），其中qi=-qii是离开状态i的总率通过分析嵌入链，可以研究马尔可夫跳跃过程的循环性质和极限行为扩散过程定义和性质漂移系数和扩散系数扩散过程是一类具有连续样本路径的马扩散过程的漂移系数μx,t和扩散系数尔可夫过程，可以视为布朗运动的推广σx,t完全决定了过程的概率行为漂扩散过程通常由随机微分方程移系数表示过程在小时间间隔内的平均dXt=μXt,tdt+σXt,tdWt定义，变化率，即E[dXt|Xt=x]/dt=μx,t；其中μx,t是漂移系数，反映确定性趋扩散系数的平方表示过程在小时间间隔势；σx,t是扩散系数，控制随机波动内的条件方差变化率，即的强度；Wt是标准布朗运动扩散过Var[dXt|Xt=x]/dt=σ²x,t这两个系程的马尔可夫性质使其在理论分析和实数的选择反映了对实际系统动态特性的际应用中具有重要价值建模考虑方程Fokker-PlanckFokker-Planck方程（或前向Kolmogorov方程）描述了扩散过程概率密度函数px,t的时间演化∂p/∂t=-∂μp/∂x+1/2∂²σ²p/∂x²这个偏微分方程是分析扩散过程统计性质的基本工具，可用于求解任意时刻的状态分布、达到特定状态的首达时间分布，以及其他重要的概率特征第七章鞅理论停时与可选停时定理1随机时刻分析工具鞅变换与局部鞅2扩展鞅概念的变种鞅的收敛性质3几乎必然收敛条件鞅的基本定义4条件期望保持不变的过程鞅是一类特殊的随机过程，其核心特征是条件期望的稳定性离散时间鞅{Mn,n≥0}是适应于滤流{Fn}的随机过程，满足E[|Mn|]∞和E[Mn+1|Fn]=Mn直观上，鞅表示一个公平博弈，玩家的期望财富既不会增加也不会减少条件期望在鞅理论中扮演核心角色对于可测随机变量X和σ-代数F，条件期望E[X|F]是F-可测的随机变量，满足对任意F-可测集合A，∫A E[X|F]dP=∫A XdP条件期望具有线性性、单调性和塔性质等重要特性，是构建鞅理论的基础工具停时是一个不需要预见未来就能确定是否发生的随机时刻形式上，停时τ是一个取值为非负整数或∞的随机变量，使得事件{τ≤n}对于每个n都是Fn-可测的停时的概念在鞅理论中至关重要，允许在随机时刻停止过程，并保持特定的数学性质，为分析随机系统的首达时间问题提供了数学框架鞅的收敛性鞅收敛定理一致可积性应用实例鞅收敛定理是鞅理论中的基本结果，指出在一致可积性是鞅收敛定理中的关键条件，也鞅收敛定理在概率论、统计学和金融数学中特定条件下，鞅序列几乎必然收敛到某是保证鞅极限保持特定积分性质的充分有广泛应用在概率论中，许多重要的极限{Mn}M∞个随机变量具体而言，如果鞅是条件随机变量族是一致可积的，如果定理（如大数定律）可以通过构造适当的鞅M∞{Mn}{Xα}有界的（即），则存在随对任意，存在，使得对任意概率测来证明；在统计学中，似然比过程和后验分L¹sup E[|Mn|]∞ε0δ0ₙ机变量，使得且度的事件，有布序列常构成鞅，为贝叶斯推断提供理论支M∞Mn→M∞a.s.PAδA supαE[|Xα|·IA]ε这一定理为分析随机系统的长一致可积的鞅序列不仅几乎必然收敛，而且持；在金融数学中，风险中性定价理论基于E[|M∞|]∞期行为提供了理论基础在范数下也收敛鞅测度，保证了定价模型的无套利性L¹鞅的分解分解预可料过程应用实例Doob-Meyer分解定理指预可料过程是在每个时刻鞅分解在金融数学、随机Doob-Meyer出，任何次鞅（满足，其值可以通过时刻之控制和信号处理中有重要X ttₜ的过前的信息确定的过程在应用在金融中，资产价E[X|F]≥Xₜ₊₁ₜₜ程）可以唯一地分解为一离散时间情况下，过程格的对数可以分解为鞅部个鞅和一个增量为非是预可料的，如果分（反映不可预测的市场M{A}ₜₙ负的可预测过程的和对于每个，随机变量信息）和预可料部分（反A nₜ，即这是可测的映风险溢价和波动性）；X=M+A AF-ₜₜₜₙₙ₋₁一分解将次鞅的变化分离预可料过程在随机积分理在随机控制中，价值函数为纯随机部分（鞅）和可论中起着重要作用，它们的演化可以通过鞅分解分预测的趋势部分，为分析可以作为积分器，与鞅构析最优策略；在信号处理随机过程的结构提供了强成随机积分，产生新的鞅中，滤波可以视Kalman大工具为基于观测数据的条件期望，形成鞅鞅在金融中的应用资产定价鞅理论是现代金融资产定价的理论基础根据基本定价定理，在无套利市场中，存在风险中性概率测度Q，使得所有资产的贴现价格过程成为Q测度下的鞅这一结果建立了鞅和无套利市场之间的等价关系，为各类金融资产的定价提供了统一框架从鞅的角度看，资产价格是市场对未来现金流的条件期望，反映了市场的信息效率期权定价Black-Scholes-Merton期权定价模型可以通过鞅方法推导在风险中性测度下，期权的价格是其贴现期望收益的条件期望鞅表示定理确保了在完备市场中，任何支付可以通过交易基础资产完全复制这一理论框架不仅适用于标准期权，还可扩展到奇异期权、利率衍生品和信用衍生品，为复杂金融产品的定价和风险管理提供了数学基础风险管理鞅理论在金融风险管理中也有重要应用条件风险价值CVaR、期望损失Expected Shortfall等风险度量可以通过条件期望表示，与鞅理论密切相关鞅的分解和表示定理帮助分析风险暴露的结构，识别风险来源，设计有效的对冲策略在多期风险管理中，鞅性质确保了风险评估的时间一致性，为动态风险控制提供了理论支持第八章平稳过程严平稳过程有限维分布不变∀t₁,...,t,τ,联合分布相同ₙ宽平稳过程一阶二阶矩特性不变E[Xt]=μ,Rt,s=Rt-s二阶平稳过程与宽平稳相同均值常数，自相关函数只依赖时间差各态历经过程时间平均等于统计平均limT→∞1/T∫[0,T]Xtdt=E[Xt]平稳高斯过程宽平稳且为高斯过程由均值和自相关函数完全确定严平稳过程是指其任意有限维联合分布在时间平移下保持不变的随机过程数学上，对于任意时间点t₁,t₂,...,t和任意时间延迟τ，随机向量Xt₁,Xt₂,...,Xt和Xt₁+τ,Xt₂+τ,...,Xt+τ具有相同ₙₙₙ的联合分布严平稳性是一个强条件，在实际中往往难以验证宽平稳过程（或二阶平稳过程）是指均值函数为常数且自相关函数仅依赖于时间差的随机过程即E[Xt]=μ（常数）且CovXt,Xs=Rt-s宽平稳性是对严平稳性的放宽，更容易在实际中验证和应用，特别是在信号处理和时间序列分析中对于高斯过程，宽平稳性等价于严平稳性自相关函数Rτ是描述平稳过程二阶矩特性的核心函数，它度量了过程在时间间隔为τ的两点之间的相关程度自相关函数具有多种重要性质R0=VarXt≥0；Rτ=R-τ（偶函数）；|Rτ|≤R0（Schwarz不等式）自相关函数的性质直接影响平稳过程的光谱特性和样本路径行为谱分析功率谱密度定理周期图方法Wiener-Khinchin功率谱密度是平稳随机过程在频域定理建立了平稳随机过周期图方法是从观测数据估计随机过程PSD Wiener-Khinchin中的表征，定义为自相关函数的傅里叶程自相关函数和功率谱密度之功率谱密度的经典方法基本周期图定RτSω变换间的对偶关系是的傅里叶变义为，它Sω=1/2π∫[-∞,∞]Rτe^-iωτdτSωRτIω=|∑[t=1to N]Xte^-iωt|²/N功率谱密度描述了随机过程能量在不换，而是的逆傅里叶变换这是功率谱密度的不一致估计为提高估RτSω同频率上的分布，是信号处理和系统分一定理在信号处理中具有深远意义，它计精度，通常采用改进方法如方Bartlett析的重要工具具有非负实值性质表明时域中的相关结构和频域中的能量法（数据分段平均）、方法（重叠PSD Welch，且，表分布是等价的两种描述，可以通过傅里分段和窗函数）和多锥体方法（正交锥∫[-∞,∞]Sωdω=R0=VarXt示总功率等于过程的方差叶变换相互转换体函数展开）等线性系统的响应系统函数输入输出关系滤波器设计-线性时不变系统可以通过当平稳随机过程Xt作为滤波器设计是信号处理中其冲激响应ht或频率响应线性时不变系统的输入时的核心问题，目标是分离函数Hω完全表征对于，输出Yt也是平稳随机或提取信号中的特定频率因果系统，ht=0t0，过程输入输出的自相关成分基于随机过程理论且Hω是ht的傅里叶变函数关系为Rᵧτ=∫[-∞,∞]∫[-，可以设计各种最优滤波换Hω=∫[0,∞]hte^-∞,∞]huhvRₓτ+u-器，如Wiener滤波器（最iωtdt系统函数描述了系vdudv，简化为Rᵧ小化均方误差）和卡尔曼统对不同频率正弦输入的τ=h*h*Rₓτ，其中*表滤波器（递归最优估计）响应特性，是系统分析和示卷积在频域中，这一滤波器设计需要平衡频设计的基本工具关系更为简洁Sᵧ率选择性、时域响应特性ω=|Hω|²Sₓω，即输出和计算复杂性，通常使用功率谱是输入功率谱与系窗函数法、频率采样法或统函数模方的乘积最优逼近方法模型ARMA自回归过程移动平均过程混合模型自回归AR过程是指当前值由过去值的线性组合加移动平均MA过程是指当前值由当前和过去的随自回归移动平均ARMA模型结合了AR和MA模型随机扰动构成的离散时间随机过程p阶AR模型表机扰动的线性组合构成的离散时间随机过程q阶的特点，可以更灵活、更高效地建模各种时间序列示为MA模型表示为ARMAp,q模型表示为X=φX+φX+...+φX+εX=ε+θε+θε+...+θₑεₑ，X=φX+...+φX+ε+θεₜ₁ₜ₋₁₂ₜ₋₂ₚₜ₋ₚₜₜ₁ₜ₋₁₂ₜ₋₂ₜ₋ₜ₁ₜ₋₁ₚₜ₋ₚₜ₁ₜ₋，其中ε是白噪声过程AR过程具有长记忆其中ε是白噪声过程与AR过程不同，MA过程₁+...+θₑεₑARMA模型的参数估计通常使用ₜₜₜₜ₋特性，即当前值与远距离过去值可能仍有相关性具有短记忆特性，当时间间隔超过q时，自相关最大似然法或最小二乘法，模型选择则基于AIC或AR模型特别适合建模具有明显自相关结构的时间函数变为零MA模型适合建模具有短期相关性的BIC等信息准则ARMA模型及其扩展（如ARIMA序列，如经济指标、气象数据等随机波动，如金融资产收益率等、SARIMA、ARMAX等）在时间序列分析和预测中有广泛应用第九章点过程点过程是描述随机事件在时间或空间中分布的数学模型，可以视为随机计数测度的集合在时间上，点过程{NA,A⊂T}记录了事件在不同时间区间A中发生的次数；在空间中，点过程描述了点状物体（如树木、疾病案例）的随机分布模式点过程理论为分析随机点模式提供了系统框架，在生态学、流行病学、通信网络等领域有广泛应用计数测度是点过程的基本数学表示给定样本空间Ω，对于每个样本点ω∈Ω，点过程定义了一个计数测度N·,ω，满足1NA,ω是非负整数；2对于有限区域A，NA,ω∞；3对于不相交集合A₁,A₂,...，N∪ᵢAᵢ,ω=∑ᵢNAᵢ,ω计数测度的性质决定了点过程的基本特性，如简单性（每个位置最多一个点）和局部有限性（有界区域内点数有限）Campbell定理是点过程理论的基本结果，它为计算点过程函数的期望提供了方法具体而言，对于任意非负可测函数hx，E[∑ₓhx]=∫hxλxdx，其中λx是点过程的强度函数Campbell定理在点过程的矩计算、功能统计和模型拟合中有重要应用，是理解点过程统计特性的关键工具泊松点过程1定义和性质2空间泊松过程3标记泊松过程泊松点过程是最基本、最重要的点过程空间泊松过程是泊松点过程在多维空间标记泊松过程是为泊松点过程的每个点模型，其特征是完全随机性（空间独立（通常是二维或三维）的扩展其强度附加随机标记的扩展模型标记可以表性）形式上，泊松点过程满足1对函数λx可以是空间位置x的函数，表示示点的各种属性，如大小、类型、强度于任意有界集合A，点数NA服从参数空间非均质性空间泊松过程具有多种等若标记分布与点位置无关且相互独为ΛA=∫ₐλxdx的泊松分布；2对于不重要性质，如点的条件分布是独立的立，则称为独立标记过程；若标记依赖相交集合A₁,A₂,...,A，随机变量均匀分布；Slivnyak-Mecke定理指出，于位置或相互依赖，则模型更为复杂ₙNA₁,NA₂,...,NA相互独立这给定一点的条件分布等于原过程与该点标记泊松过程广泛应用于资源分配、网ₙ里λx是强度函数，表示单位面积/体积的独立叠加；Palm分布简化为λx与原络建模和空间统计等领域，能够捕捉现内的平均点数过程的乘积实系统的多维特性过程Cox定义和性质1Cox过程（或双重随机泊松过程）是泊松点过程的自然扩展，其强度函数本身是一个随机场Λx条件于强度场的实现λx，Cox过程是具有强度函数λx的泊松点过程这种双层随机性使Cox过程能够建模比泊松过程更复杂的聚集模式，特别适合描述自然现象中由环境异质性引起的聚集分布与泊松过程的关系2Cox过程是泊松过程的广义化，当强度函数为确定性函数时，Cox过程简化为泊松过程与泊松过程相比，Cox过程放宽了完全随机性假设，引入了随机强度场来建模点之间的依赖关系这种依赖关系表现为Cox过程通常表现出比泊松过程更强的聚集性；Cox过程的二阶矩特性（如K函数、对相关函数）反映了点之间的吸引作用应用实例3Cox过程在生态学、流行病学和地统计学等领域有广泛应用在植物生态学中，它可以建模植物个体的空间分布，其中随机强度场表示环境因素（如土壤肥力、水分）的空间变异性；在流行病学中，它可以描述疾病案例的分布，随机强度反映风险因素的空间异质性；在地质勘探中，它可以建模矿物分布，考虑到地质构造的随机性更新点过程定义和性质与更新过程的关系概率Palm更新点过程是点与点之间的时间间隔为独立更新点过程与更新计数过程是同一随机现象概率是点过程理论中的基本概念，表Palm同分布随机变量的点过程在一维时间轴上的两种描述方式更新计数过程记录了示在一点处进行条件观测得到的过程分布Nt，更新点过程可以通过指定初始到时刻为止发生的事件总数，而更新点过对于更新点过程，概率有特别简洁的{Nt,t≥0}t Palm点分布和间隔时间分布完全描述更新点程则记录了第个事件发生的时刻两描述在一个点处观测到的剩余过程是一个F{T}nₙ过程是一类重要的非泊松点过程，其特点是者通过关系相互联系更具有过渡时间分布的更新点过程，其中过渡{Nt≥n}{T≤t}⟺ₙ相邻点之间存在依赖关系，但这种依赖仅限新理论的结果，如更新方程、更新定理和更时间与间隔时间的关系由剩余寿命分布确定于相邻点，使得过程仍具有较好的数学可处新奖励定理，可以直接应用于更新点过程的概率理论为分析点过程的局部行为Palm理性分析和极限特性提供了有力工具第十章随机微分方程随机积分随机微分方程1Itô积分是随机微分方程的基础描述随机动力系统的数学模型2应用模型解的性质43金融、物理、工程中的案例存在性、唯一性和路径行为随机微分方程SDE是描述受随机扰动影响的动力系统的数学模型一般形式为dXt=bXt,tdt+σXt,tdWt，其中bx,t是漂移系数，表示系统的确定性趋势；σx,t是扩散系数，控制随机扰动的强度；Wt是维纳过程（布朗运动），表示纯随机扰动SDE广泛应用于金融、物理、生物等多个领域Itô积分是为了给随机微分方程提供严格数学基础而发展的随机积分理论对于适当的随机过程Yt，Itô积分∫[0,t]YsdWs定义为正向适应过程Yt关于维纳过程Wt的积分Itô积分具有零均值、Itô等距性和鞅性质等重要特性，这些性质使其成为构建随机微分方程理论的理想工具Itô公式是随机微分学中的基本定理，是确定性微积分中链式法则的推广对于二次可微函数fx,t和Itô过程Xt，Itô公式给出了复合函数fXt,t的微分df=∂f/∂t+b∂f/∂x+1/2σ²∂²f/∂x²dt+σ∂f/∂xdW与经典微积分不同，Itô公式包含二阶导数项，这反映了布朗运动的二次变差性质随机微分方程的解存在性和唯一性数值解法随机微分方程解的存在性和唯一性是基础大多数SDE没有解析解，需要通过数值方理论问题在Lipschitz条件（漂移和扩散法求解最基本的方法是Euler-Maruyama系数满足Lipschitz连续性和线性增长条件方法）下，SDE存在唯一的强解具体而言，X=X+bX,tΔt+σX,tΔWₙ₊₁ₙₙₙₙₙ若对任意x,y和t，|bx,t-by,t|+|σx,t-，其中ΔW是布朗增量更高阶方法包ₙₙσy,t|≤K|x-y|且|bx,t|²+|σx,t|²≤K²1+|x|²括Milstein方法（引入Itô公式修正项）和，则SDE dXt=bXt,tdt+σXt,tdWt Runge-Kutta方法（推广确定性Runge-存在唯一的强解Kutta方法）数值解法的收敛性分为强收敛（路径逼近）和弱收敛（分布逼近），取决于具体应用需求应用实例SDE在多个领域有广泛应用在金融中，几何布朗运动dSt=μStdt+σStdWt用于建模股票价格；Vasicek模型drt=κθ-rtdt+σdWt用于建模利率动态在物理学中，Langevin方程描述了布朗粒子的速度演化；在神经科学中，带跳跃的扩散过程建模神经元的膜电位这些应用展示了SDE在描述现实世界随机动态系统方面的强大能力扩散过程回顾生成元扩散过程的生成元（或无穷小生成元）是描述过程动态行为的微分算子对于由SDEdXt=bXtdt+σXtdWt定义的扩散过程，其生成元为L=bx∂/∂x+1/2σ²x∂²/∂x²生成元在马尔可夫过程理论中扮演核心角色，它决定了过程的转移概率函数的演化，是分析过程长期行为的基本工具方程KolmogorovKolmogorov方程是描述扩散过程转移概率密度函数演化的偏微分方程前向方程（或Fokker-Planck方程）描述了概率密度px,t随时间的演化∂p/∂t=-∂bp/∂x+1/2∂²σ²p/∂x²；后向方程描述了函数ux,t=E[fXT|Xt=x]的演化∂u/∂t+bu/∂x+1/2σ²∂²u/∂x²=0这两个方程是分析扩散过程统计性质的基本工具公式Feynman-KacFeynman-Kac公式建立了偏微分方程与条件期望之间的联系具体而言，考虑带势能的微分方程∂u/∂t+Lu-Vxu=0，其中L是扩散生成元，Vx是非负势函数Feynman-Kac公式指出，该方程的解可表示为ux,t=E[fXTexp-∫[t,T]VXsds|Xt=x]这一公式为求解扩散过程相关的偏微分方程提供了概率路径，在数学物理和金融数学中有重要应用随机控制最优停时问题方程应用实例Hamilton-Jacobi-Bellman最优停时问题研究何时停止随机过程以最大化Hamilton-Jacobi-Bellman（HJB）方程是随机随机控制理论在多个领域有重要应用在金融期望收益（或最小化期望成本）形式上，对最优控制问题的基本方程对于控制问题最中，投资组合优化问题可以建模为随机控制问于随机过程{Xt}和收益函数gx,t，目标是找到大化E[∫[0,T]fXt,αt,tdt+gXT,T]，其中αt题，目标是通过动态调整资产配置最大化效用最优停时τ*，使期望收益E[gXτ,τ]最大化是控制过程，Xt满足SDE；在能源管理中，考虑随机需求和价格的电力最优停时问题可通过自由边界问题、动态规划dXt=bXt,αt,tdt+σXt,αt,tdWt，HJB调度是典型的随机控制问题；在机器人和自动和偏微分方程等方法求解该问题在金融（如方程为∂V/∂t+maxα[fx,α,t+bx,α,t∂V/∂x+驾驶中，随机控制用于处理传感器噪声和环境美式期权定价）、决策理论和资源管理中有广1/2σ²x,α,t∂²V/∂x²]=0，边界条件不确定性，实现稳健的轨迹规划和避障控制泛应用Vx,T=gx,T第十一章排队论基本概念记号公式Kendall Little排队论研究具有随机到达Kendall记号是描述排队系Little公式是排队论中的基和服务时间的排队系统统的标准符号系统，采用本定律，它建立了系统中基本排队系统由输入过程A/B/C/K/N/D格式A表示平均顾客数L、平均到达率（顾客到达）、排队规则到达过程分布（如M表示λ和平均逗留时间W之间的（如先到先服务FCFS）、泊松到达，D表示确定性关系L=λW这一简洁而服务机制（服务员数量和，G表示一般分布）；B表强大的公式适用于广泛的分布）和队列容量组成示服务时间分布；C是服排队系统，无需假设特定排队系统的性能指标包括务员数量；K是系统容量（到达或服务分布Little公平均等待时间、平均队长默认为无限）；N是顾客式的推广形式还适用于排、服务器利用率等排队源总数（默认为无限）；队系统的各个子部分，如论结合概率论和随机过程D是服务规则（默认为排队区和服务区，为系统理论，为分析和优化服务FCFS）例如，M/M/1表性能分析提供了统一框架系统提供了数学框架示泊松到达、指数服务时间、单服务员的基本排队系统队列M/M/1利用率ρ平均队长平均等待时间M/M/1队列是最基本的排队模型，描述了泊松到达（参数λ）、指数服务时间（参数μ）和单服务员的排队系统该模型可以通过连续时间马尔可夫链分析，其状态表示系统中的顾客数量在稳定条件ρ=λ/μ1下，M/M/1队列存在唯一的平稳分布，且系统状态n的概率为π=1-ρρⁿ，n=0,1,2,...ₙM/M/1队列的主要性能指标包括平均系统顾客数L=ρ/1-ρ；平均排队顾客数Lq=ρ²/1-ρ；平均系统逗留时间W=1/μ-λ；平均等待时间Wq=ρ/μ-λ这些指标反映了系统负载对性能的影响当利用率ρ接近1时，平均队长和等待时间迅速增加，系统变得拥塞尽管M/M/1模型假设简单，但它提供了对排队现象的基本洞察，是分析更复杂排队系统的起点M/M/1模型在通信网络、计算机系统、交通流量和服务行业等多个领域有应用，帮助分析系统容量和资源分配，平衡服务质量和成本效益队列M/M/c服务员数量c平均等待时间M/M/c队列是M/M/1的扩展，描述了具有c个并行服务员的排队系统顾客仍然按泊松过程（参数λ）到达，每个服务员的服务时间独立同分布，服从参数为μ的指数分布在稳定条件ρ=λ/cμ1下，系统存在唯一的平稳分布与M/M/1不同，M/M/c的状态概率π有不同的表达式，取决于nₙM/M/c队列的关键性能指标通过Erlang C公式计算等待概率（顾客需要排队的概率）P等待=Pn≥c=Ecc,ρ，其中Ec是Erlang C函数平均排队顾客数Lq=P等待·ρ/1-ρ；平均等待时间Wq=Lq/λ；平均系统顾客数L=Lq+λ/μ；平均系统逗留时间W=Wq+1/μM/M/c模型在服务系统设计和资源规划中有重要应用增加服务员数量c可以显著减少等待时间，但成本也相应增加该模型帮助决策者找到平衡服务质量和运营成本的最佳服务员数量M/M/c模型广泛应用于呼叫中心、医疗设施、超市收银台等需要多服务员配置的场景队列M/G/1定义和性质M/G/1队列描述了泊松到达（参数λ）、一般服务时间分布G和单服务员的排队系统与M/M/1不同，M/G/1允许任意服务时间分布，增加了模型的灵活性和适用性M/G/1队列的分析通常基于嵌入马尔可夫链方法，观察顾客离开时系统的状态在稳定条件ρ=λE[S]1下（其中E[S]是平均服务时间），系统存在唯一的平稳分布Pollaczek-Khinchin公式Pollaczek-Khinchin公式是M/G/1队列的基本结果，它给出了排队等待时间的拉普拉斯变换和矩表达式特别地，平均排队顾客数为Lq=λ²E[S²]/21-ρ，平均等待时间为Wq=λE[S²]/21-ρ，其中E[S²]是服务时间的二阶矩这些公式显示，服务时间的变异性（通过E[S²]体现）直接影响排队性能服务时间波动越大，系统性能越差忙期分析忙期是指系统连续忙碌的时间段，从一个顾客到达空系统开始，到系统再次变空为止M/G/1队列的忙期分布可以通过分枝过程理论分析忙期的平均长度为E[B]=E[S]/1-ρ，这与M/M/1的结果相同忙期分析对于理解系统的工作负载模式、规划维护时间和评估服务质量有重要意义第十二章分枝过程定义和基本概念1分枝过程是建模种群增长的随机过程，其中每个个体独立产生随机数量的后代生成函数方法2概率生成函数是分析分枝过程的核心数学工具灭绝概率3种群最终灭绝的概率是分枝过程研究的关键问题分枝过程是描述种群增长的随机模型，最初用于研究家族姓氏的延续问题在基本分枝过程中，每个个体在其生命周期结束时，独立产生随机数量的后代，后代数量遵循相同的概率分布p₍=P一个个体产生k个后代，k=0,1,2,…分枝过程关注种群规模的演化，特别是种群最终灭绝或无限增长的概率ₖ₎概率生成函数PGF是分析分枝过程的核心工具后代分布的PGF定义为fs=∑^∞p s^k第n代种群规模Z的PGF可以通过复合生成函数表示ₖ₌₀₍ₖ₎ₙf s=ff s，初始条件f₀s=s通过生成函数，可以计算各世代的矩和概率分布，例如E[Z]=f1^n和Var[Z]，揭示种群增长的统计规律ₙₙ₋₁ₙₙ灭绝概率是分枝过程研究的核心问题令q表示种群最终灭绝的概率（从单个祖先开始），则q是方程s=fs在[0,1]区间内的最小解根据平均后代数μ=f1的取值，分枝过程可分为亚临界μ

1、临界μ=1和超临界μ1三种情况在亚临界和临界情况下，q=1，即种群几乎必然灭绝；在超临界情况下，0过程Galton-Watsonμ平均后代数决定过程类型的关键参数σ²后代方差影响种群波动性的重要因素q灭绝概率种群最终消亡的概率值n世代数过程演化的时间维度Galton-Watson过程是最基本的分枝过程模型，由Francis Galton和Henry WilliamWatson于1874年提出，用于研究贵族姓氏的灭绝问题在该模型中，每个个体独立产生随机数量的后代，后代数量服从相同的离散概率分布{p}过程从一个个体Z₀=1开始，后续世代的规模由递归关系Z=∑ᵢ₌₁^Z Xᵢ定义，其中Xᵢ表示第n代第i个个体的后代数ₖₙ₊₁ₙ量临界参数μ=E[X]（平均后代数）决定了Galton-Watson过程的长期行为当μ1时（亚临界），种群几乎必然在有限代内灭绝，且期望灭绝时间有限；当μ=1时（临界），种群仍然几乎必然灭绝，但期望灭绝时间无穷；当μ1时（超临界），种群有正概率无限增长，这个概率为1-q，其中q是方程s=fs在[0,1]内的最小解Galton-Watson过程的极限定理描述了种群规模在适当归一化后的渐近行为在亚临界情况下，条件于非灭绝，归一化种群规模收敛到指数分布；在临界情况下，收敛到特定形式的连续分布；在超临界情况下，Z/μⁿ几乎必然收敛到一个非负随机变量W，这个极限反映了种群的随机增长率这些极限定理揭示了分枝过程内在的随机结构ₙ连续时间分枝过程生命周期分布后代分布1个体存活时间的概率模型决定繁殖模式的概率分布2极限行为增长方程43长期种群动态的渐近性质描述种群演化的数学方程连续时间分枝过程是Galton-Watson过程的自然扩展，允许个体在连续时间轴上随机繁殖在基本模型中，每个个体的生命周期长度服从参数为λ的指数分布，生命结束时产生随机数量的后代，后代数量服从离散分布{p}这种模型更符合实际生物种群的繁殖模式，特别适合描述短生命周期的微生物或细胞种群ₖKolmogorov-Dmitriev方程是连续时间分枝过程的基本方程，描述了种群规模概率生成函数Fs,t的演化∂Fs,t/∂t=-λFs,t+λfFs,t，其中fs是后代分布的生成函数该方程可以通过特征方法求解，得到Fs,t的显式表达式，进而计算各时刻的种群分布、矩和灭绝概率连续时间分枝过程在生物学、流行病学和核物理等领域有重要应用在细胞生物学中，它可以建模细胞分裂和凋亡过程；在流行病学中，用于描述感染病例的增长；在核反应理论中，用于分析中子链式反应通过添加额外因素如年龄依赖、空间结构和类型依赖，可以构建更复杂的分枝过程模型，捕捉各种现实系统的动态特性年龄依赖分枝过程定义和性质积分方程应用实例年龄依赖分枝过程是连续时间分枝过程的扩展年龄依赖分枝过程通常通过积分方程分析令年龄依赖分枝过程在多个领域有重要应用在，其中个体的繁殖特性依赖于其年龄在该模mt表示t时刻的期望种群规模，则mt满足更人口统计学中，它可以建模具有年龄结构的人型中，每个个体的生命长度服从一般分布Gt新积分方程mt=μt+∫₀ᵗmt-udMu，其中口增长，考虑不同年龄段的生育率和死亡率；（不限于指数分布），生命结束时产生后代的μt是初始个体在不生育的情况下t时刻存活的在细胞生物学中，用于描述细胞分裂能力随年分布可能也依赖于个体的年龄这种模型更符概率，Mt是平均生育函数，表示一个个体在龄变化的现象；在流行病学中，可以考虑感染合现实生物种群的生命周期特征，能够捕捉繁时间区间[0,t]内期望产生的后代数通过这个者的感染龄对传播率的影响，提高疾病传播模殖能力随年龄变化的模式方程，可以分析种群的平均增长率和长期行为型的准确性；在保险数学中，用于建模具有年龄依赖风险的保险组合第十三章随机场定义和基本概念平稳随机场随机场是随机过程的高维推广，定义在平稳随机场是空间上的统计性质不随位多维参数空间上的随机变量族形式上置变化的随机场严格平稳场要求任意，随机场{Xs,s∈S}是定义在参数空间S有限维分布在空间平移下不变；二阶平（通常是Rᵈ的子集）上的随机变量族稳（或弱平稳）场则要求均值为常数，随机场在每个位置s取值Xs，这些值共协方差函数仅依赖于位置差向量数学同构成了场的一个实现或样本函数上，弱平稳场的协方差函数可表示为随机场广泛应用于空间统计、图像处理Ch=CovXs,Xs+h，仅依赖于空间、地质学和物理学等领域，为建模空间位移h平稳性是简化随机场分析的重要相关现象提供了数学框架性质，使得可以从单一实现中估计统计特性各向同性随机场各向同性随机场是指统计性质在所有方向上相同的随机场对于弱平稳场，各向同性意味着协方差函数Ch仅依赖于位移向量h的长度|h|，而不依赖于方向各向同性是空间统计中的常见假设，可以大大简化模型并减少需要估计的参数数量常用的各向同性协方差模型包括指数型、高斯型和Matérn族，它们在地统计学和空间插值中有广泛应用高斯随机场定义和性质条件分布高斯随机场（或正态随机场）是任意有限维边缘分布都为多元正态分布的随机场形式上高斯随机场的一个重要性质是其条件分布仍然是高斯的给定场在位置集合{s₁,s₂,...,s}ₙ，对于参数空间S中的任意有限点集{s₁,s₂,...,s}，随机向量Xs₁,Xs₂,...,Xs服处的观测值{Xs₁=x₁,Xs₂=x₂,...,Xs=x}，场在任意其他位置s₀的条件分布ₙₙₙₙ从多元正态分布高斯随机场的统计特性完全由其均值函数μs=E[Xs]和协方差函数Xs₀|{Xs₁=x₁,...,Xs=x}是正态分布，其均值和方差有确切公式这一性质是克里ₙₙCs,t=CovXs,Xt确定，这大大简化了其数学处理和统计推断金插值法的理论基础，使得可以基于有限观测进行最优空间预测123协方差函数协方差函数是高斯随机场的核心，它描述了场在不同位置之间的相关结构有效协方差函数必须是正定的，常用模型包括指数型Ch=σ²exp-|h|/θ、高斯型Ch=σ²exp-|h|²/θ²和Matérn族协方差函数的参数（如方差σ²、相关范围θ、光滑度参数ν）决定了随机场的空间变异特性，如平滑度、局部相关性和长程依赖性马尔可夫随机场条件独立性1局部马尔可夫性质定义场的条件依赖结构联合概率分布2由团能量函数决定的吉布斯分布邻域系统3定义场中每个位置的相邻关系图结构表示4通过无向图描述变量间的依赖关系马尔可夫随机场（MRF）是一类具有局部依赖结构的随机场，其特点是变量的条件分布仅依赖于其邻域的变量MRF可以通过无向图G=V,E表示，其中顶点集V对应于随机变量，边集E表示变量之间的直接依赖关系在MRF中，给定其邻居的值，一个变量条件独立于所有其他变量，这一性质极大地简化了高维联合分布的表示和计算Hammersley-Clifford定理是MRF理论的基本结果，它建立了MRF和吉布斯随机场之间的等价关系定理指出，如果严格正概率分布P满足局部马尔可夫性质，则P可以表示为吉布斯分布的形式Px=1/Zexp-∑ᵏC∈C Vᵏxᵏ，其中C是图G的团集合，Vᵏ是团C的能量函数，Z是归一化常数这一定理为构建复杂MRF模型提供了理论基础吉布斯分布是MRF的能量表示形式，它通过定义在图团上的能量函数来表示变量间的交互能量函数捕捉了变量间的相容性能量低的配置具有高概率，能量高的配置具有低概率吉布斯分布的关键优势是它可以通过局部能量函数表示复杂的全局依赖结构，这使得MRF在图像处理、计算机视觉和统计物理等领域有广泛应用随机场的应用图像处理空间统计地质建模随机场在图像处理和计算机视觉中有广泛应用随机场是空间统计的核心工具，用于分析具有空随机场在地质建模和石油工程中发挥着关键作用马尔可夫随机场MRF常用于图像分割、纹理分间相关性的数据克里金插值法基于高斯随机场高斯随机场和多点统计模型用于生成反映地质析和图像复原等任务在图像分割中，MRF将像模型，是地统计学中的最优线性无偏估计方法，不确定性的多个可能地层模型；指示克里金和序素标签建模为随机变量，通过能量最小化寻找最广泛用于矿产评估、土壤科学和环境监测空间贯高斯模拟用于建模孔隙度、渗透率等物性参数优分割；在图像复原中，MRF可以建模像素间的点过程模型空间点模式，如泊松过程和Cox过程的空间分布；对象基随机模型结合随机形态和空空间相关性，结合观测模型去除噪声或填补缺失，适用于研究生态分布、疾病散布和城市发展间分布，模拟复杂地质体如河道、断层等这些区域条件随机场CRF进一步将标签与观测特空间自回归模型和条件自回归模型则用于建模离随机模型支持资源评估、储量估算和风险分析，征联系起来，提高了分类和分割的准确性散空间数据，如社会经济指标的空间分布为勘探决策提供科学依据第十四章随机过程的极限定理大数定律中心极限定理泛函中心极限定理大数定律是概率论的基本结果，描述了中心极限定理研究适当归一化后的随机泛函中心极限定理将中心极限定理推广大量随机变量平均值的渐近行为对于和的极限分布对于独立同分布的随机到函数空间，研究随机过程整体路径的随机过程，大数定律研究时间平均的极变量序列，当时，渐近行为最著名的结果是定理{Xi}n→∞∑[i=1to Donsker限性质例如，对于平稳遍历过程收敛于标准正态分布对对于均值为、方差为的独立同分布{Xt}n]Xi-nμ/σ√n01，有几乎必然收敛到于随机过程，中心极限定理有多种形式随机变量序列，定义1/T∫[0,T]Xtdt{Xi}当对于马尔可夫链，大数例如，对于满足特定混合条件的平稳E[X0]T→∞Snt=1/√n∑[i=1to[nt]]Xi+nt-定律表现为遍历定理对于不可约非周过程，部分和渐近，当时，过程1/√n∑[i=1to n]Xi-μ[nt]X[nt]+1/√n n→∞{Snt,期的正常返马尔可夫链，服从正态分布马尔可夫链的中心极限在适当度量下弱收敛到标准布朗运1/n∑[i=1to0≤t≤1}几乎必然收敛到，其中是定理则研究函数偏离其期动这一定理为构建随机微积分提供了n]fXi∑πjfjπ∑[i=1to n]fXi平稳分布望的渐近行为理论基础大偏差理论基本概念大偏差理论研究随机变量偏离其期望值的罕见事件的概率渐近行为与中心极限定理关注标准化随机和的极限分布不同，大偏差理论考察事件{Sn/n∈A}的概率，其中A不包含均值μ大偏差原理指出，在适当条件下，这类偏差事件的概率按指数率衰减PSn/n∈A≈exp-nIA，其中I·是速率函数，衡量偏差的代价定理CramérCramér定理是一维大偏差理论的基本结果，它描述了独立同分布随机变量和的经验均值的大偏差行为设{Xi}是均值为μ的独立同分布随机变量序列，矩生成函数Mθ=E[expθX₁]在某区间内有限Cramér定理指出，对任意闭集F不包含μ，limsupn→∞1/nlogPSn/n∈F≤-inf{Ix:x∈F}，其中Ix=sup{θx-logMθ}是对偶的速率函数应用实例大偏差理论在随机过程中有广泛应用在马尔可夫链中，大偏差原理描述了经验分布偏离平稳分布的概率；在排队论中，用于分析缓冲区溢出等罕见事件的概率；在风险理论中，大偏差估计了保险公司破产概率的渐近行为；在统计力学中，大偏差原理解释了物理系统的相变现象大偏差方法还为蒙特卡洛模拟中的稀有事件采样提供了理论指导鞍点近似鞍点近似是评估复杂积分和概率渐近行为的强大数学工具该方法源于复变函数论中的鞍点方法，后扩展到概率论和统计学鞍点近似的核心思想是将积分主要贡献定位在被积函数取极值处（鞍点），然后对被积函数进行局部近似，从而获得积分的渐近表达式在多维情况下，贡献来自被积函数梯度为零且Hessian矩阵为负定的点Laplace方法是鞍点近似的特例，用于估计形如∫gxexp-nhxdx的积分，其中n是大参数当n→∞时，积分的主要贡献来自hx的全局最小点若hx在x₀处取唯一最小值，且hx₀0，则Laplace近似给出∫gxexp-nhxdx≈gx₀exp-nhx₀·√2π/n·hx₀这一近似广泛应用于统计物理、贝叶斯统计和渐近分析等领域在随机过程理论中，鞍点近似有多种应用它用于估计大偏差概率，例如随机游走超过特定阈值的概率；分析排队系统中缓冲区溢出的渐近概率；计算鞅测度下金融衍生品的定价；近似评估随机微分方程解的概率密度函数鞍点方法的优势在于能提供比一阶近似更精确的渐近表达式，捕捉分布的尾部行为，这在风险分析和稀有事件模拟中尤为重要课程总结理论基础核心模型1从概率基础到高级随机过程马尔可夫链、泊松过程、布朗运动等2实际应用数学工具43金融、工程、生物、通信等领域生成函数、变换方法、极限定理本课程系统介绍了随机过程的基本理论和核心模型我们从概率论基础开始，逐步深入到各类重要随机过程的性质和应用马尔可夫链、泊松过程、布朗运动、分枝过程等模型不仅具有丰富的数学结构，也在现实世界中有着广泛应用平稳过程、点过程、随机场等理论拓展了随机过程的维度和适用范围，为复杂系统建模提供了多样化工具随机过程理论的应用前景十分广阔在金融领域，随机微分方程和鞅理论为资产定价和风险管理提供了理论框架；在通信工程中，排队论和随机服务模型支持网络性能分析与优化；在生物学中，分枝过程和随机动力系统帮助理解种群演化和生物系统动态；在物理学和化学中，随机过程描述微观粒子运动和化学反应过程随着大数据和计算能力的发展，随机过程在机器学习、人工智能和复杂系统建模中的应用将更加深入进一步学习方向包括深入研究特定类型随机过程的高级理论；探索随机过程在特定应用领域的专门方法；学习随机过程的数值计算和模拟技术；研究随机过程与相关数学分支如微分几何、泛函分析的交叉领域建议阅读专业期刊如《随机过程及其应用》、《概率论与相关领域》，参加相关学术会议，并尝试将随机过程理论应用于实际问题的建模与分析。