还剩58页未读,继续阅读
本资源只提供10页预览,全部文档请下载后查看!喜欢就下载吧,查找使用更方便
文本内容:
基础概率概念欢迎大家学习基础概率概念课程!概率论是数学的一个重要分支,它研究随机现象的规律性在我们的日常生活和各个专业领域中,概率无处不在——从天气预报到保险定价,从质量控制到人工智能本课程将带领大家系统地了解概率的基本概念、重要定理以及实际应用,希望通过这门课程的学习,你能掌握分析随机现象的基本工具和方法,建立概率思维模式,为后续学习统计学、机器学习等课程打下坚实基础课程介绍基础概念我们将首先介绍随机试验、样本空间、事件等基础概念,为概率理论奠定基础这些是理解概率的关键入门知识概率计算然后学习概率的定义、条件概率、全概率公式和贝叶斯公式等核心内容,掌握解决概率问题的基本方法随机变量与分布接着探讨随机变量、概率分布及其数字特征,学习重要的概率模型及其应用实际应用最后介绍概率在统计学、机器学习、金融、工程等领域的应用,帮助大家建立概率思维学习目标1掌握基本概念理解并熟练掌握随机试验、样本空间、事件等基础概念,建立概率论的理论框架能够正确识别现实问题中的随机现象并将其抽象为概率模型2熟悉计算方法掌握各种概率计算方法,包括条件概率、全概率公式和贝叶斯公式能够独立分析和解决中等难度的概率问题3了解概率分布认识常见的概率分布及其特性,理解随机变量的数字特征及其意义能够根据实际问题选择适当的概率模型4建立概率思维培养运用概率思维解决实际问题的能力,为进一步学习统计学和数据科学打下基础能够在不确定性条件下做出合理决策什么是概率?概率的直观理解数学定义概率的特性概率是对随机事件发生可能性的度量从数学角度,概率是满足一定公理的集概率具有非负性、规范性和可加性等基它是一个介于0到1之间的数值,表示某合函数,它将事件映射到[0,1]区间的实本特性这些特性构成了概率论的公理个事件发生的可能性大小概率为0表数现代概率论基于测度论,由柯尔莫系统,是所有概率计算的基础示事件不可能发生,概率为1表示事件哥洛夫在20世纪30年代建立必然发生概率的历史117世纪之前概率思想最早可追溯到古代古埃及人、罗马人和中国古代都有关于机会游戏的记录然而,这一时期对概率的理解仍停留在直觉层面,缺乏系统的数学处理217世纪现代概率论诞生于17世纪法国数学家帕斯卡和费马之间关于赌博问题的通信被认为是概率论的开端他们解决了未完成游戏的分配问题,开创了系统研究概率的先河318-19世纪伯努利、拉普拉斯等人极大地推动了概率论的发展拉普拉斯的《概率分析理论》被视为古典概率论的巅峰之作,引入了许多至今仍在使用的概念和方法420世纪至今柯尔莫哥洛夫于1933年提出概率的公理化体系,将概率论纳入严格的数学框架此后,概率论与统计学、信息论等学科紧密结合,应用范围不断扩大概率在现实生活中的应用天气预报保险业医学研究气象部门利用概率模型分析保险公司使用概率计算不同医学临床试验通过概率统计历史数据和当前气象条件,风险事件的发生可能性,从方法评估药物效果和治疗方预测未来天气状况天气预而确定保费金额寿险、车案的有效性医生也基于概报中常见的降水概率就是概险和健康险的费率都基于概率进行疾病诊断和预后评估率应用的典型例子率统计模型制定金融投资投资者使用概率模型评估不同投资选择的风险和收益投资组合优化、期权定价和风险管理都离不开概率理论的支持随机试验定义随机试验是指在相同条件下可重复进行,且结果不确定的试验每次试验的结果可能不同,但所有可能的结果是已知的特点随机试验有三个主要特点可重复性(在相同条件下可以重复进行)、结果不确定性(事先无法精确预测结果)和结果的可预知性(所有可能的结果是已知的)举例掷骰子、抛硬币、从一批产品中抽取样本检查质量、测量一个人的身高等都是随机试验的例子在这些例子中,尽管我们无法准确预测每次的具体结果,但所有可能的结果是已知的样本空间定义特点举例样本空间是随机试验中所有可能结果的集样本空间必须满足三个条件穷尽性(包抛一枚硬币,样本空间是Ω={正面,反面};合,通常用符号Ω表示它是概率论中最含所有可能的结果)、互斥性(任意两个掷一个骰子,样本空间是Ω={1,2,3,4,5,6};基本的概念之一,构成了概率计算的基础样本点互不相同)和适当的精细程度(根连续抛两次硬币,样本空间是Ω={正,据问题需要选择合适的描述水平)正,正,反,反,正,反,反}样本点1定义样本点是样本空间中的一个元素,代表随机试验的一个可能结果样本点是不可再分的基本结果,是构成样本空间的基本单位2特性样本点具有原子性,即它是不可再分的最小单位样本空间中的每个样本点都是互不相同的,且所有样本点的集合构成完整的样本空间3表示方法样本点通常用小写字母如ω或者具体的符号表示在离散情况下,我们可以直接列举所有样本点;在连续情况下,样本点通常是一个区间内的实数4举例说明掷一枚骰子,样本点是{1,2,3,4,5,6}中的一个;从52张扑克牌中抽一张,每一张特定的扑克牌都是一个样本点;测量一个人的身高,每一个可能的高度值都是一个样本点事件表示方法定义事件通常用大写字母如A、B、C表示事事件是样本空间的子集,代表随机试验的1件可以由一个样本点组成,也可以由多个一个特定结果或一组结果从集合论角度2样本点组成,甚至可以是整个样本空间或看,事件是样本点的集合空集运算类型4事件作为集合,可以进行并、交、差、补根据包含的样本点数量和性质,事件可分3等集合运算,这些运算具有重要的概率意为基本事件、复合事件、必然事件、不可义,是概率计算的基础能事件和随机事件等多种类型基本事件定义特点基本事件是只包含一个样本点的基本事件不可再分,是最小的非事件,它表示随机试验的最简单、空事件任何事件都可以表示为最基本的结果在集合论语言中,若干个基本事件的并集基本事基本事件是由单个样本点组成的件之间互斥,即它们不能同时发单元素集合生举例掷骰子时,骰子显示3点是一个基本事件;抛硬币时,硬币正面朝上是一个基本事件;从一副扑克牌中抽取一张时,抽到黑桃A是一个基本事件复合事件定义特点举例复合事件是由多个样本点组成的事件,或复合事件包含两个或更多的样本点由于掷骰子时,骰子显示偶数点是一个复合者说是包含多个基本事件的事件它表示它由多个基本事件组成,因此可以进一步事件,它包含了基本事件显示2点、显随机试验的一组可能结果分解复合事件的发生意味着其包含的至示4点和显示6点;抽取一张扑克牌时,少一个基本事件发生抽到红桃是一个复合事件,包含了13个不同的红桃牌基本事件必然事件定义概率特性举例必然事件是指在随机试必然事件的概率为1,表掷骰子时,骰子显示1验中一定会发生的事件,示该事件一定会发生到6之间的点数是必然它包含样本空间中的所在任何概率模型中,必事件;抛硬币时,硬币有样本点从集合论角然事件的概率都是1,这正面朝上或反面朝上是度看,必然事件就是整是概率论公理之一必然事件;从一副扑克个样本空间Ω牌中抽一张牌,抽到的是扑克牌是必然事件不可能事件定义概率特性不可能事件是指在随机试验中绝不可能事件的概率为0,表示该事对不会发生的事件,它不包含样件不可能发生这是概率论公理本空间中的任何样本点从集合的直接推论,在任何概率模型中论角度看,不可能事件就是空集都成立需要注意的是,概率为0∅的事件不一定是不可能事件,尤其在连续概率模型中举例掷一个标准骰子,骰子显示7点是不可能事件;抛一枚硬币,硬币既是正面又是反面是不可能事件;从一副扑克牌中抽一张牌,抽到的是方块15是不可能事件随机事件1定义随机事件是指在随机试验中可能发生也可能不发生的事件,其概率严格大于0且小于1它是样本空间的真子集,既不是空集也不是整个样本空间2特性随机事件的发生具有不确定性,我们无法事先确切地知道它是否会发生,只能用概率来度量其发生的可能性随机事件的概率范围是0,1,表示它既非必然发生也非不可能发生3分类根据事件之间的关系,随机事件可以分为互斥事件、对立事件、相互独立事件等多种类型这些分类对于概率计算和理解概率问题至关重要4举例掷骰子时,骰子显示奇数点是随机事件;抛硬币时,硬币正面朝上是随机事件;从一副扑克牌中抽取一张,抽到红牌是随机事件事件的关系事件之间可能存在多种关系,这些关系对理解和计算概率至关重要主要包括包含关系如果事件A的每个样本点都属于事件B,则称A包含于B,记作A⊆B例如,抽到红桃包含于抽到红牌相等关系如果A⊆B且B⊆A,则称事件A等于事件B,记作A=B例如,骰子点数大于等于3和骰子点数为
3、
4、5或6是相等的事件互斥关系如果事件A与事件B没有共同的样本点,则称A与B互斥,记作A∩B=∅例如,抽到红桃和抽到黑桃是互斥的事件对立关系事件A的对立事件是指除A之外的所有可能结果,记作Ā或AC,满足A∪Ā=Ω且A∩Ā=∅例如,骰子点数为偶数的对立事件是骰子点数为奇数互斥事件定义特性举例互斥事件是指不能同时发生的两个或多个互斥事件之间不可能同时发生,一个事件掷骰子时,骰子显示3点和骰子显示4点事件从集合论角度看,如果事件A与事的发生必然导致其他互斥事件不发生多是互斥事件;抽取一张扑克牌,抽到方块件B的交集为空集,即A∩B=∅,则称A与个互斥事件的概率和等于它们并集的概率,和抽到黑桃是互斥事件;考试成绩分级,B互斥即PA∪B=PA+PB,当且仅当A与B互优秀和良好是互斥事件斥对立事件特性事件与其对立事件是互斥的,且它们的并集是2整个样本空间事件与其对立事件的概率和为定义1,即PA+PĀ=1任一事件发生当且仅当其对立事件不发生事件A的对立事件(记为Ā或AC)是指在随机试验中,除事件A以外的所有可能结果组成1举例的事件对立事件是样本空间关于事件A的掷骰子时,骰子显示偶数点的对立事件是骰补集,满足A∪Ā=Ω且A∩Ā=∅子显示奇数点;抛硬币时,硬币正面朝上的对立事件是硬币反面朝上;从一副扑克牌中3抽取一张,抽到红牌的对立事件是抽到黑牌事件的运算并集运算交集运算补集运算事件A与事件B的并集(记为A∪B)事件A与事件B的交集(记为A∩B)事件A的补集(记为Ā或AC)表示表示事件A或事件B发生从集合表示事件A和事件B同时发生从事件A不发生从集合角度看,Ā角度看,A∪B包含了属于A或属于集合角度看,A∩B包含了同时属包含了属于样本空间但不属于A的B的所有样本点例如,骰子点数于A和B的所有样本点例如,骰所有样本点例如,骰子点数为为偶数与骰子点数大于4的并集子点数为偶数与骰子点数大于4偶数的补集是骰子点数为奇数是骰子点数为
2、
4、5或6的交集是骰子点数为6差集运算事件A与事件B的差集(记为A-B或A\B)表示事件A发生但事件B不发生从集合角度看,A-B包含了属于A但不属于B的所有样本点例如,骰子点数为偶数与骰子点数大于4的差集是骰子点数为2或4并集定义概率计算举例事件A与事件B的并集(记为A∪B)表示两个事件并集的概率等于两个事件概率之掷骰子时,事件点数为偶数(A={2,4,6})事件A发生或事件B发生,即至少有一个和减去它们交集的概率,即与事件点数大于4(B={5,6})的并集是事件发生从集合论角度看,A∪B是由所PA∪B=PA+PB-PA∩B当A与B互点数为
2、
4、5或6(A∪B={2,4,5,6});有属于A或属于B的样本点组成的集合斥时,PA∩B=0,所以从一副扑克牌中抽取一张,事件抽到红桃PA∪B=PA+PB与事件抽到A的并集是抽到红桃或抽到A交集定义事件A与事件B的交集(记为A∩B)表示事件A和事件B同时发生从集合论角度看,A∩B是由同时属于A和B的样本点组成的集合特性如果A∩B=∅(即交集为空集),则称事件A与事件B互斥,表示它们不能同时发生交集运算满足交换律、结合律和分配律等集合论的基本性质概率计算在一般情况下,事件交集的概率需要考虑条件概率,即PA∩B=PA·PB|A=PB·PA|B当A与B独立时,PA∩B=PA·PB举例掷骰子时,事件点数为偶数(A={2,4,6})与事件点数大于4(B={5,6})的交集是点数为6(A∩B={6});从一副扑克牌中抽取一张,事件抽到红桃与事件抽到A的交集是抽到红桃A差集定义概率计算举例事件A与事件B的差集(记为A-B或A\B)表差集的概率可以通过集合运算计算PA-掷骰子时,事件点数为偶数(A={2,4,6})示事件A发生但事件B不发生从集合论角B=PA∩BC=PA-PA∩B这表明事件A与事件点数大于4(B={5,6})的差集是点度看,A-B是由属于A但不属于B的样本点组发生但事件B不发生的概率等于A的概率减数为2或4(A-B={2,4});从一副扑克牌中成的集合它也可以表示为A与B的补集的去A与B同时发生的概率抽取一张,事件抽到红牌与事件抽到A的交集,即A-B=A∩BC差集是抽到红牌但不是A补集定义1事件A的补集(记为Ā或AC)表示事件A不发生,即除A以外的所有可能结果从集合论角度看,AC是样本空间Ω中不属于A的所有样本点组成的集合,即AC=Ω-A特性事件与其补集互斥,且它们的并集等于样本空间,即A∩AC=∅且A∪AC=Ω补集的补集等于2原事件,即ACC=A补集运算满足德摩根律A∪BC=AC∩BC,A∩BC=AC∪BC概率计算根据概率的基本性质,事件与其补集的概率和为1,即PA+PAC=13因此,PAC=1-PA这是计算某些复杂事件概率的重要方法,尤其是当计算A的概率比计算AC的概率更困难时概率的定义古典定义拉普拉斯提出的等可能概型定义在有限样本空间中,若每个基本事件发生的可能性相同,则事件A的概率定义为A包含的基本事件数与样本空间中基本事件总数之比这是最早的概率数学定义频率定义频率学派定义事件A的概率是在相同条件下进行大量重复试验中,事件A发生的频率的极限这一定义基于大数定律,强调了概率的客观性和可验证性主观定义贝叶斯学派定义概率是个人对事件发生可能性的信念度量这种定义允许在没有重复试验的情况下讨论概率,适用于更广泛的问题,但带有主观性公理化定义柯尔莫哥洛夫公理系统概率是定义在样本空间事件集合上的函数P,满足非负性、规范性和可加性三个公理这是现代概率论的基础,统一了各种不同的概率观点古典概型定义应用条件典型例子古典概型是指具有有限个样本点,且每个古典概型的应用有两个必要条件样本空掷骰子、抛硬币、从有限总体中随机抽取样本点出现的可能性相同的概率模型在间必须包含有限个样本点;每个样本点出样本(如从一副扑克牌中随机抽取一张)这种模型中,事件A的概率计算公式为现的可能性相同(等可能性假设)由于等都是古典概型的典型例子在这些例子PA=nA/nΩ,其中nA表示事件A包等可能性假设通常难以验证,古典概型的中,我们可以合理地假设每个可能的结果含的样本点数,nΩ表示样本空间中的样适用范围受到限制出现的机会是相等的本点总数几何概型定义特点经典例子几何概型是指随机试验的样本空间对应于某几何概型通常具有无限多个样本点,且涉及布封针问题随机投掷一根长度为L的针到个区域的点集,且落在该区域中任意子区域连续的随机变量它是连续型概率模型的重一个画有平行线(线间距为D且DL)的平内的概率与该子区域的几何度量(长度、面要类型,常用于处理与随机位置、随机长度、面上,求针与平行线相交的概率贝特朗悖积或体积等)成正比的概率模型在几何概随机面积等相关的概率问题几何概型的核论在圆内随机选择一条弦,求该弦长度大型中,事件A的概率计算公式为PA=心是用几何度量代替计数来确定概率于圆的半径的概率这些问题的解答需要明mA/mΩ,其中m表示适当的几何度量确随机的几何含义频率与概率试验次数频率理论概率频率与概率有着密切的关系,但它们是不同的概念频率是指在n次重复试验中事件A发生的次数与总试验次数n的比值,记为fnA=nA/n,其中nA是事件A发生的次数根据大数定律,当试验次数n足够大时,事件A的频率fnA会稳定在一个常数附近,这个常数就是事件A的概率PA上图展示了抛硬币试验中正面朝上的频率随试验次数增加逐渐接近理论概率
0.5的过程频率是可以通过实验观察到的客观量,而概率是描述随机事件可能性的理论模型频率趋于概率的性质为概率的频率解释提供了基础,同时也是统计推断的理论依据概率的公理化定义1公理一非负性对于任意事件A,其概率PA是非负的,即PA≥0这个公理反映了概率作为可能性度量的基本要求,任何事件发生的可能性不可能是负的2公理二规范性样本空间Ω的概率为1,即PΩ=1这个公理表示随机试验的结果必定在样本空间中,即某个结果一定会发生,概率总和为13公理三可加性对于任意一列两两互斥的事件A1,A2,...,An,...,有PA1∪A2∪...∪An∪...=PA1+PA2+...+PAn+...这个公理描述了如何计算互斥事件并集的概率,是概率计算的基础4基本性质从这三个公理出发,可以推导出概率的一系列重要性质,如空集的概率为0,即P∅=0;有限可加性若A1,A2,...,An两两互斥,则PA1∪A2∪...∪An=PA1+PA2+...+PAn;单调性若A⊆B,则PA≤PB等条件概率定义直观理解性质条件概率PA|B表示在事件B已经发生的条件概率可以理解为在已知事件B发生的条件概率满足概率的所有公理和性质对条件下,事件A发生的概率其数学定义情况下,将B视为新的样本空间,然后计于任意事件A和B(PB0),条件概率为PA|B=PA∩B/PB,其中PB0算在这个新样本空间中事件A发生的相对PA|B是一个介于0和1之间的数;条件概率是描述事件之间相关性的重要工概率这相当于缩小了原来的样本空间,PB|B=1;若A1,A2,...,An互斥,则具只关注事件B对应的那部分PA1∪A2∪...∪An|B=PA1|B+PA2|B+...+PAn|B乘法定理定义乘法定理是计算两个或多个事件交集概率的基本方法对于任意两个事件A和B,其交集概率可以表示为PA∩B=PB·PA|B=PA·PB|A该定理直接源于条件概率的定义推广形式对于多个事件,乘法定理可以推广为PA1∩A2∩...∩An=PA1·PA2|A1·PA3|A1∩A2·...·PAn|A1∩A2∩...∩An-1这表示n个事件同时发生的概率等于第一个事件的概率乘以在前一个事件发生条件下后一个事件发生的条件概率的连乘积独立事件的特例当事件A和B相互独立时,PA|B=PA且PB|A=PB,此时乘法定理简化为PA∩B=PA·PB对于n个相互独立的事件,其交集概率等于各事件概率的乘积这是概率计算中的一个重要结果全概率公式条件和前提1全概率公式适用于以下情况B1,B2,...,Bn构成样本空间Ω的一个完备事件组,即它们两两互斥且并集为Ω;对于每个Bi,有PBi0;A为任意事件公式在上述条件下,事件A的概率可以表示为2PA=PB1·PA|B1+PB2·PA|B2+...+PBn·PA|Bn这个公式表明,事件A的概率可以分解为在不同条件Bi下A发生的条件概率的加权和,权重是相应条件Bi的概率应用全概率公式是解决复杂概率问题的强大工具,特别是当事件A可以通3过多个互斥事件Bi的条件概率更容易计算时它也是贝叶斯定理的基础全概率公式在医学诊断、工程可靠性分析、风险评估等领域有广泛应用贝叶斯公式逆向推理1根据结果推测原因的概率条件概率关系2PB|A=PA|BPB/PA完备事件组形式3PBi|A=PA|BiPBi/∑PA|BjPBj先验与后验概率4PB为先验概率,PB|A为后验概率应用领域5医学诊断、垃圾邮件过滤、机器学习等事件的独立性定义直观理解如果事件A与事件B满足条件两个事件相互独立意味着一个事件的PA∩B=PA·PB,则称事件A与事发生与否不影响另一个事件发生的概件B相互独立等价地,如果率换句话说,事件B的发生不会改PA|B=PA(当PB0时)或变事件A发生的可能性,反之亦然PB|A=PB(当PA0时),则A与独立性与事件的互斥性是完全不同的B相互独立概念,互斥的事件(即PA∩B=0,但PA0且PB0)不可能独立多事件独立性对于三个或更多事件,独立性的定义更为复杂三个事件A、B、C相互独立,需要满足PA∩B=PA·PB,PA∩C=PA·PC,PB∩C=PB·PC,以及PA∩B∩C=PA·PB·PC一般地,多个事件相互独立要求所有子集的交集概率等于各自概率的乘积伯努利试验定义伯努利试验序列成功次数的概率分布伯努利试验是只有两种可能结果n重伯努利试验是指独立重复进行在n重伯努利试验中,成功次数X(通常称为成功和失败)的单n次伯努利试验在n重伯努利试服从二项分布Bn,p具体地,恰次随机试验这两种结果互斥且和验中,每次试验的成功概率p保持好获得k次成功的概率为为1,即P成功+P失败=1若记不变,且各次试验的结果相互独立PX=k=Cn,k·pk·1-pn-k,其中成功的概率为p,则失败的概率为抛硬币n次、射击靶子n次、产品Cn,k表示从n个元素中选择k个元1-p伯努利试验是概率论中最简质量检验等都可以建模为伯努利试素的组合数,计算公式为单的随机试验模型验序列Cn,k=n!/[k!n-k!]重要应用伯努利试验模型是许多实际问题的基础,如质量控制、民意调查、流行病学研究等它也是二项分布、几何分布、负二项分布等重要概率分布的基础伯努利试验序列的许多性质可通过大数定律和中心极限定理来研究二项分布成功次数k概率PX=k二项分布是n次独立重复的伯努利试验中,成功次数X的概率分布若单次试验成功的概率为p,则随机变量X服从参数为n,p的二项分布,记为X~Bn,p二项分布的概率质量函数为PX=k=Cn,k·pk·1-pn-k,其中k=0,1,...,n,Cn,k表示从n个元素中选择k个元素的组合数二项分布的期望值EX=np,方差VarX=np1-p当n较大时,根据中心极限定理,二项分布可以用正态分布Nnp,np1-p近似上图展示了参数为n=10,p=
0.5的二项分布概率质量函数泊松分布事件发生次数k概率PX=k泊松分布是描述单位时间(或空间)内随机事件发生次数的离散概率分布如果随机变量X服从参数为λ的泊松分布,则记为X~Pλ,其中λ0表示单位时间(或空间)内随机事件的平均发生次数泊松分布的概率质量函数为PX=k=λke-λ/k!,其中k=0,1,2,...,e是自然对数的底数泊松分布的期望值和方差都等于λ泊松分布广泛应用于描述罕见事件的发生,如单位时间内的电话呼叫次数、单位面积内的细菌数量、单位时间内的网站访问次数等它也是二项分布的极限形式当n很大且p很小,而np=λ保持不变时,二项分布Bn,p近似于泊松分布Pλ上图展示了参数λ=3的泊松分布概率质量函数随机变量定义意义类型随机变量是定义在样本空间上的实值函数,随机变量的引入使得我们可以用数学方法根据取值的特性,随机变量可分为离散型它将随机试验的每个可能结果映射为一个来描述和分析随机现象它将抽象的样本随机变量和连续型随机变量离散型随机实数形式上,如果Ω是样本空间,则随空间转化为具体的数值,便于进行数学处变量的取值是有限个或可列无限个;连续机变量X是一个函数X:Ω→R,它将每个样理和统计分析随机变量是概率论和统计型随机变量的取值是不可列无限个,通常本点ω∈Ω映射到一个实数Xω学的核心概念,是构建概率模型的基础是某个区间内的所有实数除此之外,还有混合型随机变量,它同时具有离散性和连续性离散型随机变量1定义2概率质量函数离散型随机变量是指取值为有限个或可列无限个的随机变量它的特离散型随机变量X的概率质量函数px=PX=x满足对于任意实数x,点是可以一一列举出所有可能的取值离散型随机变量X的概率分布可px≥0;所有可能取值x的概率和为1,即∑px=1概率质量函数完整以用概率质量函数(PMF)PX=x来描述描述了离散型随机变量的概率分布3常见分布4举例离散型随机变量的常见分布有伯努利分布(单次0-1试验)、二项分掷骰子的点数、家庭的子女数、彩票中奖的次数、每天收到的电子邮布(n次独立同分布的0-1试验)、几何分布(首次成功所需的试验次件数量等都可以建模为离散型随机变量这些变量的共同特点是取值数)、负二项分布(r次成功所需的试验次数)、泊松分布(单位时间是可数的,且每个取值对应一个确定的概率内随机事件的发生次数)等连续型随机变量定义概率密度函数常见分布连续型随机变量是指取值在某个区间内连续连续型随机变量X的概率密度函数fx满足连续型随机变量的常见分布有均匀分布变化的随机变量与离散型随机变量不同,对于任意实数x,fx≥0;函数fx的积分等(在给定区间内等可能)、正态分布(自然连续型随机变量的可能取值不可列举,通常于1,即∫-∞∞fxdx=1连续型随机变量界中最常见的分布,钟形曲线)、指数分布是某个区间内的所有实数连续型随机变量落在任意区间[a,b]的概率等于概率密度函数(描述独立事件之间的等待时间)、伽马分X的概率分布可以用概率密度函数(PDF)在该区间上的积分,即Pa≤X≤b=∫ab fxdx布(描述等待特定数量事件发生的时间)、fx来描述贝塔分布(描述[0,1]区间内的随机变量)等分布函数定义性质离散与连续的区别随机变量X的分布函数(又称累积分布函分布函数Fx具有以下基本性质Fx是对于离散型随机变量,分布函数是阶梯函数,CDF)定义为Fx=PX≤x,即随机变单调不减函数;limₓ→-∞Fx=0,数,在随机变量的可能取值处有跳跃,跳量X取值不超过x的概率分布函数完整描limₓ→∞Fx=1;Fx是右连续函数,即跃的大小等于该点的概率对于连续型随述了随机变量的概率分布,无论是离散型lim→0+Fx+h=Fx;对于任意实数a机变量,分布函数是连续函数,其导数ₕ还是连续型随机变量都有唯一对应的分布(如果存在)就是概率密度函数,即函数Fx=fx概率密度函数定义几何意义性质连续型随机变量X的概率密度函数(PDF)概率密度函数fx的几何意义是概率在取值概率密度函数fx满足两个基本性质非负fx是其分布函数Fx的导数,即fx=Fx上的密集程度随机变量X落在小区间性,对于任意实数x,fx≥0;归一性,概(如果导数存在)概率密度函数描述了随[x,x+Δx]内的概率近似为fx·Δx,当Δx很小率密度函数在整个实数轴上的积分等于1,机变量取值的相对可能性密度需要注意的时更准确地说,随机变量X落在区间[a,b]即∫-∞∞fxdx=1这反映了总概率为1的是,fx本身不是概率,而是概率密度内的概率等于概率密度函数在该区间上的积事实此外,概率密度函数的形状直接反映分,即Pa≤X≤b=∫ab fxdx了随机变量取值的概率分布特征均匀分布定义连续型随机变量X服从区间[a,b]上的均匀分布,记为X~Ua,b,如果其概率密度函数为fx=1/b-a,当a≤x≤b时;fx=0,当xb时均匀分布是最简单的连续概率分布,表示随机变量在给定区间内取任何值的可能性相等分布函数均匀分布Ua,b的分布函数为Fx=0,当xb时分布函数在区间[a,b]上是一条直线,斜率为1/b-a数字特征均匀分布Ua,b的期望为EX=a+b/2,表示区间的中点;方差为VarX=b-a2/12,随着区间宽度的增大而增大均匀分布的特点是随机变量取值的最大可能范围是确定的,即a和b应用均匀分布常用于模拟随机数生成(计算机中的伪随机数通常服从0,1上的均匀分布)、简单的随机化实验设计、近似实际问题(当对分布缺乏了解时的最大熵估计)等场景正态分布x值标准正态分布μ=0,σ=2μ=3,σ=1正态分布(高斯分布)是概率论和统计学中最重要的连续概率分布若随机变量X服从均值为μ、标准差为σ的正态分布,记为X~Nμ,σ²,其概率密度函数为fx=1/σ√2π·e-x-μ²/2σ²正态分布具有钟形曲线特征,关于x=μ对称,在x=μ处取得最大值fμ=1/σ√2π参数μ决定了分布的位置(曲线的中心),σ决定了分布的尺度(曲线的宽窄)当μ=0且σ=1时,称为标准正态分布正态分布在自然和社会科学中有广泛应用,因为根据中心极限定理,大量独立同分布随机变量的和近似服从正态分布人的身高、智商、测量误差、股票价格变动等许多随机现象都可以用正态分布来近似描述指数分布定义分布函数特性指数分布是描述独立随机事件发生之间的指数分布Expλ的分布函数为Fx=1-e-指数分布的期望为EX=1/λ,方差为等待时间的连续概率分布如果随机变量λx,当x≥0时;Fx=0,当x0时这表示VarX=1/λ²指数分布具有无记忆性X服从参数为λλ0的指数分布,记为等待时间不超过x的概率例如,若某事PXs+t|Xt=PXs,这意味着已经等待X~Expλ,其概率密度函数为fx=λe-件平均每小时发生2次(λ=2),则两次事了t时间而事件还未发生的条件下,还需要λx,当x≥0时;fx=0,当x0时件之间的等待时间不超过
0.5小时的概率为再等待s时间的概率与初始等待s时间的概F
0.5=1-e-1≈
0.632率相同这一特性使得指数分布在可靠性理论和排队论中有重要应用随机变量的数字特征期望方差矩随机变量X的期望EX表示随机随机变量X的方差VarX=E[X-随机变量X的k阶原点矩定义为变量的平均值或中心位置它EX²]表示随机变量取值围绕EXk,k阶中心矩定义为E[X-是描述随机变量的最基本特征,期望的分散程度方差越大,EXk]矩是描述概率分布形反映了随机变量取值的集中趋表示随机变量的取值越分散;状的重要特征其中,一阶原势期望是一个确定的数,不方差越小,表示随机变量的取点矩等于期望,二阶中心矩等是随机变量值越集中在期望附近于方差分位数随机变量X的α分位数xα定义为满足PX≤xα=α的实数特别地,
0.5分位数称为中位数分位数描述了概率分布的位置和分散程度,是重要的顺序统计量数学期望条件期望期望的性质随机变量X关于事件A的条件期望连续型随机变量的期望常数的期望等于常数本身Ec=c;EX|A表示在事件A发生的条件下X离散型随机变量的期望连续型随机变量X的数学期望定义期望的线性性的平均取值对于离散型随机变量,离散型随机变量X的数学期望定义为EX=∫-∞∞xfxdx,其中fx是EaX+bY=aEX+bEY;如果X和EX|A=∑xiPX=xi|A;对于连续型为EX=∑xiPX=xi,其中求和范围X的概率密度函数这是X的所有Y独立,则EXY=EXEY这些随机变量,EX|A=∫-∞∞是X的所有可能取值这是X的所可能取值关于概率密度的加权积分性质使得期望计算变得简单xfx|Adx,其中fx|A是条件概率有可能取值的加权平均,权重是相密度函数应取值的概率方差定义计算公式性质随机变量X的方差定义为VarX=E[X-EX²],方差的计算公式可改写为VarX=EX²-常数的方差为零Varc=0;方差的性质表示随机变量的取值围绕期望的平均平方偏[EX]²,这在实际计算中更为方便对于离VaraX+b=a²VarX,表示线性变换会影响差方差是描述随机变量分散程度的重要特散型随机变量,VarX=∑xi-方差;如果X和Y独立,则征方差越大,表示随机变量的取值越分散;EX²PX=xi=∑xi²PX=xi-[EX]²;对于连VarX+Y=VarX+VarY;一般地,方差越小,表示随机变量的取值越集中在期续型随机变量,VarX=∫-∞∞x-VarX+Y=VarX+VarY+2CovX,Y,其中望附近EX²fxdx=∫-∞∞x²fxdx-[EX]²CovX,Y是X和Y的协方差标准差定义标准化正态分布中的应用随机变量X的标准差定义为方差的算术平对随机变量X进行标准化,得到标准化随在正态分布Nμ,σ²中,μ是期望,σ是标准方根,记为σX或SDX,即机变量Z=X-EX/σX标准化后的随机变差标准差决定了正态分布曲线的宽窄σX=√VarX=√E[X-EX²]标准差与方差量Z的期望为0,方差为1标准化是数据根据经验法则,对于正态分布的随机变量,一样,也是描述随机变量取值分散程度的分析和统计推断中的常用技术,使得不同约68%的取值落在μ-σ,μ+σ区间内,约特征,但标准差与随机变量具有相同的量量纲的随机变量可以进行比较95%的取值落在μ-2σ,μ+2σ区间内,约纲,更便于实际理解和应用
99.7%的取值落在μ-3σ,μ+3σ区间内这就是著名的三西格玛法则协方差定义随机变量X和Y的协方差定义为CovX,Y=E[X-EXY-EY],表示两个随机变量的线性相关程度协方差可以是正值、负值或零,分别表示两个随机变量正相关、负相关或不相关计算公式协方差的计算公式可改写为CovX,Y=EXY-EXEY,这在实际计算中更为方便对于离散型随机变量,CovX,Y=∑∑xi-EXyj-EYPX=xi,Y=yj;对于连续型随机变量,CovX,Y=∫∫x-EXy-EYfx,ydxdy,其中fx,y是X和Y的联合概率密度函数性质协方差的对称性CovX,Y=CovY,X;协方差的线性性CovaX+bZ,cY+dW=acCovX,Y+adCovX,W+bcCovZ,Y+bdCovZ,W;自协方差等于方差CovX,X=VarX;如果X和Y独立,则CovX,Y=0(但反之不一定成立)应用协方差在多元统计分析、时间序列分析、投资组合理论等领域有广泛应用例如,在金融投资中,资产间的协方差用于衡量资产收益率的相关性,从而指导投资组合的构建和风险管理多个随机变量的协方差矩阵是多元统计分析的重要工具相关系数X值正相关负相关零相关相关系数是衡量两个随机变量线性相关程度的无量纲统计量随机变量X和Y的皮尔逊相关系数定义为ρXY=CovX,Y/σXσY,其中CovX,Y是X和Y的协方差,σX和σY分别是X和Y的标准差相关系数的取值范围是[-1,1]ρXY=1表示完全正相关,即Y=aX+b,a0;ρXY=-1表示完全负相关,即Y=aX+b,a0;ρXY=0表示X和Y线性不相关相关系数的绝对值越接近1,表示线性相关性越强;越接近0,表示线性相关性越弱需要注意的是,相关系数只衡量线性相关性,对于非线性关系可能无法准确反映此外,相关不等于因果,两个变量之间存在相关性并不意味着一个变量的变化导致另一个变量的变化大数定律大数定律是概率论中的基本定律,描述了大量重复试验的平均结果趋于稳定的现象它有多种形式,其中最常见的是辛钦大数定律若X1,X2,...,Xn,...是独立同分布的随机变量序列,且具有数学期望EXi=μ,则对于任意ε0,有limn→∞P|X̄n-μ|ε=1,其中X̄n=X1+X2+...+Xn/n是前n个随机变量的算术平均直观地说,大数定律表明随着样本量的增加,样本平均值几乎必然收敛于总体期望值这为频率学派的概率解释提供了理论基础事件的频率在大量重复试验中将趋于稳定,这个极限值就是该事件的概率大数定律在统计学、物理学、经济学等领域有广泛应用例如,保险公司根据大数定律确定保费率;物理学中,气体分子的平均动能遵循大数定律;蒙特卡洛方法基于大数定律用随机抽样估计确定性问题的解中心极限定理定理内容中心极限定理是概率论中的另一个基本定律,它描述了大量独立随机变量之和的分布趋于正态分布的现象经典形式的中心极限定理陈述如下若X1,X2,...,Xn,...是独立同分布的随机变量序列,且具有有限的期望μ和方差σ²0,则随机变量Zn=X1+X2+...+Xn-nμ/σ√n的分布函数收敛于标准正态分布函数直观解释中心极限定理表明,无论原始随机变量的分布如何(只要均值和方差存在且有限),大量独立同分布随机变量之和的标准化形式都会近似服从正态分布这解释了为什么正态分布在自然和社会现象中如此普遍许多现象是大量微小随机因素共同作用的结果定理的推广中心极限定理有多种推广形式例如,李雅普诺夫中心极限定理放宽了独立同分布的要求;德莫瓦-拉普拉斯定理是中心极限定理应用于二项分布的特例;林德伯格-菲勒定理给出了中心极限定理成立的充分条件应用中心极限定理是统计推断的理论基础,使得样本均值可以用来估计总体均值,并构建置信区间它也广泛应用于信号处理、金融风险管理、质量控制等领域例如,在金融中,投资组合的总收益可以近似为正态分布,这是现代投资组合理论的基础之一概率在统计学中的应用统计推断1基于样本数据推断总体特征假设检验2基于概率评估假设的合理性区间估计3利用概率构建置信区间回归分析4基于概率模型建立变量间关系抽样理论5概率抽样保证样本代表性概率在机器学习中的应用贝叶斯学习概率图模型强化学习贝叶斯学习是基于贝叶斯定理的机器学习方概率图模型如马尔可夫随机场、隐马尔可夫强化学习中的许多算法如马尔可夫决策过程法朴素贝叶斯分类器、贝叶斯网络、贝叶模型、条件随机场等,使用图结构表示随机(MDP)基于概率理论智能体在不确定斯决策理论等都是概率在机器学习中的直接变量之间的概率依赖关系这些模型广泛应环境中学习决策策略,通过最大化期望累积应用这些方法通过条件概率和先验概率来用于自然语言处理、计算机视觉、生物信息奖励来优化行为概率模型帮助智能体处理进行分类和预测,尤其适用于文本分类、垃学等领域,用于序列标注、图像分割、语音环境的随机性和不确定性,是AlphaGo等人圾邮件过滤等任务识别等任务工智能系统的核心组成部分概率在金融学中的应用风险管理投资组合理论金融机构使用风险价值VaR、尾部风险现代投资组合理论MPT基于资产收益的CVaR等概率模型量化市场风险、信用期望、方差和协方差,通过分散投资来优风险和操作风险这些模型基于资产收益化风险和收益的平衡马科维茨有效前沿、1的概率分布,帮助机构在给定置信水平下资本资产定价模型CAPM等都依赖于概2估计潜在损失,从而制定风险控制策略率统计方法,用于投资决策和资产配置衍生品定价金融时间序列分析期权、期货、互换等衍生品的定价模型如ARIMA、GARCH等时间序列模型通过建4Black-Scholes模型、二叉树模型等,都模收益率的条件分布,捕捉金融数据的波3基于标的资产价格的概率过程(如布朗运动性集聚、尖峰厚尾等特性量化交易策动、随机微分方程)这些模型通过无套略常基于这些概率模型进行预测和决策,利原理和风险中性定价方法计算衍生品的实现市场异常定价的套利理论价格概率在工程中的应用工程可靠性分析是概率在工程中的核心应用工程师使用概率模型评估结构、系统或组件在特定条件下正常运行的可能性通过分析各种不确定因素(如材料强度变异、负载随机性)对系统性能的影响,可以量化失效风险,优化设计方案,确保工程项目的安全性和经济性信号处理领域广泛应用概率理论随机信号处理、贝叶斯滤波(如卡尔曼滤波)、匹配滤波等技术基于概率模型从带噪声的数据中提取有用信息这些方法在雷达、通信、图像处理等领域发挥重要作用,提高信息提取和传输的效率与准确性质量控制和六西格玛管理依赖统计过程控制(SPC)监测生产过程的稳定性和能力控制图、抽样检验等工具基于概率理论,帮助制造企业识别过程变异,区分系统性原因和随机原因,持续改进产品质量蒙特卡洛模拟则通过反复随机抽样,解决复杂工程问题的确定性解或近似解概率在决策理论中的应用期望效用理论期望效用理论是决策理论的基础,它假设理性决策者选择能够最大化期望效用的行动对于不同的可能结果,决策者根据其概率和效用函数计算期望效用,然后选择期望效用最高的方案这一理论提供了在不确定性条件下做出决策的规范性框架贝叶斯决策理论贝叶斯决策理论通过整合先验信息和新观测数据来更新信念,从而优化决策它使用贝叶斯定理计算后验概率,然后基于这些更新的概率评估不同行动的期望收益或损失这种方法在医疗诊断、业务规划、资源管理等领域有广泛应用鲁棒决策鲁棒决策方法关注决策在不确定性条件下的稳健性,而非期望值的最优性这些方法考虑最坏情况分析、情景规划、风险厌恶等因素,使决策在多种可能的未来状态下都能够保持可接受的性能特别适用于高风险、高不确定性环境中的决策问题常见概率问题解析问题类型解题思路关键技巧古典概型确定样本空间和事件,应正确计数,注意排列组合用等可能性原理计算概率条件概率识别条件事件,应用条件明确已知条件,缩小样本概率公式空间全概率公式寻找完备事件组,分解原确保事件组的完备性和互问题斥性贝叶斯问题区分先验概率和后验概率,找准因果关系,正确设置应用贝叶斯公式条件随机变量确定概率分布,计算期望利用分布特性和数字特征或概率独立性问题检验独立性条件,利用独不要混淆独立性和互斥性立性简化计算课程总结60+关键概念我们系统学习了从基本概念到高级应用的概率理论,包括样本空间、事件、条件概率、随机变量、概率分布等核心概念10+计算方法掌握了多种概率计算方法,如古典概型、条件概率、全概率公式、贝叶斯公式等,能够解决各类概率问题20+重要分布研究了二项分布、泊松分布、正态分布等重要概率分布,了解它们的特性和应用场景5+核心定理理解了大数定律和中心极限定理等基本定律,它们是概率论与统计学的理论基础参考资料与进一步学习推荐教材进阶阅读在线资源《概率论与数理统计》(陈希孺)中文《统计推断》(卡塞拉、伯杰)深入探中国大学MOOC平台多所名校开设的概概率论经典教材,逻辑严谨,内容全面讨统计学理论,建立在概率基础上率统计课程《概率论基础教程》(钟开莱)入门级《随机过程》(钱敏平、龚光鲁)概率学堂在线清华大学概率论与数理统计精教材,例题丰富,适合初学者论的自然延伸,研究随机现象的动态性质品课程《概率论与数理统计教程》(茆诗松、程Khan Academy英文概率与统计入门视依明、濮晓龙)理论与应用并重,案例《贝叶斯数据分析》(Gelman等)现频教程丰富代贝叶斯方法的权威著作统计之都(www.cos.name)中文统计学社区,有丰富的概率统计学习资源。
个人认证
优秀文档
获得点赞 0