《多元线性回归》课件2

多元线性回归探讨多元线性回归模型，探索多个自变量与因变量之间的关系什么是多元线性回归？多个自变量线性关系多元线性回归分析是用来解释因假设因变量与每个自变量之间呈变量与多个自变量之间关系的方线性关系法预测和解释可以用来预测因变量的值，并解释自变量对因变量的影响程度多元线性回归的应用场景预测分析例如，预测房价、股票价格、销售额例如，分析影响销售额的因素、分析等影响用户满意度的因素等控制例如，控制生产成本、控制产品质量等多元线性回归的数学模型多元线性回归模型通过一个线性方程来描述因变量与多个自变量之间的关系，方程形式如下Y=β0+β1X1+β2X2+...+βpXp+ε其中•Y是因变量•X1，X2，...，Xp是自变量•β0是截距•β1，β2，...，βp是回归系数，分别代表每个自变量对因变量的影响程度•ε是随机误差项多元线性回归的假设条件线性关系自变量之间无多重共线误差项的独立性误差项的正态性性因变量与自变量之间必须存在每个观测值的误差项应该相互误差项应该服从正态分布线性关系自变量之间不应该存在高度相独立关性多元线性回归的参数估计回归系数1估计每个自变量对因变量的影响程度常数项2当所有自变量为0时，因变量的预测值最小二乘法3最常用的参数估计方法参数估计是多元线性回归中的关键步骤通过估计回归系数和常数项，我们可以了解每个自变量对因变量的影响大小，并建立一个预测模型最小二乘法是一种常用的参数估计方法，它通过最小化残差平方和来找到最佳的回归系数和常数项最小二乘法目标函数直线拟合最小二乘法旨在找到一组参数，使预测值与实际值之间的误差平方通过最小化误差平方和，最小二乘法找到最佳的直线来拟合数据点和最小参数估计的性质无偏性一致性估计量的期望值等于真实参数值当样本量无限增大时，估计量收敛于真实参数值有效性在所有无偏估计量中，方差最小的估计量是最有效的多元线性回归模型的检验模型的假设条件1首先，需要验证模型是否满足多元线性回归的假设条件例如，线性关系、独立性、方差齐性、正态性等模型的整体显著性2使用F检验来评估模型的整体显著性如果模型的显著性水平低于阈值，则认为模型整体有效单个变量的显著性3使用t检验来评估模型中每个独立变量对因变量的影响是否显著如果t检验结果表明变量显著，则认为该变量对模型有贡献模型的拟合优度4通过R平方和调整R平方等指标来衡量模型的拟合优度R平方越高，表明模型对数据的拟合程度越好检验F整体显著性F统计量检验多元线性回归模型中所有自计算模型的方差解释比例与误差变量对因变量的联合影响是否显方差的比值.著.P值判断模型是否显著,P值小于显著性水平时,拒绝原假设.检验t单个系数检验零假设12检验每个自变量对因变量的影该系数的真实值为0，即该自响是否显著变量对因变量没有影响3t统计量用于衡量系数估计值与零假设的偏离程度多元线性回归模型的显著性检验F检验t检验检验模型整体的显著性，判断自变量是否对因变量有显著影响检验每个自变量对因变量的显著性，判断每个自变量是否对因变量有显著影响多元线性回归模型的拟合优度检验评估模型拟合程度，了解模型对数据的解释衡量模型是否能有效地解释因变量的变化检验模型对数据的解释程度，判断模型的预能力测能力平方和调整平方R R

0.

80.75R平方调整R平方模型解释变量的比例，越接近1，模型考虑了模型复杂度和样本量，更准确拟合效果越好地评估模型拟合效果多元线性回归模型的预测预测值1根据模型估计参数计算得到的预测区间2预测值可能落在的范围预测误差3预测值与真实值之间的差异预测区间预测值范围置信水平预测区间表示预测值可能落在的范围置信水平代表预测区间包含真实值的概率预测误差误差分布残差分析预测误差通常服从正态分布，可以用标准差衡量误差范围分析残差的图形特征可以了解模型的拟合效果，判断是否存在异方差或自相关问题影响因素的选择相关性理论基础数据质量选择与因变量有显著相关性的自变量基于理论模型或领域知识，选择对因确保自变量数据准确可靠，避免噪声变量有影响的因素和缺失值变量选择方法逐步回归前向选择逐步回归是一种自动选择变量的前向选择从一个变量开始，逐步方法，它通过反复添加或删除变添加对模型贡献最大的变量，直量来构建最佳模型到添加的变量不再显著改善模型拟合度后向消除后向消除从包含所有变量的模型开始，逐步删除对模型贡献最小的变量，直到删除的变量不再显著降低模型拟合度逐步回归前向选择从单变量回归开始，逐步加入变量，直到所有显著变量都包含在模型中后向消除从所有变量开始，逐步删除不显著的变量，直到模型仅包含显著变量逐步回归结合前向选择和后向消除，在每次迭代中，添加或删除变量以最大化模型的拟合优度前向选择逐步构建添加变量显著性检验前向选择从最简单的模型开始，即只有一在每一步中，选择最显著的变量添加到模通过显著性检验来判断新添加的变量是否个解释变量型中显著地改善模型拟合后向消除从所有自变量开始，逐步消除对模型使用F检验或t检验评估每个变量的显贡献最小的变量著性逐步调整模型，直到所有剩余变量都显著影响因变量多重共线性定义影响多重共线性是指线性回归模型中，两个或多个自变量之间存在高多重共线性会导致模型参数估计不稳定，难以确定自变量对因变度线性相关关系的现象量的影响大小检测多重共线性方差膨胀因子VIF特征值和条件数相关系数矩阵VIF是衡量自变量之间线性相关程度的指特征值接近于0或条件数过大都表明存在当自变量之间的相关系数大于

0.8时，表标当VIF大于10时，表明存在严重的多重共线性明可能存在多重共线性多重共线性如何应对多重共线性排除变量主成分回归移除相关性最高的变量，但这可将相关变量组合成新的独立变量能导致信息丢失，影响模型准确，减少多重共线性，但解释结果性可能更复杂岭回归套索回归在参数估计中引入惩罚项，抑制通过将系数缩减到零，自动选择系数的波动，但会导致模型偏误重要变量，但可能不适用于所有情况异常值和影响点分析异常值识别影响点识别12使用箱线图、散点图等方法识使用Cook距离等方法识别对回别数据集中显著偏离其他观测归模型参数估计影响较大的数值的异常值据点处理策略3针对异常值和影响点，可以进行数据清洗、剔除或调整模型等处理异常值的识别散点图箱线图直方图在散点图中，异常值会明显偏离数据点的总箱线图通过显示数据的四分位数范围和异常直方图显示数据的频率分布，异常值会出现体趋势值，帮助识别异常值在分布的边缘或远离主要峰值影响点的识别Cooks DistanceDFFITS测量单个观测值对回归模型的影响程衡量删除单个观测值后，预测值的变度化量Leverage表示观测值在预测变量空间中的位置案例分析通过案例分析，可以更好地理解多元线性回归的应用场景和方法例如，我们可分析企业销售额与广告投入、市场占有率等因素之间的关系，并预测未来销售额此外，案例分析还可以帮助我们识别模型的局限性，例如多重共线性、异常值等问题，并根据实际情况选择合适的解决方法结论与讨论多元线性回归模型能够有效地预测因模型的结果可以帮助我们理解变量之变量的值，但需要注意预测结果的可间的关系，并为决策提供依据，但需靠性要谨慎解读模型的建立和应用是一个持续改进的过程，需要不断地评估和优化。