《数据分析与时序预测》课件

数据分析与时序预测课程介绍掌握数据挖掘与预测技术适合数据分析师与工程师需基础统计学和编程知识数据分析与时序预测的应用场景金融领域股票价格预测、风险评估医疗健康病情监测、疫情传播预测交通运输客流量预测、拥堵情况预报智能制造设备故障预测、产能规划数据分析基础概念数据类型分析流程•数值型•数据收集•分类型•数据清洗•时间型•特征工程•文本型•建模分析•结果呈现结构化与非结构化数据结构化数据非结构化数据半结构化数据•表格形式存储•无固定格式•有部分结构•明确的行列关系•信息抽取复杂•自描述特性•示例Excel、数据库表•示例文本、图像、音频•示例XML、JSON数据分析的常用方法与流程数据收集问题定义获取相关数据源明确分析目标数据处理清洗、转换、整合结果呈现建模分析可视化与决策支持应用适当算法时序数据基本概念时间戳频率时间窗口数据记录的时间点采样间隔（日、周、分析的时间段长度月）季节性周期性变化模式时序数据的来源与案例传感器数据金融交易数据互联网日志温度、湿度、压力等物理量股价、汇率、成交量变化网站访问量、用户点击行为数据收集与获取技术网络爬虫自动化抓取结构化网页数据接口API调用第三方服务获取标准数据数据库查询从企业内部系统提取历史数据传感器采集物联网设备实时数据采集数据预处理必要性提高模型准确性减少噪声和异常影响数据标准化与转换统一尺度和格式处理缺失和异常值填补数据空缺提升计算效率优化数据结构缺失值处理方法方法优点缺点适用场景删除法简单直接可能丢失信缺失少且随息机均值填充保留数据量可能引入偏数值型特征差预测填充精度高计算复杂有明显数据关联数据清洗与异常检测异常值识别3σ原则、箱线图法、聚类检测噪声过滤滤波算法、平滑处理格式标准化日期格式、文本编码统一一致性检查数据完整性、业务规则验证数据标准化与归一化Min-Max归一化Z-score标准化对数变换x=x-min/max-min z=x-μ/σx=logx缩放到[0,1]区间均值为0，标准差为1压缩数据范围保留原始分布形状适用于正态分布数据处理偏态分布数据可视化基础折线图展示趋势变化柱状图比较不同类别散点图表现相关关系多维数据可视化热力图三维散点图平行坐标图显示二维数据密度分布展示三维空间关系分析多维特征模式数据探索性分析（）EDA描述性统计计算均值、方差、分位数分布分析直方图、密度曲线绘制相关性分析计算变量间相关系数异常值探查检测数据中的离群点描述性统计与数据分布相关性分析与协方差数据降维与主成分分析（）PCA标准化数据对原始特征进行归一化处理计算协方差矩阵分析变量间相互关系特征值分解求解特征向量和特征值选择主成分根据方差贡献率确定保留维度数据投影转换将原始数据映射到新空间特征工程与特征选择特征构建特征选择•数学变换•过滤法•多特征组合•包装法•时间窗口统计•嵌入法•领域专家知识•基于树模型重要性分类与回归基本模型线性回归逻辑回归•预测连续值•二分类问题•易于理解和实现•输出概率解释•假设线性关系•适合线性可分•对异常值敏感•可扩展到多分类决策树•分类与回归•直观可解释•处理非线性关系•易过拟合机器学习在时序数据中的角色监督学习非监督学习强化学习基于历史数据预测未发现时序数据中的模动态优化决策策略来值式和聚类时序数据的分解与建模分解组件•趋势项•季节项•周期项•随机项分解模型•加法模型•乘法模型时间序列分解示例•STL分解平稳性与自相关性平稳性检验自相关函数ACF偏自相关PACFADF、KPSS单位根检验揭示时间延迟相关性确定直接影响关系随机游走与趋势分析0√t随机游走期望标准差增长无偏移随机游走的理论期望值无偏移随机游走的标准差增长率50%上涨概率对称随机游走的上涨概率滞后与滑动平均滞后特征使用过去数据点作为当前预测特征简单移动平均等权重计算窗口内平均值加权移动平均近期数据赋予更高权重指数移动平均权重指数衰减的平滑方法与模型原理ARMA ARIMA模型模型模型AR MAARIMA自回归模型移动平均模型整合自回归移动平均模型当前值由过去p个值线性组合当前值由当前和过去q个误差项组参数p,d,q分别控制自回归、差合分、移动平均参数p决定历史影响深度参数q决定随机冲击影响适用于非平稳时序模型建模步骤ARIMA平稳性检验进行ADF检验，必要时差分处理模型识别通过ACF/PACF图确定p、q值参数估计使用最大似然法估计模型参数模型诊断残差白噪声检验、过拟合检查模型预测使用拟合模型生成预测值季节性模型（）ARIMA SARIMA模型表示SARIMAp,d,qP,D,Qm•p,d,q非季节部分参数•P,D,Q季节部分参数•m季节周期长度具有明显季节性的时序数据指数平滑方法二次指数平滑适用于有趋势无季节数据三次指数平滑简单指数平滑霍尔特-温特斯模型适用于无趋势无季节数据适用于有趋势有季节数据状态空间模型与卡尔曼滤波状态空间模型组成卡尔曼滤波步骤•状态方程

1.预测状态•观测方程

2.预测协方差•噪声假设

3.计算卡尔曼增益•初始状态分布

4.更新状态估计

5.更新协方差矩阵神经网络与深度学习（时序）RNN LSTMGRU简单循环结构，梯度消失问题门控机制，长期依赖性捕获简化版LSTM，参数更少时间序列预测的损失函数模型调参与优化方法贝叶斯优化概率模型指导搜索，高效探索参数空间网格搜索穷举指定范围内所有参数组合随机搜索在参数空间随机采样点进行评估手动调参基于经验和领域知识调整多变量时间序列建模外生变量与目标变量相关但互不影响的变量向量自回归（）VAR捕捉多个变量间的线性依赖关系动态贝叶斯网络描述变量间复杂概率依赖多变量深度学习自动提取多源数据特征时序聚类与异常检测时序距离度量异常检测方法•欧氏距离•基于规则•DTW距离•统计方法•编辑距离•预测偏差•相关系数•深度学习短时预测长时预测VS特征短期预测长期预测时间范围小时/天/周月/季度/年预测精度较高较低建模方法统计+机器学习趋势分析+情景分析误差传播影响小累积明显业务场景一电力负荷预测业务场景二金融市场时间序列股价预测波动率聚类高频交易技术指标与基本面分析结合GARCH族模型捕捉波动特征毫秒级实时决策，套利策略业务场景三医疗健康监测心率变异性分析识别心脏健康问题前兆血糖水平预测糖尿病患者个性化管理睡眠质量监测基于体动和心率的睡眠分期活动模式识别检测行为变化预警健康问题时序预测在交通出行中的应用交通流量预测客流量预测出行时间预估路口车流量短期预测公共交通运力调配考虑天气、事件等多因素互联网日志用户行为预测/端到端数据分析项目实践需求调研数据准备明确业务目标和关键指标收集和处理相关数据监控维护模型构建持续优化迭代选择算法并训练模型部署应用评估验证集成到业务系统测试模型效果常用数据分析与时序预测工具选择适合项目需求的工具考虑性能、生态、社区支持数据分析自动化与MLOps流水线自动化数据采集到模型部署全流程自动化定时任务调度周期性重训练更新模型监控与预警模型性能和数据质量自动监测快速部署更新持续集成与持续部署时序大数据处理框架Spark StreamingKafka•微批处理架构•分布式消息队列•低延迟流处理•高吞吐低延迟•容错性强•数据持久化•与Spark生态结合•消息主题订阅Flink•真正的流处理•事件时间语义•状态管理•低延迟高吞吐业界前沿大模型结合时序AI预测大语言模型时序处理将时序数据转换为自然语言理解多模态融合图像、文本、时序数据协同分析提示工程通过精心设计的提示引导模型分析迁移学习大模型知识迁移解决小样本问题数据合规与伦理风险数据隐私保护算法公平性模型可解释性•数据匿名化•避免偏见放大•局部解释•合规存储•结果公平性•全局解释•隐私计算•多样性考量•特征重要性•知情同意•敏感特征处理•决策路径时序预测常见难点与挑战复杂的非线性关系1现实世界的复杂模式数据分布漂移模型随时间衰减不规则采样与缺失值现实数据不完美噪声与异常信号提取困难未来趋势展望智能体自适应主动感知环境变化调整预测多模态融合整合文本、图像、时序等多源数据联邦学习保护隐私的分布式建模可解释AI透明可靠的预测决策课程总结与答疑1030+核心章节实用技巧从基础到前沿的体系化内容直接应用于实际业务场景5案例分析典型行业应用深度剖析。