《数据分析基础》课件

数据分析基础本课程介绍数据分析核心概念和方法适合初学者及希望系统掌握数据分析技能的人员数据分析的意义引导创新发现新机会优化决策减少主观判断数据驱动基于事实而非直觉数据分析流程总览数据收集获取原始数据数据清洗处理错误和缺失探索分析发现模式和趋势可视化直观呈现结果结果解读提出行动建议数据分析师的角色核心职责必备技能发展路径数据收集与整理查询能力高级分析师••SQL•统计分析与建模统计学基础数据科学家•••数据可视化呈现编程技能商业智能专家••Python/R•洞察发掘与建议业务理解能力数据产品经理•••常见数据分析应用场景金融零售风险评估客户画像欺诈检测库存优化医疗互联网疾病预测用户行为分析治疗效果评估推荐系统数据的基本概念知识可应用的规则与经验信息有意义的数据组合数据原始事实和观察数据的类型数值型分类型特殊类型可进行数学运算表示类别或属性时间序列股价走势•文本评论内容•连续型温度、价格名义型性别、国家••地理数据位置坐标•离散型人数、次数有序型等级、评分••数据采集与获取方式调查问卷传感器网络爬虫直接收集用户反馈自动记录物理世界数据自动获取网页信息接口API规范化数据交换通道开源商业数据源示例多样化数据来源支持不同研究需求数据采集的注意事项法律合规遵守等数据保护法规GDPR隐私保护匿名化处理个人敏感信息获取授权明确数据使用范围和期限伦理考量避免数据歧视和偏见原始数据的常见问题缺失值异常值重复值数据记录不完整明显偏离正常范围相同记录多次出现数据清洗基本流程检查识别数据中的问题缺失情况统计•修正异常值检测•格式一致性验证解决已识别的问题•填充缺失值•转换处理异常值•调整数据格式与结构去除重复项•类型转换•标准化处理•特征编码•缺失数据处理方法方法类别具体手段适用场景删除法行删除、列删除缺失比例高、随机缺失统计填充均值中位数众数数值型数据、正态分//布预测填充回归、近邻推断变量间存在关联关系K特殊值填充、、等缺失本身有意义0-1Unknown处理异常值的技术统计学方法处理策略分数法删除确认为错误值•Z|z|3•箱型图法外替换均值或中位数•

1.5IQR•绝对中位差转换对数或根转换•MAD•保留真实反映现象•数据标准化与归一化不同特征尺度统一化处理提高模型训练效率与准确性数据转换与编码分类变量编码数值变量转换特殊类型处理对数转换处理偏态时间特征提取年月日•One-hot[0,0,1,0]••数值标签映射多项式转换非线性关系文本向量化词袋模型•Label••基于目标变量离散化区间分组地理坐标转换网格编码•Target••去重与数据一致性重复标准定义确定完全重复或部分重复判定规则重复检测通过主键检查或哈希计算识别重复项合并或删除选择保留或合并策略处理重复记录一致性验证确保数据整体结构和关系完整性数据预处理工具简介Python pandasExcel SQL强大的数据处理库直观的界面操作数据库层面处理描述性统计分析简介提出问题计算指标定义分析目标应用统计方法解读发现可视化提炼数据洞察图形化展示常用统计指标及含义数据的离散程度测量方差标准差四分位差变异系数各观测值与均值差异平方和方差的平方根，与原数据同上四分位数与下四分位数之标准差与均值之比的平均单位差CV=σ/μ₃₁σ²=Σx-μ²/nσ=√σ²IQR=Q-Q分布类型认识正态分布偏态分布均匀分布钟形曲线，两侧对称右偏或左偏各值概率相等数据分组与分布展示频数分布表分组区间频数频率0-1055%11-201515%21-304545%31-403535%分组柱状图直观展示数据分布形态数据可视化的基本原则简洁性避免视觉干扰，聚焦关键信息准确性真实反映数据关系，不歪曲比例可读性清晰标签和图例，易于理解目的性针对特定问题选择合适图表常用数据可视化类型根据数据类型和分析目的选择合适图表箱型图与密度图密度图箱型图展示连续变量分布形态平滑曲线反映数据概率密度显示中位数、四分位数和离群值适合比较多组数据分布散点图与相关性初步分析+10完全正相关无相关变量同向变化变量独立无关-1完全负相关变量反向变化热力图与矩阵可视化热力图应用场景相关性矩阵展示•时间模式识别•地理分布热点•多变量关系比较•颜色深浅直观反映数值大小常用可视化工具介绍Matplotlib TableauPower BI/Seaborn拖拽式商业智微软商业分析编程生能工具平台Python态ggplot2语言绘图包R探索性数据分析（）流程EDA形成假设提出问题基于业务理解明确探索目标数据验证分析与可视化总结发现修正假设形成洞察报告根据发现调整筛选与透视分析数据筛选方法数据切片维度条件筛选时间维度年月日•WHERE/Filter•//排序地域维度国家省市•ORDER BY•//取前用户维度性别年龄段•N TOP/HEAD/LIMIT•/分组统计产品维度类别价格区间•GROUP BY•/多维透视表应用分类变量分析频率分析计算各类别占比交叉表两变量关系矩阵分组比较不同类别统计量对比条件概率类别间相互影响程度连续变量分析分布形态检查直方图、密度图、图QQ集中趋势测量均值、中位数、众数计算与比较离散程度评估方差、标准差、极差分析异常值识别分数、箱型图、方法Z MAD变量转换尝试对数、平方根等变换改善分布相关性分析基础皮尔逊相关系数斯皮尔曼相关系数线性相关性度量等级相关性度量适用于正态分布数据适用于非正态分布数据值范围到对异常值不敏感r-11因果关系与混淆变量相关因果混淆变量因果验证≠两变量统计关联不代表因果关系同时影响因变量和自变量的第三方因素随机对照试验是确立因果关系的金标准假设检验基础假设检验思路检验t提出原假设₀单样本检验•H•t提出备择假设₁独立样本检验•H•t设定显著性水平配对样本检验•α•t计算检验统计量适用于比较均值••与临界值比较得出结论•卡方检验独立性检验•拟合优度检验•适用于分类变量•检验频率分布差异•置信区间与显著性置信区间统计显著性参数真值可能范围值小于拒绝原假设••pα常用置信水平常用或•95%•α=

0.

050.01区间宽度反映精确度显著不等于重要••样本量增大区间变窄需考虑效应量大小••预测分析入门预测未知值基于历史数据模式预测未来表现量化关系建立变量间数学关系模型挖掘规律3从已有数据中发现模式简单线性回归基本原理₀₁Y=β+βX+ε因变量预测目标Y自变量特征X₀截距β₁斜率β误差项ε多元回归模型分类预测常用方法近邻决策树逻辑回归K KNN基于相似度的简单分类方法树状规则结构，易于解释概率预测的线性分类模型常用分析工具与环境概览工具名称特点适用场景简单易用，界面直观小型数据集，简单分Excel析交互式编程，代码与数据探索，模型开发Jupyter Notebook说明混合拖拽式操作，美观可业务报告，交互仪表Tableau视化盘集成微软生态，商业企业报表，数据共享Power BI智能数据分析基础库PythonPandas NumPyMatplotlib数据结构与操科学计算基础基础绘图库作高效数组运算自定义可视化处能力强DataFrame理表格数据Scikit-learn机器学习工具箱预处理到模型评估全覆盖数据提取与处理SQL--基本查询与筛选SELECT column1,column2FROM table_nameWHERE condition;--聚合函数SELECTcategory,COUNT*as total_count,AVGprice asavg_priceFROM productsGROUPBY categoryHAVINGCOUNT*10ORDER BYavg_price DESC;--表连接SELECT a.name,b.order_dateFROM customersaJOIN ordersbON a.customer_id=b.customer_id;数据分析项目案例用户行为分析1目标确定提高用户留存率识别流失风险因素2数据收集用户登录日志功能使用频率用户反馈评分分析过程用户行为分群流失预警模型满意度影响因素结论与建议优化新用户引导改进核心功能体验精准营销策略调整数据分析项目案例产品营销效果评估2数据分析常见误区与陷阱样本选择偏差样本不具代表性导致结论失真幸存者偏差仅关注成功案例忽略失败样本相关性错误解读混淆相关与因果过拟合模型过于复杂捕捉噪声数据分析未来发展趋势人工智能辅助实时分析自动化数据探索与解读流数据即时处理与决策云计算整合增强分析更强大的分布式分析能力机器学习辅助人类决策课程总结与学习建议掌握实践技能通过实际项目应用所学扩展专业知识深入学习统计学和领域知识打好技术基础熟练掌握和SQL Python。