《数据分析与可视化》课件

数据分析与可视化探索数据世界的旅程从原始数据到智能决策掌握数据分析核心技能为什么需要数据分析辅助决策数据驱动决策减少主观偏见把握趋势发现商业机会和市场动向数据爆炸每天产生

2.5万亿字节数据数据分析的定义处理分析清洗与转换发现模式与关系收集解读获取原始数据形成实用洞察2314数据分析的应用场景商业领域科学研究销售预测基因组学客户细分气候模型投资决策物理实验公共服务个人应用交通优化健康追踪疾病监控财务管理城市规划学习进度数据分析的基本流程数据收集获取原始数据数据清洗处理缺失值和异常数据分析应用统计与算法数据可视化创建图表展示结果结果应用指导决策与行动数据分析师必备能力统计思维概率论与统计学基础编程能力Python、R、SQL等领域知识特定行业背景理解沟通技巧呈现结果与讲故事能力常见数据类型及结构80%15%结构化数据半结构化表格形式，如数据库如JSON、XML文件5%非结构化如文本、图像、视频数据分析中的常见挑战数据质量问题不完整、不准确、不一致数据数据量巨大处理效率与存储成本高偏见与误用采样偏差导致结论错误安全与隐私数据保护与合规问题数据的获取方式内部收集外部获取数据购买企业自有系统公开数据集数据交易平台用户行为跟踪网络爬虫行业数据服务传感器数据第三方API市场研究报告数据收集工具介绍Excel PythonKaggle简单直观的数据处理强大的数据处理库开放数据集竞赛平台数据格式及存储结构CSV文件简单的表格数据JSON格式灵活的键值对数据SQL数据库结构化关系型存储NoSQL数据库非关系型分布式存储数据预处理概述数据清洗数据转换去除错误与异常调整格式和结构数据降维数据集成减少特征数量合并多个数据源缺失值处理方法删除法均值替换预测填充去除含缺失值的记录用平均值填充模型预测缺失值众数填充用最常见值替代异常值检测与处理主要检测方法箱型图法（IQR）、Z-score标准化、聚类检测处理方法移除、替换、分箱、对数转换数据转换与归一化方法公式适用场景Min-Max归一化x=x-min/max-min需要固定范围[0,1]Z-score标准化x=x-μ/σ正态分布数据对数转换x=logx非负数据且偏斜分布特征工程基础特征选择选择最相关特征特征提取创建新的组合特征特征创建基于领域知识构造降维技术PCA、t-SNE等方法数据分析方法导论预测性分析预测未来趋势推断性分析验证假设关系探索性分析发现数据特征描述性分析总结历史数据统计描述指标集中趋势均值、中位数、众数离散程度方差、标准差、四分位分布形状偏度、峰度位置关系百分位、Z-值数据可视化基础概念定义目的将抽象数据转化为可视图形发现规律与趋势增强人对数据的理解讲述数据故事辅助分析决策原则准确清晰简洁有效突出重点探索性数据分析概述EDA初步数据检查了解数据结构与特征单变量分析每个变量分布特征双变量分析探索变量间关系多变量分析多因素交互影响相关性分析皮尔逊相关系数斯皮尔曼等级相关可视化方法线性关系测量秩相关，非线性关系散点图取值范围[-1,1]适用于顺序变量热力图相关矩阵图假设检验基础基本概念显著性水平检验步骤零假设与备择假设常用α值

0.05,

0.01提出假设→选择检验→计算统计量→决策方差分析ANOVA回归分析基础简单线性回归多元线性回归y=β₀+β₁x+εy=β₀+β₁x₁+β₂x₂+...+βx+εₙₙ只有一个自变量多个自变量共同影响分类与聚类方法简介有监督学习1分类预测已知类别无监督学习2聚类发现数据结构常用算法3KNN、决策树、K-means时间序列分析入门趋势分析季节性移动平均长期变化方向周期性重复模式平滑短期波动文本数据分析简述文本预处理分词、去停用词特征提取TF-IDF、词嵌入文本分析主题建模、情感分析结果解读洞察文本内容数据分析工具全览主流工具适用场景Excel简单分析，小数据集Python代码驱动，灵活处理Tableau快速可视化，商业智能数据可视化的重要性认知增强人脑处理图形比数字快600倍2模式识别直观发现数据中的规律讲述故事传递数据背后的见解辅助决策加速理解与判断过程可视化设计原则简洁性准确性去除视觉干扰2忠实呈现数据1清晰性易于理解与解读上下文4相关性提供必要背景聚焦关键信息图表类型介绍（）1柱状图条形图比较不同类别的数量水平版柱状图适用离散分类数据适用标签较长的分类图表类型介绍（）2折线图面积图阶梯折线图显示数据随时间变化趋势强调部分对整体的贡献显示离散时间点的变化图表类型介绍（）3饼图显示部分与整体关系，适合5类以内环形图饼图变体，中心可添加信息玫瑰图结合饼图与柱状图特点，多维度展示图表类型介绍（）4散点图泡泡图显示两个变量的关系散点图加入第三维度适用相关性分析泡泡大小表示数值图表类型介绍（）5箱型图直方图热力图显示数据分布与异常值展示数据频率分布使用颜色强度表示值地理空间可视化地理分布图热点地图流向图区域数据对比地理位置密度地区间数据流动数据可视化基础Python常用图表自定义功能保存格式Matplotlib基础绘图库直方图、散点图、条颜色、标签、图例、PNG、JPG、PDF、形图网格SVG利用美化图表seaborn自带绘图pandas简便调用图表类型df.plot line,bar,hist自动使用数据列pie,scatter,box优势与数据处理紧密集成快速探索数据特征交互式可视化工具Plotly交互性强，支持网页发布Bokeh针对Web的原生交互库Altair声明式可视化，语法简洁Dash构建分析应用和仪表板基础操作Tableau数据导入连接多种数据源工作表创建拖放式图表构建仪表板设计组合多个可视化发布共享云端分享与协作简介与应用Power BI数据连接多源数据整合能力数据转换Power Query编辑器可视化创建拖放式界面设计分享与协作Microsoft生态系统集成可视化常见误区与陷阱截断坐标轴3D效果颜色误用夸大微小差异扭曲数据比例干扰数据解读实战案例导入项目背景分析目标某电商平台销售数据分析销售趋势识别三年历史数据客户行为理解多地区、多品类营销策略优化数据范围交易记录500万条用户行为数据产品目录信息数据获取与预处理过程数据导出数据清洗从CRM和ERP系统提取处理缺失值和重复项特征工程数据整合创建分析所需变量连接多个相关表描述性数据分析演示构建可视化仪表盘销售概览地区分析趋势分析关键指标一目了然区域销售表现对比销售随时间变化数据洞察与业务决策发现的问题原因分析应对策略季节性销售波动促销策略不当调整营销时机特定产品类别下滑竞争对手价格优势价格弹性测试客户流失率增加用户体验问题优化用户界面常见问题答疑80%65%数据量大怎么处理如何选择合适图表采样技术和分布式计算基于数据特点和分析目的70%处理缺失数据策略根据业务逻辑和数据量决定课程总结与展望未来趋势AI辅助分析与自动化能力提升持续学习与实践工具掌握技术栈多样化基础夯实统计思维与数据素养。