《数据处理与分析》课件

数据处理与分析数据时代背景下的必备技能本课程聚焦实用数据处理方法数据科学与数据分析简介起源现状统计学与计算机科学融合13发展大数据时代快速崛起数据分析的基本流程问题定义明确业务目标和分析方向数据收集获取所需的原始数据数据处理清洗转换成可用格式分析与展现提取洞见并可视化呈现数据类型与结构结构化数据非结构化数据表格形式，有明确的行列关系文本、图像、音频等自由格式半结构化数据JSON、XML等有标记但灵活的格式数据收集渠道企业内部数据公开数据来源业务系统、用户行为、交易记录政府开放数据、学术数据集网络爬取数据API接口数据网页内容、社交媒体、评论第三方平台提供的数据服务数据采集技术基础Web爬虫原理Python工具模拟浏览器请求获取网页•Requests HTTP请求库•BeautifulSoup HTML解析解析DOM提取所需内容•Scrapy爬虫框架处理动态加载和反爬机制•Selenium浏览器自动化数据采集的伦理与法律隐私保护合规采集保护个人敏感信息遵守网站robots协议行业规范数据安全遵循行业最佳实践采集和传输过程的安全保障数据存储与管理云平台存储弹性扩展、全球访问数据仓库与湖泊结构化存储与灵活管理数据库系统SQL与NoSQL多样选择文件存储原始数据的基础存储数据预处理的重要性噪声数据影响数据一致性流程关键环节干扰分析结果准确性确保各来源数据格式统一决定后续分析质量的基础缺失值处理方法缺失类型识别MCAR、MAR、MNAR机制判断删除法行删除、列删除的适用场景插补法均值、中位数、回归、KNN等方法异常值检测与处理检测方法处理策略•箱线图法（IQR）•删除异常数据点•Z-score标准化检验•取代为边界值•基于密度的局部异常•数据转换降低影响•聚类分析检测•专门建模处理数据标准化与归一化1标准化Z-score转换为均值

0、标准差1的分布2归一化Min-Max缩放至[0,1]区间内3鲁棒缩放基于中位数和四分位数的缩放4对数变换处理偏斜分布的有效手段数据编码与特征工程标签编码独热编码将类别转为数字标签类别转二进制特征向量特征选择特征衍生筛选最有信息量的特征创建新特征增强表达能力数据格式转换数据类型转换方法应用场景整型int int,astype计数、索引、分类浮点型float float,astype测量值、比率字符串str str,astype标识符、文本分析时间日期时序分析、趋势研究to_datetime文本数据处理分词处理将文本切分为单词或词语单元去除停用词过滤掉的、了、和等无意义词语TF-IDF计算评估词语在文档中的重要性向量化表示将文本转换为数值向量便于分析时间序列数据处理时间格式标准化统一日期时间格式缺失时间点插补补全时间序列完整性时间窗口提取滚动平均和时间特征构建数据可视化基础洞察目的工具选择设计原则发现数据中隐藏的模式Matplotlib、清晰、准确、高效传达和关系Seaborn、Plotly、信息Tableau统计图表类型（）1柱状图比较不同类别数量差异折线图展示时间趋势变化饼图显示部分与整体的关系统计图表类型（）2散点图揭示变量间相关关系箱线图展示数据分布及异常热力图显示二维数据密度和强度关系型数据可视化相关系数热力图网络结构图桑基图直观显示多变量间相关性强度展现实体间复杂连接关系可视化流量在系统中的分配数据描述性统计集中趋势度量离散程度度量均值、中位数、众数方差、标准差、极差、四分位距分布形状度量偏度、峰度数据分布分析频数分布理论分布拟合统计各值区间的出现次数正态分布检验Shapiro-Wilk直方图连续数据分布可视化Q-Q图实际分布与理论分布比较条形图离散数据分布展示偏度Skewness分布对称性测量峰度Kurtosis尾部厚度测量相关性分析皮尔逊相关系数斯皮尔曼等级相关线性相关性测量非参数相关性测量范围[-1,1]，0表示无相关适用于非线性关系和序数据显著性检验p值用于判断相关性是否显著通常p

0.05认为显著相关回归分析基础分类分析基础逻辑回归预测目标概率的基础分类模型决策树基于特征条件的分类规则树K近邻KNN基于相似度的实例分类方法聚类分析简介K-means聚类层次聚类密度聚类基于距离划分数据点到K个簇构建数据点间的嵌套簇层次基于密度连接形成任意形状的簇降维与特征抽取主成分分析PCA t-SNE线性降维保留最大方差方向非线性降维保留局部结构适用场景适用场景•可视化高维数据•复杂数据可视化•去除冗余特征•聚类前的数据探索•提高算法效率•保留数据内在结构数据处理中的自动化工作流引擎数据流水线批量任务管理Airflow、Prefect等调ETL过程自动化与监控定时执行与依赖关系管度工具理常用数据分析库Python亿1+10+Pandas下载量核心数据科学库最流行的数据处理库构建完整分析环境80%数据科学任务覆盖从清洗到建模全流程支持数据处理核心功能Pandas数据结构数据导入导出DataFrame与Series基础操作支持CSV、Excel、SQL等多种格式分组与聚合数据清洗灵活的分组统计分析缺失值、重复值处理高效数值计算NumPy数组运算优势广播机制向量化操作比循环快数十倍不同形状数组间自动扩展内存优化通用函数连续内存布局提升计算性能高效实现数学运算数据清洗在企业中的应用金融欺诈检测异常交易模式识别节省数亿损失用户画像完善缺失数据修复提升标签准确率30%零售库存优化清洗后数据降低库存成本15%统计分析实战电商数据回归分析应用案例分类分析应用案例流失风险评分关键影响因素模型效果预测客户流失概率实现精准干预服务使用频率是最重要预测变量AUC=

0.85，识别85%高风险客户聚类分析实操案例高价值稳定客户增长型新客户消费高，频率稳定消费增速快，潜力大流失风险客户偶尔型消费者活跃度下降明显低频次，中等消费数据可视化案例讲解用户行为漏斗展示转化率变化业绩仪表盘整合多维度KPI地理数据可视化揭示区域差异大数据处理基础价值Value从海量数据中提取商业价值速度Velocity数据产生与处理的快速性多样性Variety结构化与非结构化数据共存准确性Veracity数据质量与可靠性规模Volume5TB、PB级数据量数据分析流程Spark数据导入多源数据接入分布式存储数据清洗转换分布式ETL处理分析计算分布式SQL查询与复杂算法结果输出存储或可视化呈现数据处理中的应用AI特征工程自动化AI辅助特征选择与转换智能建模与选择AutoML自动尝试最佳模型超参数自动调优贝叶斯优化提升模型性能异常检测与修复智能识别并修正数据问题数据治理与质量管理数据标准化数据血缘追踪质量监控体系统一命名规范和数据定义记录数据来源与流转过程建立全面的数据质量度量指标数据安全与隐私保护常见安全威胁防护措施隐私保护技术数据泄露、未授权访问、数据损坏数据加密、访问控制、审计记录数据脱敏、差分隐私、联邦学习数据分析中的伦理问题算法偏见模型训练数据中的历史偏见被放大透明度与可解释性用户有权了解数据如何被使用知情同意原则明确告知数据收集与使用目的公平性考量算法决策不应歧视特定群体数据可视化高级话题动态可视化大屏设计交互体验实时数据流动态更新信息层次与视觉焦点筛选与钻取功能交互式时间轴展示色彩心理学应用悬停提示信息数据动画增强理解数据密度与空间布局自定义视图保存可解释性与自动报告生成模型可解释性自动洞察发现特征重要性解析自动识别数据中的关键趋势自然语言问答报表自动生成以对话方式查询数据洞察根据数据模式自动构建报告数据处理常见问题及解决缺失值处理1针对性选择填充或删除方法异常值识别2结合业务理解判断处理方式数据不一致3建立统一标准和转换规则性能瓶颈4优化算法和存储结构行业实战金融、医疗、零售金融风险评估、欺诈检测、投资组合优化医疗疾病预测、治疗效果分析、医疗资源优化零售客户画像、需求预测、个性化推荐前沿发展数据智能与自动分析AutoML全自动模型训练与部署智能报表自动识别数据洞察并生成报告无代码分析拖拽式界面实现复杂分析课程回顾与知识结构梳理高级应用行业实战与前沿技术分析方法统计分析、机器学习应用数据处理清洗、转换、特征工程数据基础4采集、存储、格式理解结束与课程展望核心收获全流程数据分析能力实践建议动手构建个人项目集进阶方向专业领域深化、大数据平台、AI融合。