《数据分析与可视化》课件

数据分析与可视化本课程由数据科学系资深教授主讲，将于2024年春季学期开设课程旨在培养学生掌握现代数据分析技能和可视化技术，为数字化时代的数据驱动决策提供坚实基础通过系统性学习Python编程、数据处理、统计分析和可视化工具，学生将具备从原始数据中提取洞察并有效传达发现的能力课程强调理论与实践相结合，通过真实案例和项目实战，培养学生解决实际业务问题的数据分析思维课程内容大纲Python编程基础语法、数据结构、面向对象数据获取与处理爬虫、API、数据清洗数据可视化技术Matplotlib、Seaborn、交互式图表探索性数据分析统计分析、相关性、时间序列实战项目应用商业案例、用户画像、金融风控前沿技术展望AI可视化、BI工具、行业趋势导论数据分析的时代价值万亿15%

2.5年增长率数据价值数据分析师职位需求全球数据经济规模90%数据增长过去两年产生的数据占比在数字化转型浪潮中，数据已成为新的石油，驱动着商业决策和创新发展从金融风控到精准医疗，从智能制造到个性化推荐，数据分析正在重塑各个行业的运营模式数据分析流程总览问题定义数据获取1明确业务目标和分析需求收集相关数据源2决策反馈数据处理6提供业务建议和改进方案清洗、转换、整合数据35结果可视化建模分析4制作图表和仪表盘应用统计方法和算法常用数据分析工具介绍Python R语言Excel占据60%市场份额的主流工具，拥有丰富专为统计分析设计的语言，在学术研究入门门槛最低的数据分析工具，适合小的数据科学库生态，语法简洁易学，社和生物统计领域应用广泛提供完善的规模数据处理和基础分析商业环境中区活跃适合复杂数据处理和机器学习统计函数和可视化包使用普遍，与其他Office软件集成良项目好•专业统计分析功能•强大的第三方库支持•操作简单直观•优秀的可视化能力•良好的可扩展性•广泛的用户基础•学术界认可度高•跨平台兼容性强基础环境与工具PythonAnaconda发行版Jupyter Notebook集成开发环境集成了Python解释器和常用数据科学交互式编程环境，支持代码、文档和可PyCharm提供专业的代码调试和项目包的一站式解决方案包管理器conda视化结果的混合展示非常适合数据探管理功能；VSCode轻量级且扩展丰富，简化了库的安装和环境管理，避免版本索、原型开发和教学演示支持多种编程语言冲突问题语法入门Python1变量与数据类型Python采用动态类型系统，变量无需提前声明类型基本类型包括整数、浮点数、字符串和布尔值，类型转换灵活方便2输入输出操作input函数获取用户输入，print函数输出结果支持格式化输出和多种字符串操作方法，便于数据展示和调试3核心数据结构列表（list）支持有序可变集合，字典（dict）提供键值对映射，集合（set）确保元素唯一性，元组（tuple）创建不可变序列基础语法特性程序结构与流程控制实践案例应用循环控制结构编写数据处理小程序，如计算平均值、查找最条件分支结构for循环适合遍历已知次数的迭代，while循环大最小值、数据分类统计等通过实际案例加使用if-elif-else语句实现程序的条件判断和分处理条件驱动的重复执行掌握break和深对程序结构的理解和应用支执行通过布尔表达式和逻辑运算符构建复continue语句控制循环行为杂的判断条件，控制程序执行路径良好的程序结构是高质量代码的基础合理使用条件语句和循环结构能够有效处理各种数据分析场景，为后续复杂算法实现奠定基础函数与模块Python函数设计原则常用内置模块函数是代码复用的基本单位，应遵循单一职责原则合理的函数os模块提供操作系统接口功能，如文件路径操作和目录管理设计包括清晰的参数定义、返回值约定和文档字符串math模块包含数学函数和常数，datetime模块处理日期时间操作参数传递支持位置参数、关键字参数和默认参数等多种方式，提供灵活的调用接口lambda函数适合简单的匿名函数场景random模块生成随机数，json模块处理JSON格式数据，re模块支持正则表达式匹配这些模块构成了Python强大的标准库基础模块化编程是大型项目开发的关键技术通过import语句导入标准库或第三方模块，避免重复造轮子，提高开发效率和代码质量面向对象程序设计继承与多态1代码复用和扩展机制封装与方法2数据保护和行为定义类与对象3模板定义和实例创建面向对象编程是现代软件开发的重要范式，通过类和对象的概念组织代码结构类定义了对象的属性和方法，对象是类的具体实例在数据分析中，面向对象思想帮助我们构建可重用的数据处理组件例如，可以设计自定义的数据容器类，封装数据存储和基本操作方法，提高代码的模块化程度和可维护性文件操作Python文本文件读写CSV文件处理批量文件操作使用open函数配合CSV是数据分析中最常结合os和glob模块实现with语句安全地打开和见的文件格式csv模批量文件读取和处理关闭文件支持不同编块提供reader和适用于处理多个数据源码格式和读写模式，确writer类，pandas库文件，自动化数据收集保文件操作的可靠性和的read_csv函数更和整合工作流程数据完整性加强大和便捷文件操作是数据分析的基础技能，大部分数据都以文件形式存储掌握高效的文件读写技术能够显著提升数据处理效率，为后续分析工作提供可靠的数据输入异常与调试Python1异常类型识别常见异常包括SyntaxError、NameError、TypeError、ValueError等理解异常产生原因和错误信息解读2异常处理机制使用try-except-finally语句捕获和处理异常合理的异常处理提高程序健壮性和用户体验3调试技巧应用设置断点、单步执行、变量监视等调试方法使用print语句和logging模块跟踪程序执行过程异常处理和调试技能是程序员的必备素养在数据分析项目中，数据质量问题和环境差异经常导致程序异常，掌握这些技能能够快速定位和解决问题数据分析必备库PythonPandasNumPy数据处理和分析核心库，提供DataFrame和Series数据结构，支持数据清洗、转换数值计算基础库，提供高性能的多维数组对和聚合操作象和数学函数，是其他科学计算库的基础Matplotlib基础绘图库，提供完整的2D绘图功能，支持多种图表类型和自定义样式配Scikit-learn置机器学习库，包含分类、回归、聚类等算法Seaborn实现，以及数据预处理和模型评估工具基于Matplotlib的统计绘图库，提供更美观的默认样式和专业的统计图表类型数据获取与采集本地数据源网络数据源从文件系统、数据库和内部系统获取数据包括Excel文通过HTTP请求获取在线数据，包括静态文件下载和动态件、CSV文件、SQL数据库等传统数据源的访问方法内容抓取需要处理网络延迟、重试机制等技术问题API接口数据数据采集流程调用第三方服务提供的API接口获取实时数据需要理解建立标准化的数据采集工作流程，包括数据源识别、采集RESTful API设计原则和身份认证机制策略制定、质量控制和存储管理网络爬虫原理HTTP请求HTML解析数据提取数据存储使用Requests库发送GET/POST BeautifulSoup解析网页结构定位目标元素并提取文本内容将提取的数据保存到文件或数据库请求网络爬虫是自动化数据收集的重要技术Requests库简化了HTTP通信过程，BeautifulSoup提供了强大的HTML/XML解析能力合理使用爬虫技术需要遵守网站的robots.txt协议和相关法律法规爬虫开发中需要处理动态内容加载、反爬虫机制、请求频率控制等技术挑战建议采用渐进式开发方法，从简单的静态页面开始，逐步处理复杂场景爬取结构化数据JSON数据处理XPath定位技术JSON是Web API和现代网站常用的数据交换格式Python内XPath提供了强大的XML/HTML元素定位能力，支持复杂的路置的json模块提供了序列化和反序列化功能，能够方便地处理径表达式和条件筛选结合lxml库或Selenium工具使用嵌套的数据结构Scrapy框架集成了XPath支持，适合构建大规模、高效率的爬掌握JSON数据的解析和提取技巧，包括处理嵌套对象、数组遍虫项目支持并发处理、中间件扩展和分布式部署历和异常情况处理，是现代数据采集的必备技能结构化数据提取需要深入理解目标网站的数据组织方式通过浏览器开发者工具分析网络请求和页面结构，制定最优的数据提取策略数据接口API天气数据APIOpenWeatherMap提供全球天气数据服务，支持当前天气、天气预报和历史数据查询API返回JSON格式数据，包含温度、湿度、风速等详细信息金融数据APIAlpha Vantage、Yahoo Finance等平台提供股票、外汇、加密货币等金融数据API支持实时报价、历史数据和技术指标查询社交媒体APITwitter、微博等社交平台提供数据API，支持话题趋势、用户行为、舆情监测等应用场景需要申请开发者账号和API密钥数据导入与导出文件格式读取函数导出函数应用场景CSV read_csv to_csv通用数据交换Excel read_excel to_excel业务报表处理JSON read_json to_json Web数据交换SQL read_sql to_sql数据库操作Parquet read_parqu to_parquet大数据存储et Pandas提供了统一的数据读写接口，支持多种文件格式和数据源合理选择数据存储格式能够优化读写性能和存储空间Parquet格式特别适合大数据场景，提供列式存储和压缩优化数据清洗基础数据质量评估1检查完整性、准确性、一致性缺失值处理2删除、填充、插值等策略异常值检测3统计方法和可视化识别数据标准化4格式统一和规范化处理数据清洗是数据分析项目中最耗时但最关键的环节，通常占据项目工作量的60-80%Pandas提供了强大的数据清洗工具，包括dropna删除缺失值、fillna填充缺失值、drop_duplicates去除重复数据等建立标准化的数据清洗流程和质量控制机制，能够显著提高数据分析的准确性和可靠性记录清洗过程和决策依据，确保分析结果的可追溯性数据转换与规整数据类型转换数据合并操作使用astype方法转换数据类merge函数实现数据库式连接型，pd.to_datetime处理日操作，concat函数拼接数据期时间格式，框，join方法基于索引合并pd.to_numeric转换数值类掌握内连接、外连接等不同连接型处理转换过程中的异常情况方式和错误数据数据拆分重组split方法拆分字符串列，explode展开列表类型数据，stack和unstack实现行列转换处理复杂的嵌套数据结构数据转换是将原始数据整理成分析所需格式的过程多表联合分析是常见需求，需要理解不同连接方式的适用场景和潜在风险，确保数据完整性和分析准确性数据重塑与分组透视表操作分组聚合分析频数统计表pivot_table函数创groupby方法按指定value_counts统计建数据透视表，实现数列对数据进行分组，配各值出现频次，据的行列重新排列和聚合agg函数实现多种crosstab创建交叉合计算支持多级索引统计计算支持自定义分析表这些工具帮助和多种聚合函数，是数聚合函数和复杂的分组快速了解数据分布特征据分析中的强大工具条件和变量间关系数据重塑技术将宽格式和长格式数据相互转换，适应不同分析需求分组分析揭示数据的内在模式和规律，是探索性数据分析的核心技术掌握这些方法能够从多个维度深入理解数据特征数据处理进阶1哑变量处理使用pd.get_dummies将分类变量转换为数值形式，为机器学习算法准备数据处理高基数分类变量的编码策略2数据归一化MinMaxScaler将数据缩放到[0,1]区间，消除不同特征间的量纲差异适用于神经网络和基于距离的算法3数据标准化StandardScaler将数据转换为均值

0、标准差1的分布适用于假设数据正态分布的统计方法和算法4特征工程创建新特征、特征选择和特征变换结合业务知识设计有意义的特征，提升模型性能和解释性数据特征筛选与降维特征选择方法主成分分析方差选择法去除低方差特征，避免无效信息干扰相关系数筛选PCA通过线性变换将高维数据投影到低维空间，保留最大方差信识别高度相关的特征，防止多重共线性问题息有效降低数据维度，减少计算复杂度卡方检验评估分类特征与目标变量的相关性，F检验适用于连续解释方差比率帮助确定保留的主成分数量，载荷矩阵显示原始特特征递归特征消除通过模型反馈选择最优特征子集征对主成分的贡献可视化前两个主成分揭示数据结构特征工程是提升分析质量的关键环节合理的特征选择不仅提高模型性能，还能增强结果的可解释性和业务价值降维技术在处理高维数据时特别有用，但需要平衡信息保留和计算效率数据可视化基础概念洞察传达1将复杂数据转化为直观理解模式识别2发现趋势、异常和关联关系信息展示3高效传递数据信息和发现数据探索4支持分析过程和假设验证数据可视化是数据科学的重要组成部分，能够将抽象的数字转化为具体的视觉形式好的可视化作品不仅美观，更重要的是能够准确、清晰地传达数据背后的故事和洞察有效的可视化遵循感知心理学原理，利用人脑的视觉处理能力快速识别模式和异常相比于表格和文字，图表能够在更短时间内传达更多信息，提高决策效率可视化工具对比基础绘图Matplotlib图表基础语法plt.figure创建画布，plt.subplot划分子图区域plt.plot绘制折线图，plt.bar创建柱状图，plt.scatter制作散点图样式定制技巧设置图表标题、坐标轴标签和图例调整颜色、线型、标记样式等视觉元素使用plt.style.use应用预定义样式主题实战案例应用绘制股票价格走势图，展示开盘价、收盘价、最高价、最低价等信息添加移动平均线和成交量子图，创建专业的金融数据可视化Matplotlib是Python可视化的基础库，提供了类似MATLAB的绘图接口虽然默认样式相对简单，但其强大的定制能力使其成为科学计算和数据分析的首选工具进阶技巧Matplotlib子图布局管理高级样式定制subplot和subplots创建规则网格布局，GridSpec实现自定义颜色映射和调色板，设置字体类型和大小调整线宽、不规则子图排列tight_layout自动调整间距，避免标签重透明度、阴影效果等细节参数，创建专业级图表外观叠问题配置参数优化动画与交互matplotlib.rcParams全局设置图表默认参数，创建一致的使用FuncAnimation创建动态图表，widgets库添加交互控视觉风格保存高分辨率图像，设置DPI和文件格式参数件结合Jupyter notebook的魔法命令实现内联显示优化数据可视化SeabornSeaborn基于Matplotlib构建，专注于统计数据可视化提供了更美观的默认样式和专业的统计图表类型，如箱线图展示数据分布和异常值，热力图显示相关性矩阵，联合分布图同时展示两变量的关系和各自分布在用户评分分析案例中，使用distplot展示评分分布，boxplot比较不同产品类别的评分差异，heatmap显示用户特征与评分的相关性，为产品改进提供数据支持交互式可视化pyecharts丰富的图表类型交互功能特性pyecharts提供了柱状图、折线图、饼图、散点图、地图、热鼠标悬停显示详细数据，点击图例控制数据系列显示支持缩力图等多种图表类型每种图表都支持丰富的配置选项和交互功放、平移、数据筛选等交互操作，提升用户体验能动态更新数据源，实现实时数据监控和展示可以添加自定义支持3D图表、仪表盘、漏斗图等高级可视化形式，满足不同业JavaScript代码，扩展交互功能和视觉效果务场景的展示需求图表可以轻松嵌入到Web页面中交互式可视化大大增强了数据探索的灵活性，用户可以通过交互操作深入了解数据细节pyecharts生成的HTML文件可以直接在浏览器中打开，便于分享和展示可视化最佳实践色彩搭配策略信息层级设计使用色彩心理学原理选择合适的配色通过视觉权重引导观众注意力，重要方案考虑色盲用户的视觉体验，避信息使用突出显示合理安排图表元可读性原则免仅依赖颜色区分数据类别素的位置和大小关系避免误导陷阱选择合适的字体大小和颜色对比度，确保图表在不同设备上都能清晰显不截断y轴起点、保持比例准确性、避示避免过度装饰，突出数据本身的免3D效果扭曲数据选择恰当的图表信息价值类型表达数据关系优秀的数据可视化应该诚实、清晰、高效地传达信息分析常见的误导性图表案例，如饼图扇形角度失真、柱状图基线不为零等问题，培养批判性思维和专业素养高级可视化案例地理数据可视化商业智能仪表盘实时数据流可视化使用GeoPandas处理地理空间数据，结整合多个数据源和指标，创建综合性的业结合WebSocket技术实现实时数据传合Folium创建交互式地图支持热力图、务监控仪表盘实时更新关键绩效指标，输，动态更新图表内容适用于股票交易标记点、区域着色等多种地理可视化方支持钻取分析和多维度数据切片，为管理监控、网站流量统计、设备状态监测等需式，适用于人口分布、销售区域、物流路层决策提供数据支持要实时响应的应用场景径等业务场景数据探索性分析（）EDA描述性统计计算均值、中位数、标准差等基础统计量，了解数据的中心趋势和离散程度使用describe方法快速获取数据概览相关性分析计算变量间的相关系数，识别强相关和弱相关关系使用散点图矩阵和相关系数热力图可视化变量间关系分布特征探索绘制直方图和密度图观察数据分布形态，识别正态分布、偏态分布等特征检测异常值和数据质量问题模式发现通过可视化发现数据中的潜在模式、趋势和异常为后续建模和分析提供方向指导和假设验证相关与回归分析可视化散点图与拟合线相关系数矩阵使用scatter绘制变量间的散点图，直观显示两变量的关系强热力图是展示相关性矩阵的最佳方式，颜色深浅直观反映相关性度和方向添加回归拟合线和置信区间，评估线性关系的拟合效强弱添加数值标签提供精确的相关系数信息果聚类分析可以重新排列变量顺序，将相似的变量聚集在一起这不同颜色和形状的散点可以表示分类变量，实现多维数据的同时种可视化方法特别适合特征选择和多重共线性检测展示透明度设置有助于处理数据点重叠问题相关分析是理解数据结构的重要手段，但需要注意相关性不等于因果关系结合业务知识和统计检验方法，避免虚假相关和辛普森悖论等陷阱时间序列数据可视化1趋势分析使用折线图展示数据随时间的变化趋势，添加移动平均线平滑短期波动，突出长期趋势特征2季节性模式分解时间序列的趋势、季节性和随机成分使用热力图展示周期性模式，如每周、每月的规律性变化3异常检测通过可视化识别时间序列中的异常点和结构变化结合统计控制图方法设定异常阈值和预警机制4预测展示将历史数据与预测结果在同一图表中展示，使用不同颜色和线型区分实际值与预测值，添加置信区间文本数据分析与词云中文分词处理使用jieba库对中文文本进行分词处理，支持精确模式、全模式和搜索引擎模式添加自定义词典提高分词准确性，过滤停用词和无意义词汇词频统计分析统计词汇出现频次，识别高频关键词和主题使用TF-IDF算法提取重要词汇，避免常见词汇的干扰，突出文本的特色内容词云可视化制作使用WordCloud库生成词云图，词汇大小反映其重要程度自定义形状、颜色和字体，创建美观的可视化效果支持中文字体设置和背景图片文本可视化在社交媒体分析、舆情监测、用户反馈分析等场景中应用广泛词云图虽然直观美观，但也要注意其局限性，如无法反映词汇间的语义关系和上下文信息网络与关系型数据可视化网络图基础社交网络分析布局算法优化NetworkX库创建和分析复分析用户关注关系、互动模spring布局、circular布杂网络结构，支持有向图、式和影响力传播计算度中局、hierarchical布局等不无向图、多重图等类型节心性、介数中心性等网络指同算法适用于不同类型的网点表示实体，边表示关系，标，识别关键节点和社区结络数据合理选择布局算法权重表示关系强度构提升可视化效果交互式网络图结合Plotly或Bokeh创建可交互的网络可视化，支持节点拖拽、缩放、悬停显示详情等功能，增强用户体验仪表盘与大屏展示Streamlit快速开发实时数据更新Streamlit提供了简单的Python支持定时刷新和自动更新机制，API构建交互式Web应用无需连接数据库、API接口等数据HTML、CSS、JavaScript知源缓存机制优化性能，确保大识，就能创建专业的数据仪表盘屏展示的流畅体验和分析工具响应式布局设计自适应不同屏幕尺寸和分辨率，支持移动端和桌面端访问合理的组件布局和颜色搭配提升视觉效果和用户体验大屏数据可视化在企业数字化展示中发挥重要作用，特别是在指挥中心、监控室等场景Echarts提供了丰富的图表组件和主题样式，能够创建震撼的视觉效果数据可视化实战项目引入项目成果展示1完整的可视化分析报告技能综合应用2整合多种可视化技术和工具实际业务场景3基于真实数据和业务需求项目驱动学习4通过实践掌握理论知识项目驱动教学法通过实际案例加深理论理解，培养解决实际问题的能力三个核心实战项目涵盖不同行业和应用场景，从销售数据分析到用户行为研究，再到金融风险评估每个项目都包含完整的数据分析流程，从问题定义到最终可视化展示学生将学会如何选择合适的可视化方法，处理真实数据中的各种挑战，并创建具有商业价值的分析成果。