《数据科学导论》课件

数据科学导论欢迎来到数据科学导论课程！本课程将带领您系统了解数据科学的基本概念、理论框架和实践应用我们将从数据科学的定义出发，逐步深入学习数学基础、编程技能、机器学习算法以及实际应用案例课程采用理论与实践相结合的方式，通过丰富的案例分析和动手实操，帮助您掌握数据科学的核心技能课程考核包括平时作业、项目实战和期末考试，注重培养您的实际解决问题能力学完本课程后，您将具备数据科学的基础知识体系，为进一步深入学习机器学习、深度学习等高级课程打下坚实基础建议大家积极参与课堂讨论，多动手实践，在实际操作中加深理解数据科学是什么定义与内容学科对比价值意义数据科学是一门融合统计学、计算机科与传统统计学相比，数据科学更注重大在数字化时代，数据科学为企业决策提学和领域专业知识的交叉学科，旨在从规模数据处理和机器学习方法与计算供科学依据，推动智能化转型它能够数据中提取有价值的洞察和知识它涵机科学相比，它更强调业务理解和问题发现隐藏的商业模式，优化运营效率，盖数据收集、清洗、分析、建模和解释解决数据科学家需要具备跨领域的综创造新的商业价值，是现代社会不可或等全流程合能力缺的核心技术数据与信息智慧基于知识的判断和决策能力1知识2结构化的信息和经验总结信息3经过处理和解释的有意义数据数据4原始的事实、数字和符号模型清晰地展示了数据价值提升的层次结构数据是最基础的原材料，包括结构化数据（如数据库记录）和非结构化数据（如文本、图像）通过分析DIKW和处理，数据转化为有意义的信息，进而形成可指导行动的知识在信息社会中，数据化进程不断加速从个人行为到企业运营，从政府治理到科学研究，各个领域都在经历数字化转型理解数据的本质和价值转化过程，是掌握数据科学的重要前提大数据概念解析容量多样性速度Volume VarietyVelocity数据规模从级别数据类型多元化，包数据产生和处理速度TB扩展到、级别，括结构化、半结构化极快，要求实时或近PB EB传统数据库无法有效和非结构化数据，如实时的数据分析能力，处理如此庞大的数据文本、图像、视频、以支持快速决策和响量，需要分布式存储传感器数据等，需要应市场变化和计算技术支持不同的处理方法价值Value虽然数据量巨大，但真正有价值的信息密度相对较低，需要通过先进的分析技术挖掘隐藏的商业价值和洞察数据科学发展简史年代年代19602000统计计算兴起，大型机开始处理科学数据，为现代数据互联网普及带来数据爆炸，机器学习算法快速发展，大分析奠定基础数据概念正式形成1234年代年代至今19802010（知识发现）概念提出，将数据挖掘理论化，形深度学习突破，云计算普及，数据科学成为第四范式，KDD成系统的方法论框架推动各行业智能化转型数据科学理论体系计算机科学提供数据处理和算法实现的技术支撑算法设计•数据结构统计学•领域知识系统架构•提供数据分析的理论基础和方法论提供业务理解和问题背景的专业洞察描述性统计行业经验••推断统计业务逻辑••假设检验问题定义••的数据科学韦恩图清晰地展示了数据科学的跨学科特性只有当统计学、计算机科学和领域知识三者有机结合时，才能真正发挥数据科学的价值缺乏任何一个维Drew Conway度，都可能导致分析结果的偏差或应用的失败数据科学家的角色职业定义数据科学家是能够运用科学方法、算法和系统从结构化和非结构化数据中提取知识和洞察的专业人员，被誉为世纪最性感的职业21核心技能需要具备统计分析、编程开发、业务理解、沟通表达等综合能力既要懂技术，也要懂业务，还要具备将复杂结果简单化表达的能力工作流程遵循问题定义数据收集数据分析模型构建结果解释的五步法，强→→→→调端到端的解决方案思维和迭代优化的工作方式行业需求随着数字化转型加速，各行业对数据科学家的需求急剧增长从互联网公司到传统制造业，都在积极招聘数据科学人才，薪酬水平持续走高典型数据科学流程问题定义明确业务目标，将业务问题转化为数据科学问题，确定成功标准和评估指标数据采集识别数据源，收集相关数据，进行初步的数据质量评估和探索性分析数据清洗处理缺失值、异常值，标准化数据格式，确保数据质量满足分析要求建模分析选择合适的算法，训练和优化模型，进行特征工程和参数调优结果解释解释模型结果，提供可行性建议，支持业务决策和策略制定实践案例总览零售行业库存预测金融领域风控建模通过分析历史销售数据、季节性利用客户历史交易记录、信用信趋势、促销活动等因素，建立库息、行为数据等构建风险评估模存预测模型，帮助零售企业优化型，实现精准的信贷审批和风险库存管理，减少积压和缺货风险，定价，有效控制坏账率，保障金提升资金周转效率融机构资产安全医疗诊断辅助系统基于医学影像、检验结果、病历数据等构建智能诊断模型，辅助医生进行疾病诊断和治疗方案制定，提高诊断准确率和医疗服务效率数学基础模块导入数学门类概览数据科学需要扎实的数学基础，主要包括线性代数、概率统计、最优化理论和图论等核心领域每个数学分支都为数据科学提供了不同的理论工具和分析方法数学基础的作用数学是数据科学的语言和工具线性代数帮助理解数据的结构和变换，概率统计提供不确定性量化方法，最优化理论支撑算法设计，图论则用于复杂网络分析学习平台工具推荐使用的、、等数学计算库，Python NumPySciPy SymPy结合进行交互式学习这些工具能够帮助您Jupyter Notebook直观地理解数学概念，并将理论知识应用到实际问题中线性代数基础向量与矩阵运算分解应用SVD向量是线性代数的基本单位，代表维空间中的点或方向矩阵奇异值分解（）是线性代数中的重要技术，能够将矩阵分n SVD是向量的集合，用于表示线性变换和数据结构掌握向量点积、解为三个特殊矩阵的乘积在推荐系统中，可以用于评分SVD矩阵乘法、转置等基本运算是理解数据科学算法的关键预测，通过分解用户物品评分矩阵发现潜在特征-在数据科学中，每一行数据可以看作一个向量，整个数据集就是例如在电影推荐中，能够识别出用户的偏好模式和电影的SVD一个矩阵通过矩阵运算，我们可以高效地处理大规模数据集，特征属性，即使用户没有对某部电影评分，也能预测其可能的评实现批量计算和并行处理分，从而实现个性化推荐概率与统计入门概率分布基础统计量与估计概率分布描述随机变量取各种均值、方差、标准差等描述性值的可能性正态分布、泊松统计量帮助我们理解数据的中分布、二项分布等是最常用的心趋势和离散程度点估计和分布类型，为数据建模提供理区间估计为参数推断提供科学论框架方法异常值检测实例利用准则或箱线图方法检测数据中的异常值异常值可能是数据错3σ误，也可能包含重要信息，需要结合业务背景进行判断和处理最优化理论问题定义算法选择确定目标函数和约束条件，将实际问题根据问题特性选择梯度下降、牛顿法等转化为数学优化问题合适的优化算法结果验证迭代求解验证解的合理性和最优性，评估算法性通过迭代计算逐步逼近最优解，监控收能和计算效率敛性和稳定性最优化理论是机器学习算法的核心无论是线性回归的最小二乘法，还是神经网络的反向传播，都本质上是在求解优化问题凸优化问题具有全局最优解，而非凸问题可能存在多个局部最优解，需要采用不同的求解策略图论简介图的基本概念图由节点（顶点）和边组成，用于表示对象之间的关系有向图、无向图、加权图等不同类型适用于不同的应用场景社交网络分析在社交网络中，用户是节点，关注关系是边通过计算中心性指标、社区检测等方法，可以识别关键用户和群体结构基础算法应用最短路径算法用于路径规划，最大流算法用于网络容量分析，算法用于网页排名和推荐系统PageRank语言介绍Python185%语言地位市场占有率已成为数据科学领域的首选编程语言在数据科学项目中的使用比例持续增长Python500+相关库数量丰富的数据科学生态系统和工具库凭借其简洁的语法、强大的库生态和活跃的社区支持，成为数据科学的标准工具Python提供交互式开发环境，支持代码、文档和可视化的有机结合发Jupyter NotebookAnaconda行版集成了主要的科学计算库，简化了环境配置主要的数据科学库包括（数值计算）、（数据处理）、和NumPy PandasMatplotlib Seaborn（可视化）、（机器学习）、和（深度学习）等，形成了完Scikit-learn TensorFlowPyTorch整的技术栈语法基础Python基础语法要素控制结构与函数使用缩进来表示代码块，语法简洁直观变量无需声明条件语句（）和循环语句（、）是程序逻Python if-elif-else forwhile类型，支持动态类型系统基本数据类型包括整数、浮点数、字辑控制的基础函数定义使用关键字，支持参数默认值、可def符串、列表、字典等，运算符涵盖算术、比较、逻辑等操作变参数等高级特性实战练习编写一个简单的统计程序，读取数据文件，计算平均掌握变量赋值、类型转换、字符串格式化等基础操作是编程的第值、最大值、最小值等统计量，并将结果保存到文件中这个练一步的灵活性使得数据处理变得简单高效习涵盖了文件操作、数据处理和函数定义等核心概念Python数组操作Numpy数组创建使用、、等函数创建不同类np.array np.zeros np.ones型的数组索引切片掌握一维、多维数组的索引和切片操作，支持布尔索引数组运算向量化计算提升性能，支持广播机制和数学函数实际应用在图像处理、信号分析、科学计算中的广泛应用数据分析Pandas结构DataFrame二维标签化数据结构，类似表格Excel数据导入导出支持、、、等多种格式CSV ExcelJSON SQL查询过滤灵活的数据筛选和条件查询功能是数据分析的核心库，提供了高效的数据结构和数据分析工具是最重要的数据结构，支持异构数据类型，Pandas PythonDataFrame具有行索引和列索引，便于数据操作和分析通过、等函数可以轻松导入各种格式的数据文件数据查询支持式的操作，如筛选、排序、分组聚合等，使read_csv read_excel SQL得数据处理变得直观高效数据可视化工具基础绘图高级可视化Matplotlib Seaborn最基础的绘图库，提基于的统计可视Python Matplotlib供类似的绘图接口化库，提供更美观的默认样式MATLAB支持线图、散点图、柱状图、和高级统计图形支持分布图、直方图等基本图形，具有高度回归图、分类图等复杂可视化的自定义能力需求销量趋势分析案例通过时间序列折线图展示产品销量的季节性变化，使用双轴图表同时显示销量和利润率的关系，帮助管理层制定营销策略数据预处理流程简介数据清洗识别和处理缺失值、重复记录、异常值等数据质量问题，确保数据的准确性和完整性数据规整统一数据格式，进行标准化和归一化处理，使不同来源的数据具有可比性数据转换根据分析需求对数据进行变换，如特征工程、维度压缩、数据聚合等操作数据预处理是数据科学项目中最耗时但最关键的环节，通常占据整个项目80%的时间高质量的数据是获得可靠分析结果的前提，垃圾进，垃圾出的原则在数据科学中尤为重要数据清洗技巧缺失值处理策略异常值识别方法重复数据自动检测根据缺失模式选择合适的处理方法删除法异常值可能源于测量错误、录入错误或真实重复记录会影响分析结果的准确性除了完适用于缺失比例较小的情况，均值填充适用的极端情况统计方法如准则、箱线图识全相同的记录外，还需要识别实质性重复，3σ于数值型数据，众数填充适用于分类数据，别常见异常值，机器学习方法如孤立森林能如同一客户的不同写法使用字符串相似度插值法适用于时间序列数据检测复杂的多维异常值算法和记录链接技术提高检测准确率简单填充均值、中位数、众数统计方法、精确匹配完全相同的记录••Z-score IQR•高级方法填充、回归填充可视化散点图、箱线图模糊匹配编辑距离、相似度•KNN••Jaccard业务规则基于领域知识的填充算法检测、实体解析同一实体的不同表示••LOF IsolationForest•数据规整标准化处理分箱与分组时间序列规整标准化将数据转换将连续变量离散化为分类变统一时间格式，处理时区差Z-score为均值为、标准差为的量，如年龄分组、收入等级异，填补时间间隔对于不01分布，适用于正态分布数据划分等宽分箱、等频分箱、规律的时间序列，需要重采归一化将数据缩基于业务逻辑的分箱各有适样到固定频率，便于后续分Min-Max放到区间，保持原始用场景析和建模[0,1]分布形状编码转换将分类变量转换为数值形式独热编码适用于无序分类，标签编码适用于有序分类，目标编码利用目标变量信息提高预测能力特征工程特征提取从原始数据中提取有意义的特征文本数据可提取词频、情感极性；图像数据可提取纹理、颜色直方图；时间序列可提取趋势、周期性特征特征构造通过数学运算创建新特征组合现有特征（如身高体重比）、多项式特征、交互特征等领域知识在特征构造中起关键作用特征选择从众多特征中选择最相关的子集过滤式方法基于统计指标，包装式方法基于模型性能，嵌入式方法在训练过程中选择特征自动编码实例使用自动学习数据的低维表示，无需人工设计特征在推荐系AutoEncoder统中，可以自动提取用户和物品的潜在特征，提高推荐效果数据降维主成分分析原理特征选择与压缩通过线性变换将高维数据投影到低维空间，保留最大方差特征选择保留原始特征的子集，解释性较强；特征压缩通过变换PCA的方向作为主成分第一主成分解释数据中最大的变异，后续主创建新特征，信息保留更完整适用于非线性降维和可t-SNE成分逐渐递减视化，考虑类别信息的监督降维LDA不仅能降低计算复杂度，还能消除特征间的相关性，避免机器视觉案例对于维的手写数字图像，可以将维度PCA784PCA多重共线性问题在数据可视化中，可以将高维数据投影降低到维，同时保留的信息量，大幅提升分类算法的训PCA5095%到或空间进行展示练速度和预测性能2D3D数据建模入门回归建模分类建模预测连续数值目标变量预测离散类别目标变量线性回归二分类问题••多项式回归多分类问题••非参数回归多标签分类••关联挖掘聚类分析发现变量间的关联规律发现数据中的隐含模式3购物篮分析聚类••K-means序列模式层次聚类••因果推断密度聚类••机器学习基础概念监督学习使用标注数据训练模型，学习输入和输出之间的映射关系包括回归和分类任务，目标是在新数据上做出准确预测无监督学习从无标注数据中发现隐藏的模式和结构包括聚类、降维、关联规则挖掘等，用于数据探索和特征发现数据集分割将数据分为训练集、验证集和测试集训练集用于模型学习，验证集用于参数调优，测试集用于最终性能评估交叉验证通过多次训练和验证评估模型的稳定性折交叉验证将数据分为份，轮K K流作为验证集，提供更可靠的性能估计线性回归分析数学原理线性回归假设目标变量与特征变量之间存在线性关系通过最小二乘法求解参数，使得预测值与真实值的平方误差最小数学表达式为₀y=β₁₁+βx+...+βx+εₙₙ模型评估使用评估模型拟合程度，衡量预测误差检查残差分布验证R²RMSE模型假设，识别异常值和影响点多重共线性诊断确保特征间的独立性房价预测实战收集房屋面积、位置、建筑年代等特征数据，建立线性回归模型预测房价通过特征选择优化模型，添加交互项捕捉非线性关系，最终实现准确的价格预测逻辑回归与分类算法原理疾病预测应用逻辑回归使用函数将线性回归的输出映射到区间，利用患者的年龄、血压、血糖、家族史等特征预测糖尿病发病风Sigmoid[0,1]表示事件发生的概率通过最大似然估计求解参数，适用于二分险模型输出之间的概率值，医生可以根据概率值制定预0-1类和多分类问题防措施与线性回归不同，逻辑回归的输出是概率值，可以通过设定阈值通过曲线和值评估模型性能，调整分类阈值平衡敏感ROC AUC进行分类决策算法具有良好的解释性，系数大小反映特征的重性和特异性混淆矩阵提供详细的分类结果分析，帮助优化诊断要程度策略决策树与随机森林决策树构建基于特征值进行递归分割，使用信息增益或基尼不纯度选择最优分割点，形成树状决策规则结构剪枝优化通过预剪枝和后剪枝防止过拟合，在模型复杂度和预测精度之间找到平衡点随机森林集成构建多个决策树并投票决策，通过采样和特征随机选择提Bootstrap高模型稳定性和泛化能力客户流失预测分析客户行为特征，识别高流失风险客户，为客户保留策略提供数据支持和决策依据支持向量机算法核心思想核函数技巧通过寻找最优分离超平面将不同类通过核函数将低维线性不可分数据映射SVM别的数据分开，最大化分类边界的间隔到高维空间，实现线性分离常用核函支持向量是距离超平面最近的数据点，数包括多项式核、径向基函数核、决定了分类边界的位置核等，适应不同的数据分布特Sigmoid征线性可分情况下的硬间隔•核处理非线性边界线性不可分的软间隔处理•RBF•多项式核捕捉特征交互对噪声和异常值的鲁棒性••自定义核领域专用设计•文本分类实操将文档转换为向量，使用进行情感分析或主题分类高维稀疏特征空间中，TF-IDF SVM表现出色，能够有效处理词汇量庞大的文本数据，实现准确的分类效果SVM特征提取词袋模型、•N-gram数据预处理停用词、词干化•模型调优参数和参数•C gamma聚类与关联分析均值聚类K迭代优化聚类中心，最小化簇内平方和选择合适的值是关键，可K通过肘部法则或轮廓系数确定关联规则挖掘发现项目间的关联关系，使用支持度、置信度、提升度评估规则质量购物篮分析分析商品共同购买模式，为商品推荐和货架布局提供科学依据业务应用客户细分、商品推荐、库存管理等多领域应用场景神经网络初步人工神经元网络结构模拟生物神经元，接收输入信号，通过多层感知器包含输入层、隐藏层和输出激活函数产生输出层，全连接方式传递信息应用场景反向传播图像识别、语音识别、自然语言处理等通过梯度下降算法调整权重，最小化预人工智能核心任务测误差，实现网络学习神经网络是深度学习的基础，通过模拟人脑神经元的工作方式实现复杂的模式识别和决策功能反向传播算法的发明使得多层神经网络的训练成为可能，为现代人工智能的发展奠定了基础深度学习简介技术框架1深层神经网络、自动特征学习网络演化

2、、架构创新CNN RNNTransformer计算机视觉图像分类、目标检测、图像生成自然语言处理机器翻译、文本生成、问答系统深度学习通过多层非线性变换自动学习数据的层次化表示，在计算机视觉和自然语言处理领域取得了突破性进展卷积神经网络适用于图像数据，循环神经网络处理序列数据，架构则在大规模语言模型中展现出强大能力Transformer深度学习的成功依赖于大数据、强大的计算能力和优化算法的进步并行计算、批量归一化、残差连接等技术创新使得训练深层网络变得可行，推动了人工智能GPU的快速发展模型评估与调参准确率指标与自动化报告ROC AUC准确率衡量正确预测的比曲线展示不同阈值下使用的ROC sklearn例，精确率关注正例预测的真正率和假正率，生AUC classification_report的准确性，召回率衡量正值量化分类器的整体性能，成详细的性能报告，包含例的发现能力，分数平不受类别不平衡影响各类别的精确率、召回率F1衡精确率和召回率和分数统计F1超参数调优网格搜索遍历参数组合，随机搜索提高效率，贝叶斯优化智能选择参数，交叉验证确保结果可靠性数据可解释性模型透明度对比特征重要性分析白盒模型如线性回归、决策树具有良好的可解释性，用户可以直通过值、等方法解释黑盒模型的决策过程特征重SHAP LIME观理解决策过程黑盒模型如深度神经网络虽然性能强大，但内要性排序帮助理解哪些因素对预测结果影响最大，为业务决策提部机制复杂难懂供依据可解释性与模型复杂度往往存在权衡关系在医疗诊断、金融风伦理要求算法决策过程透明可审计，避免算法偏见和歧视数AI控等高风险领域，模型的可解释性至关重要，需要在性能和透明据科学家有责任确保模型的公平性和可解释性，建立可信赖的AI度之间找到平衡系统大数据计算平台生态系统计算引擎Hadoop Spark提供分布式文件存储，基于内存计算的分布式处理框HDFS实现并行计算框架，比快倍MapReduce MapReduce100架负责资源管理，支持批处理、流处理、机器学Yarn提供查询接口，习和图计算等多种工作负载Hive SQL支持数据库功HBase NoSQL能分布式优势横向扩展能力强，通过增加节点提升处理能力容错性好，单点故障不影响整体运行成本效益高，使用商用硬件构建大规模集群云计算与数据科学90%10x

99.9%成本降低扩展速度可用性相比传统基础设施的成本节约比例云端资源动态扩展相比物理设备的速度提升主流云服务提供商的服务可用性保证IT云计算为数据科学提供了弹性计算资源和托管服务、、等平台集成了完整的机器学习AWS SageMakerGoogle CloudAI PlatformAzure ML工作流，从数据预处理到模型部署一站式解决企业案例显示，迁移到云端的数据科学项目在成本控制、开发效率和运维便利性方面都有显著提升云原生的架构设计支持大规模数据处理和实时分析，加速了应用的落地和推广AI商业数据分析案例1数据收集整合历史销售记录、商品信息、促销活动、天气数据、节假日等多维度数据源，构建全面的分析数据集探索性分析分析销售趋势、季节性模式、商品类别差异，识别影响销量的关键因素，为特征工程提供业务洞察模型构建比较时间序列、随机森林、等算法效果，选ARIMA XGBoost择最优模型进行超参数调优和交叉验证4效果评估使用、等指标评估预测精度，在测试集上验证模MAPE RMSE型泛化能力，分析预测误差的分布规律业务应用将预测结果集成到库存管理系统，优化采购计划和库存配置，减少缺货风险和库存积压，提升运营效率。