[计算机科学]机器学习算法与数据处理课件

机器学习算法与数据处理本课程是清华大学精品课程，专为本科生和研究生设计的机器学习综合指南课程内容涵盖从基础概念到前沿算法的完整学习路径，包括数据预处理、监督学习、无监督学习、深度学习等核心主题通过理论讲解与编程实践相结合的方式，学生将掌握现代机器学习的核心技术和应用方法课程强调实际案例分析，帮助学生建立完整的机器学习知识体系，为未来的研究和工作奠定坚实基础课程概述机器学习基本概念与分类1介绍机器学习的定义、发展历程、主要分类方法以及与人工智能的关系数据预处理与特征工程2掌握数据清洗、特征选择、降维技术等数据处理的核心技能监督学习与无监督学习算法3深入学习分类、回归、聚类等经典算法的原理和应用深度学习基础与应用4探索神经网络、卷积网络、循环网络等现代深度学习技术什么是机器学习？人工智能的重要分支从数据中自动获取规律实现预测与决策机器学习是实现人工智能的核心技术机器学习的本质是让计算机通过分析训练好的机器学习模型可以对未知数路径，通过算法让计算机具备学习和大量数据，自动发现隐藏的模式和规据进行预测和分类，帮助人们做出更决策能力它为智能系统提供了自我律这些规律以数学模型的形式表好的决策这种能力在商业、科研、改进和适应的机制，是构建智能应用达，能够对新的、未见过的数据进行医疗等领域都有广泛应用的基础准确预测为什么需要机器学习？大数据时代的必然产物随着互联网、物联网和数字化技术的发展，数据量呈指数级增长传统的数据分析方法已无法有效处理如此庞大的数据量，迫切需要自动化的分析工具计算能力显著提升现代计算机硬件性能的飞跃式发展，特别是并行计算能力的提升，为复杂GPU机器学习算法的实现提供了强有力的硬件支撑自动发现数据规律面对复杂多变的数据环境，人工分析已难以应对机器学习能够自动识别数据中的深层模式，发现人类难以察觉的关联性和规律性解放人类生产力通过自动化的数据分析和决策支持，机器学习能够将人类从重复性的分析工作中解放出来，专注于更具创造性和战略性的任务机器学习的应用领域数据挖掘与知识发现计算机视觉与图像识别自然语言处理从海量数据中提取有价值的实现图像分类、目标检测、包括机器翻译、情感分析、信息和知识，支持商业决策人脸识别、医学影像诊断等文本分类、对话系统等应和科学研究应用于市场分功能广泛应用于安防监用于智能客服、内容推荐、析、用户行为研究、学术文控、自动驾驶、工业质检、舆情监控、智能写作等领献挖掘等领域医疗诊断等场景域推荐系统基于用户行为和偏好提供个性化推荐在电子商务、流媒体平台、社交网络、新闻媒体等平台中发挥重要作用机器学习的分类监督学习无监督学习强化学习使用带有标签的训练数据学习输入和输从无标签数据中发现隐藏的模式和结通过与环境交互，根据奖励信号学习最出之间的映射关系主要包括分类和回构主要包括聚类、降维、异常检测等优策略广泛应用于游戏、机器人控AI归任务，如垃圾邮件检测、房价预测任务典型算法有聚类、主成制、自动驾驶等领域代表算法包括K-means Q-等算法有线性回归、支持向量机、随分分析、自编码器等、策略梯度等learning机森林等机器学习方法三要素策略确定学习的目标和优化准则模型定义假设空间和学习范围算法具体的求解和优化方法机器学习方法的三要素相互关联，共同构成完整的学习系统模型定义了学习的假设空间，限定了可能的解的范围；策略确定了学习的目标，即如何评估模型的好坏；算法则提供了具体的求解方法，将理论转化为可执行的计算过程开发机器学习应用程序的步骤收集数据1通过网络爬虫、接口、传感器等方式获取原始数据，确保数据API的质量和完整性准备输入数据2进行数据格式转换、清洗和预处理，使数据适合机器学习算法的输入要求训练算法3使用准备好的数据训练机器学习模型，让算法学习数据中的模式和规律测试与部署4评估模型性能，优化参数，最终部署到实际应用环境中第一部分数据处理基础数据预处理特征工程清洗和准备原始数据提取和构造有效特征数据分割数据降维划分训练、验证和测试集减少特征维度和复杂性数据处理是机器学习流程中最关键的环节之一，直接影响模型的性能和效果高质量的数据预处理能够显著提升算法的准确性和泛化能力，而特征工程则是将领域知识转化为机器可理解特征的重要桥梁数据的来源与类型结构化数据以表格形式组织的数据，包括数据库记录、文件、文件等具Excel CSV有明确的字段和数据类型，易于处理和分析广泛应用于商业数据分析、财务报表等领域非结构化数据没有预定义结构的数据，如文本文档、图像、音频、视频等需要特殊的处理技术来提取有用信息，是现代数据科学的重要挑战和机遇时间序列数据按时间顺序排列的数据序列，如股票价格、气象数据、传感器读数等具有时间依赖性和趋势性，需要专门的分析方法来处理时间相关的模式数据预处理流程数据清洗处理缺失值、异常值和重复数据数据变换标准化、归一化和格式转换数据规约减少数据量但保持信息完整性数据集成合并多个数据源的相关信息数据预处理是确保机器学习模型成功的关键步骤通过系统性的清洗、变换和集成，我们能够将原始的、混乱的数据转换为高质量的训练数据这个过程通常占据整个数据科学项目的时间，但对最终结果的影响却是决定性的80%特征工程特征提取特征变换从原始数据中识别和抽取有意义的特对现有特征进行数学变换以提高其表达征，如从图像中提取边缘特征，从文本能力，包括对数变换、多项式变换、标中提取词频特征准化等操作特征构造特征选择基于领域知识和数据探索创建新的特从众多特征中筛选出最相关、最有价值征，如特征交叉、特征组合、时间窗口的特征子集，减少维度诅咒和过拟合风特征等险特征选择技术过滤法包装法嵌入法基于统计指标评估特征与目标变量的相将特征选择视为搜索问题，使用学习算在模型训练过程中自动进行特征选择，关性，独立于具体的学习算法常用指法的性能作为评估标准通过前向选如回归的正则化、决策树的特Lasso L1标包括皮尔逊相关系数、卡方检验、信择、后向淘汰或递归特征消除来寻找最征重要性评估等结合了过滤法和包装息增益等优特征子集法的优点计算效率高考虑特征间交互效率与效果平衡•••不依赖特定算法针对特定算法优化算法内置选择机制•••可能忽略特征间交互计算成本较高依赖于特定模型•••数据降维方法主成分分析降维自编码器PCA t-SNE通过线性变换将高维数据投影到低维空非线性降维技术，特别擅长保持局部邻域基于神经网络的降维方法，通过编码器解-间，保留最大方差信息适用于线性数据结构在高维数据可视化方面表现出色，码器结构学习数据的低维表示能够捕获结构，广泛应用于数据可视化和特征压能够揭示数据的聚类结构和复杂模式非线性关系，适用于复杂数据的特征学缩习数据标准化与归一化方法公式特点适用场景标准均值为，标正态分布数据Z-score x-μ/σ0化准差为1归一缩放到区有明确上下界Min-Max x-[0,1]化间的数据min/max-min稳健缩放基于中位数和包含异常值的x-四分位距数据median/IQR对数变换处理偏斜分布右偏分布数据logx数据标准化和归一化是确保不同特征在同一量级上的重要步骤选择合适的缩放方法能够显著提升算法性能，特别是对于基于距离的算法如、KNN SVM等数据集划分策略训练集验证集70%15%用于模型参数学习和训练包含用于模型选择和超参数调优在输入特征和对应的目标标签，是训练过程中评估不同模型配置的模型学习数据模式的主要数据性能，帮助选择最佳的模型架构源训练集的质量直接影响模型和参数设置，避免过拟合的学习效果测试集15%用于最终的性能评估提供对模型泛化能力的无偏估计，只在模型完全确定后使用一次，确保评估结果的客观性和可靠性第二部分监督学习算法210+80%主要任务类型经典算法实际应用比例分类和回归问题线性模型到集成方法工业界最常用的方法监督学习是机器学习中最成熟和应用最广泛的分支通过使用带标签的训练数据，监督学习算法能够学习输入特征与目标输出之间的映射关系这类算法在分类和回归任务中表现出色，包括线性回归、逻辑回归、决策树、支持向量机等经典方法，以及随机森林、梯度提升等先进的集成学习技术掌握这些算法的原理和应用是成为优秀数据科学家的基础线性回归基本原理建立输入特征与连续目标变量的线性关系最小二乘法通过最小化预测值与真实值的平方误差来求解参数梯度下降优化使用迭代算法逐步优化模型参数正则化技术通过和正则化防止过拟合L1L2线性回归是最基础也是最重要的回归算法之一尽管模型形式简单，但其数学基础扎实，解释性强，在许多实际应用中仍然是首选方法现代的线性回归通过正则化技术能够有效处理高维数据和多重共线性问题逻辑回归二分类问题建模将线性回归扩展到分类问题，通过概率的方式进行二分类预测函数Sigmoid使用型函数将线性输出映射到概率区间，确保输出的合理性S0,1最大似然估计通过最大化数据的似然函数来估计模型参数，提供统计学理论基础多分类扩展通过一对多或一对一策略扩展到多分类问题，应用范围更广决策树树形结构分裂标准剪枝技术采用自顶向下递归分使用信息增益、基尼通过预剪枝和后剪枝割的方式构建分类规指数或增益率等指标技术控制树的复杂则，每个内部节点代选择最佳分裂特征和度，防止过拟合剪表一个特征测试，叶阈值不同的分裂标枝是决策树算法中平节点代表分类结果准适用于不同的问题衡模型复杂度和泛化结构直观，易于理解场景和数据特征能力的关键技术和解释算法比较、和算ID3C

4.5CART法在分裂标准、处理连续特征和缺失值方面各有特点算CART法支持回归任务，应用更为广泛随机森林采样1Bootstrap通过有放回抽样创建多个训练子集，每个子集训练一棵决策树特征随机选择2在每个节点分裂时随机选择特征子集，增加模型的多样性集成预测3通过投票机制分类或平均回归合并多棵树的预测结果性能评估4利用袋外误差估计模型性能，同时提供特征重要性评估支持向量机SVM最优分类面寻找最大间隔的超平面核技巧通过核函数映射到高维空间支持向量决定分类边界的关键样本点支持向量机通过寻找最大间隔的分类超平面来实现分类，具有强大的理论基础和优秀的泛化能力核技巧使能够处理非线性问SVM题，常用的核函数包括线性核、多项式核和核软间隔通过引入松弛变量处理不完全线性可分的情况，在实际应用中表现出RBF SVM色近邻算法K KNN实例驱动学习距离度量选择基于相似性假设，认为相似的样本具有常用欧几里得距离、曼哈顿距离、余弦相似的标签算法简单直观，无需显式相似度等距离度量的选择对算法性能的训练过程有重要影响树优化值选择策略KD K使用空间分割数据结构加速最近邻搜通过交叉验证选择最优值值过小容K K索，提高算法效率易过拟合，过大则可能欠拟合朴素贝叶斯贝叶斯定理基础算法变种文本分类应用基于贝叶斯定理计算后验概率进行分高斯朴素贝叶斯连续特征在文本分类、垃圾邮件检测、情感分析•类假设特征之间条件独立，虽然朴素等任务中表现出色计算效率高，对小多项式朴素贝叶斯计数特征•但在实际应用中效果良好样本数据敏感度低伯努利朴素贝叶斯二值特征•特别适合高维稀疏数据的处理PC|X=PX|CPC/PX不同变种适用于不同类型的数据和应用场景集成学习方法方法Bagging通过采样训练多个独立的基学习器，然后通过投票或平均进Bootstrap行预测代表算法包括随机森林和，能够有效降低方差，提Extra Trees高模型稳定性方法Boosting串行训练多个弱学习器，每个学习器都试图纠正前一个学习器的错误、、等算法能够显著提升预测精度，AdaBoost GBDTXGBoost在竞赛中表现优异方法Stacking使用元学习器整合多个基学习器的预测结果通过训练一个高层模型来学习如何最佳地组合基学习器的输出，能够充分利用不同算法的优势第三部分无监督学习算法聚类K-means初始化中心点分配样本更新中心收敛判断随机选择个聚类中心将每个样本分配到最近的中心重新计算每个聚类的质心重复直到中心点不再变化K是最经典的聚类算法之一，通过迭代优化使得簇内距离最小、簇间距离最大算法简单高效，但需要预先指定聚类数量，且对初始K-means K中心点敏感初始化方法能够有效改善收敛性能K-means++层次聚类凝聚式聚类分裂式聚类树状图分析自底向上的聚类方法，从每个样本作为自顶向下的聚类方法，从包含所有样本层次聚类的结果以树状图形式展示，直单独聚类开始，逐步合并最相似的聚的单一聚类开始，递归地将聚类分割成观显示数据的层次结构通过选择不同类，直到形成一个大聚类或达到停止条更小的子聚类，直到每个样本成为单独的切割高度，可以得到不同数量的聚件聚类类单链接最近点距离计算复杂度较高，但能够产生更平衡的无需预先指定聚类数量，结果具有良好•聚类结构的可解释性完全链接最远点距离•平均链接平均距离•密度聚类DBSCAN密度连通性概念三类数据点基于数据点的局部密度进行聚核心点邻域内点数；≥MinPts类，能够发现任意形状的聚类并边界点在核心点邻域内但本身识别噪声点通过密度可达性定不是核心点；噪声点既不是核义聚类，不需要预先指定聚类数心点也不是边界点的孤立点量参数设置策略邻域半径和最小点数是关键参数通常使用距离图确定值，εMinPts k-ε一般设为数据维度的倍参数选择对聚类结果影响显著MinPts2异常检测算法统计方法基于数据的统计特性识别异常，如Z-score方法假设数据服从正态分布，箱线图方法基于四分位距识别离群值简单有效但依赖分布假设基于隔离的方法Isolation Forest通过随机分割数据构建决策树，异常点更容易被孤立，因此具有较短的平均路径长度无需假设数据分布，适用于高维数据基于密度的方法LOF算法通过比较样本点与其邻居的局部密度来识别异常局部密度显著低于邻居的点被认为是异常点，能够处理不同密度的数据分布关联规则挖掘频繁项集生成1使用算法或算法从事务数据库中发现满足最小支Apriori FP-Growth持度的频繁项集关联规则生成2从频繁项集中提取满足最小置信度的关联规则，形如如果则的条A B件规则规则评估与筛选3使用提升度、确信度等指标评估规则的有趣程度，筛选出有价值的强关联规则应用部署4将发现的关联规则应用于推荐系统、交叉销售、库存管理等商业场景第四部分深度学习基础深度学习是机器学习的重要分支，通过多层神经网络学习数据的复杂表示从基础的多层感知机到现代的架构，深度学Transformer习在计算机视觉、自然语言处理、语音识别等领域取得了突破性进展理解深度学习的基本概念、网络架构和优化技术是掌握现代AI技术的关键神经网络基础感知机模型最简单的神经网络单元，模拟生物神经元的基本功能多层感知机通过堆叠多个神经元层构建复杂的非线性映射激活函数引入非线性变换，使网络具备复杂的表达能力反向传播通过梯度下降算法训练网络参数神经网络通过模拟生物神经系统的信息处理方式，构建了强大的机器学习模型从单一感知机到深层网络，每一层都对输入进行非线性变换，最终学习到数据的复杂模式激活函数的选择和反向传播算法的优化是神经网络成功的关键因素深度学习框架高级计算环境配置TensorFlow PyTorchKeras API开发的开源深度开发的动态计高层神经网络，现已深度学习需要强大的计算Google FacebookAPI学习框架，提供完整的机算图框架，以简洁的集成到中资源，包括加速、API TensorFlowGPU器学习生态系统支持分和灵活的调试能力著称提供简洁的模型构建接分布式训练和云计算平布式训练、模型部署和生在学术研究中广受欢迎，口，适合快速原型开发和台合理的环境配置能够产环境应用，拥有丰富的提供直观的编程体验和强教学支持多种后端，易显著提升训练效率和模型预训练模型和工具链大的自动微分功能于学习和使用性能卷积神经网络CNN卷积层通过卷积核提取局部特征，利用权重共享和局部连接大幅减少参数数量不同的卷积核能够检测不同的特征模式，如边缘、纹理等池化层对特征图进行下采样，减少数据维度并增强特征的位置不变性最大池化保留最强特征，平均池化提供平滑的特征表示经典架构开创了的基本结构，引入了深度学习热潮，证明了LeNet CNNAlexNet VGG深度的重要性，通过残差连接解决了梯度消失问题ResNet迁移学习利用在大型数据集上预训练的模型，通过微调适应新任务能够大幅减少训练时间和数据需求，在实际应用中非常有效循环神经网络RNN序列数据处理网络LSTM专门设计用于处理具有时间依赖性长短期记忆网络通过门控机制解决了传RNN的序列数据，如文本、语音、时间序列统的梯度消失问题，能够学习长期RNN等通过隐藏状态保存历史信息依赖关系注意力机制单元GRU允许模型动态关注输入序列的不同部门控循环单元是的简化版本，参LSTM分，显著提升了序列到序列任务的性数更少但性能相近，训练效率更高能深度学习优化技术批量归一化正则化学习率调度Dropout对每个批次的输入进行标准化处理，使在训练过程中随机丢弃部分神经元，防动态调整学习率以优化训练过程常用训练更加稳定，收敛更快能够允许使止模型过拟合通过增加模型的鲁棒策略包括学习率衰减、余弦退火、循环用更大的学习率，并起到一定的正则化性，提高泛化能力在测试时使用所有学习率等合适的学习率调度能够避免作用神经元但调整权重局部最优并提高收敛质量加速训练收敛防止过拟合阶梯式衰减•••减少对初始化的敏感性提高模型泛化能力指数衰减•••允许更高的学习率类似于集成学习效果余弦退火•••第五部分高级主题与前沿技术42020+核心技术领域技术突破年代涵盖强化学习、生成对抗网络、近年来领域的重大突破AI和自监督学习Transformer100B+模型参数规模现代大模型的参数量级现代人工智能正在经历前所未有的发展，从强化学习在游戏和机器人控制中的成功，到生成对抗网络在内容创作中的应用，再到架构带来的自然语言处理革命这些Transformer前沿技术正在重新定义的边界，推动着人工智能向更加通用和强大的方向发展理解这AI些前沿技术对于把握发展趋势至关重要AI强化学习基础奖励最大化通过累积奖励学习最优策略马尔可夫决策过程状态、动作、奖励的数学框架价值函数估计评估状态和动作的长期价值智能体环境交互通过试错学习优化行为策略强化学习通过智能体与环境的交互来学习最优策略，无需大量标注数据从到深度强化学习，该技术在游戏、机器人控制、自动Q-learning AI驾驶等领域取得了突破性进展强化学习的核心思想是通过奖励信号指导学习过程，使智能体能够在复杂环境中做出最优决策生成对抗网络GAN生成器网络学习数据分布并生成逼真样本判别器网络区分真实数据和生成数据对抗训练两个网络相互竞争提升性能应用场景图像生成、风格迁移、数据增强生成对抗网络通过生成器和判别器的对抗训练，能够生成高质量的合成数据从到，技术在图像生成、视频合成、艺术创作等领域展现了强大DCGAN StyleGANGAN的创造力尽管训练稳定性仍是挑战，但已成为生成式的重要基础技术GAN AI架构Transformer自注意力机制1允许模型关注输入序列的不同位置，计算每个位置与其他位置的相关性，实现全局信息的有效整合多头注意力2并行计算多个注意力子空间，捕获不同类型的依赖关系，显著提升模型的表达能力和学习效率位置编码3由于自注意力机制无法感知序列顺序，通过位置编码为模型提供位置信息，保持序列的时序特性广泛应用4从的双向编码到的自回归生成，成为现代BERT GPTTransformer和多模态系统的核心架构NLP AI。