《机器学习基础》课件

机器学习基础机器学习是计算机科学领域中的一个重要分支,它旨在通过算法和统计模型让计算机系统能够在没有显式编程的情况下,自动完成某些特定任务这是一个跨学科的研究领域,融合了数学、统计学、人工智能等多个学科什么是机器学习数据驱动的算法自动优化性能机器学习是一种通过从数据机器学习系统能够自动改进中学习并做出预测的算法过其性能,随着接收到更多数程据而不断提高广泛应用领域提升人类决策机器学习在计算机视觉、自机器学习可以帮助人类做出然语言处理、推荐系统等众更加精准和高效的决策多领域有着广泛应用机器学习算法分类监督学习无监督学习通过给定的输入和期望输出来训无需标注数据，通过发现数据中练模型，学习预测新输入的正确的内在模式和结构来学习输出强化学习半监督学习智能体通过与环境的互动，获得结合有标注和无标注数据来训练激励信号来学习最优决策模型，利用未标注数据提高性能监督学习监督学习是机器学习中最常用和最成熟的一种算法,通过训练使用标注的数据来预测输出它可以解决分类和回归等常见的机器学习问题回归算法线性回归多元回归岭回归Lasso回归线性回归是最基础的回归与线性回归类似，但可以解决线性回归容易过拟合和岭回归类似，但使用L1算法之一，用于预测连续处理多个输入变量通过的问题通过添加惩罚项正则化来实现特征选择型数值变量它通过找到寻找多个变量的最佳组合来缩小回归系数，提高模可以自动删除不重要的特变量之间的最佳拟合线来来预测目标变量型泛化性能征做出预测分类算法逻辑回归决策树支持向量机逻辑回归是一种常用的分类算法,能够决策树是一种基于树状结构的分类算支持向量机是一种基于边界划分的分将输入特征映射到概率输出,从而对新法,通过建立规则树来进行分类和预测类算法,通过寻找最优分割超平面来实样本进行分类预测它具有可解释性强的特点现高效分类它对噪音数据具有较强的容忍度无监督学习无监督学习是一类数据挖掘和信息提取技术,能从未标注的数据中发现隐藏的模式和结构这类算法不需要人工标注训练数据,通过分析数据的内部特征自动寻找数据间的潜在关系聚类算法无监督学习发现隐藏模式聚类算法属于无监督学习,它聚类能够自动发现数据中的根据样本的相似性将数据划内在结构和潜在分组,从而帮分到不同的簇中,无需预先标助识别数据中未被发现的模记样本式多种算法选择应用广泛K-Means、层次聚类、聚类广泛应用于市场细分、DBSCAN等是常见的聚类算异常检测、推荐系统等领域,法,各有特点可以适用于不同帮助发现数据中有价值的洞场景见降维算法主成分分析PCA线性判别分析LDA通过线性变换将高维数据映寻找最佳投影方向,使类间距射到低维空间,保留数据中最离最大化,类内距离最小化重要的信息广泛应用于图在分类任务中表现出色像处理、文本分析等领域t-SNE流形学习通过非线性映射将高维数据基于流形假设,利用高维数据映射到二维或三维空间,保留的几何结构进行降维能够原数据的局部结构适合于有效地捕捉数据的内在结构可视化高维数据特征强化学习强化学习是机器学习的一种重要分支,它通过与环境的交互来学习最佳行为策略,从而达到最大化奖励的目标与其他类型的机器学习不同,强化学习不需要预先标注的训练数据,而是通过试错和反馈不断优化决策行为机器学习模型训练数据预处理清洗、填充和转换数据是训练模型的基础确保数据质量和格式满足要求特征工程选择有效特征和构建新特征可显著提升模型性能这需要深入理解数据和目标模型选择根据问题类型和数据特点选择合适的学习算法比如线性回归、决策树或神经网络超参数调优通过调整学习率、正则化强度等超参数来优化模型性能,提高泛化能力数据集划分训练集验证集测试集用于训练模型的数据集,通常占总数据用于调整模型超参数,监测模型性能的用于最终评估模型性能的数据集,通常的70%-80%模型在这部分数据上学数据集,通常占10%-20%占10%与训练和验证集完全分离习并优化参数特征工程数据预处理特征选择特征构造特征缩放对原始数据进行清洗、填根据任务目标,选择相关性通过组合、转换原有特征,对不同量纲的特征进行标充缺失值、编码等操作,以高且不冗余的特征,提高模创造出新的更有意义的特准化或归一化处理,确保各确保数据的完整性和一致型的泛化能力征,增强模型的学习能力特征在同等范围内性模型评估模型性能检验性能指标选择12通过测试数据集评估模型在未知数据上的泛化能力根据问题类型选择合适的指标,如准确率、精确率、召回率等交叉验证效果可视化34使用交叉验证技术获得更可靠的性能评估结果利用混淆矩阵、ROC曲线等直观展示模型性能过拟合和欠拟合模型性能过拟合会导致模型在训练集上表现出色,但在测试集上性能急剧下降欠拟合则意味着模型无法完全学习训练数据的潜在规律误差分析通过监控训练误差和验证误差的变化趋势,可以及时发现并纠正过拟合或欠拟合的问题缓解措施可以通过增加训练样本、降低模型复杂度、正则化等方法来解决过拟合而对于欠拟合,需要增加模型复杂度、优化特征工程等正则化技术L1和L2正则化Dropout正则化数据增强L1正则化通过惩罚模型参数的绝对值Dropout正则化通过在训练过程中随机数据增强通过对输入数据进行一些变来防止过拟合,L2正则化则通过惩罚参忽略一部分神经元,增加网络对噪音和换,如翻转、缩放等,人工扩充训练样本,数平方值这两种方法都能增加模型过拟合的鲁棒性提高模型的泛化性能的泛化能力梯度下降算法迭代优化导数指引方向12梯度下降算法通过迭代地算法根据参数的梯度方向,调整模型参数,最小化目标调整参数以降低目标函数函数,实现优化的值批量处理学习率调整34可以对全部数据进行梯度通过调整学习率,可以控制计算,也可以采用小批量数每次参数更新的步长,提高据的随机梯度下降收敛速度线性回归线性预测线性回归利用数据集中的自变量和因变量之间的线性关系做出预测通过学习模型参数来拟合最佳的线性函数最小二乘法线性回归使用最小化残差平方和的方法来确定模型参数,使预测值与实际值之间的差异最小特征工程在线性回归中,选择合适的特征对模型的性能影响很大需要通过特征工程提取出最有效的特征回归Logistic二分类模型概率输出Logistic回归是一种常用的二Logistic回归模型会输出一个分类机器学习算法,用于预测0到1之间的概率,表示样本属目标变量是是还是否于正类的概率线性组合Logistic回归通过线性组合特征变量来预测目标变量,并使用逻辑函数将结果转换为概率决策树简单易懂高度灵活鲁棒性强特征选择能力决策树是一种简单直观的决策树可以处理各种类型决策树对异常值和缺失数决策树算法可以自动对特机器学习模型,通过构建树的数据,并能够自动捕捉变据都有很强的容忍能力,能征进行选择和排序,帮助识状结构对数据进行逐步划量之间的复杂关系,适用于够在复杂的环境中保持稳别最关键的影响因素分和决策它非常易于理分类和回归等广泛的机器定的性能解和解释学习任务随机森林多模型融合随机森林由多棵决策树组成,通过随机性和投票机制提高预测准确性决策树组成每棵决策树根据数据集的随机子集和随机特征子集进行训练算法特点随机森林能够有效处理高维度数据,抗噪能力强,不易过拟合支持向量机基本原理核函数优势应用支持向量机通过找到最佳支持向量机可以应用核函支持向量机具有良好的泛支持向量机被广泛应用于分割超平面来实现数据分数将数据映射到更高维空化性能,能够有效避免过拟图像识别、自然语言处理、类它会选择使两类之间间,从而能够处理复杂的非合,对噪声数据也有较强的生物信息学等领域,是机器的间隔最大化的超平面作线性问题常用核函数有鲁棒性同时,它可以处理学习中的经典算法之一为决策边界线性核、多项式核、高斯高维数据核等神经网络灵感源于大脑结构多层架构实现复杂功能12神经网络的基本建构块是神经网络由输入层、隐藏人工神经元,模拟人脑中神层和输出层组成,可以学习经元之间的相互作用并执行各种复杂的任务自动学习提取特征广泛应用于各领域34通过反复训练,神经网络可神经网络在图像识别、自以自动从原始数据中学习然语言处理、语音识别等和提取有意义的特征领域都有非常成功的应用卷积神经网络多层结构图像处理广泛应用卷积神经网络由卷积层、池化层和全卷积神经网络在图像分类、物体检测、卷积神经网络不仅用于图像处理,也在连接层组成的多层神经网络通过逐语义分割等计算机视觉任务中表现出语音识别、自然语言处理等领域取得步提取特征实现更高层次的抽象色可以自动学习特征提取突破性进展循环神经网络时间序列建模长短期记忆循环神经网络擅长处理时间LSTM是循环神经网络的一个序列数据,可以捕捉数据之间变种,能够学习长期和短期依的依赖关系这使其在语音赖,解决了标准RNN的消失梯识别、机器翻译等应用中表度问题现出色循序渐进学习应用广泛循环神经网络可以按步逐层除了语音和翻译,循环神经网学习特征,这与人类学习的方络还可应用于股票预测、机式更为相似,更容易解释和理器人控制等领域解生成对抗网络生成网络通过学习真实数据分布生成相似的样本判别网络判别生成样本是否与真实数据相同对抗训练两个网络相互竞争提升,最终生成逼真数据生成对抗网络由两个相互竞争的神经网络组成-生成网络和判别网络生成网络学习从噪声生成与真实数据分布相似的样本,而判别网络则试图区分生成样本与真实数据两个网络通过对抗训练不断提升,最终生成逼真的人工数据聚类K-Means基本原理算法步骤应用场景K-Means聚类是一种无监•选择聚类数K K-Means算法应用广泛,常督学习算法,它根据样本的用于客户细分、图像分割、•随机初始化K个聚类中相似度将其划分为K个聚异常检测等领域它简单心类它首先随机选取K个高效,能够快速发现数据中•计算每个样本与各聚类样本作为聚类中心,然后迭的隐藏模式中心的距离,将样本分代地更新中心点和样本的到最近的聚类归属,直到收敛•计算每个聚类的新中心,迭代直到中心不再变化主成分分析降维PCA数据压缩特征选择12主成分分析通过寻找数据PCA可以帮助选择最重要中最重要的特征,将高维数的特征,提高模型性能,降低据压缩到低维空间,去除冗模型复杂度余信息可视化正则化34将高维数据降到2D或3D空PCA可以作为一种正则化间后,可以更直观地观察数技术,减少过拟合,提高模型据分布和聚类情况的泛化能力推荐系统应用电子商务内容推荐推荐系统可以根据用户的浏在视频、音乐、新闻等内容览和购买历史,为他们推荐相平台,推荐系统可以个性化推关商品,提高转化率和销售额荐用户感兴趣的内容,增加用户粘性广告投放社交网络推荐系统可以根据用户画像,在社交网络中,推荐系统可以将合适的广告投放给目标受推荐感兴趣的好友、群组和众,提高广告的转化率内容,增强用户互动自然语言处理应用智能助手机器翻译情感分析智能问答基于自然语言处理技术的智自然语言处理可以实现高质通过识别文本中的情感倾向,基于自然语言理解的智能问能语音助手可以理解人类语量的机器翻译,打破语言障自然语言处理可以用于客户答系统可以提供快捷准确的言并做出智能回应,广泛应碍,促进国际交流合作反馈分析、舆情监控等信息查询服务,提升用户体用于日常生活中验计算机视觉应用图像识别自动驾驶12利用计算机视觉技术快速通过感知环境、检测障碍准确地识别图像内容,应用物等功能实现车辆的自主于安防监控、医疗影像诊导航和智能控制断等领域人脸识别目标检测34能够准确识别和验证人脸,可以在图像中快速检测出广泛应用于身份认证、监感兴趣的物体,应用于智能控安防等场景监控、工业检测等领域。