《数据挖掘与分析》课件

数据挖掘与分析欢迎来到数据挖掘与分析的世界！课程目标与学习要求了解数据挖掘的定义、能够运用数据挖掘方法12应用场景和重要性解决实际问题掌握数据挖掘的基本流程和关培养数据分析能力和批判性思键技术维鼓励独立思考和团队合作3积极参与课堂讨论和实践项目数据挖掘的定义与应用场景定义应用场景数据挖掘是指从大量数据中提取隐含的、有价值的、可被理解的数据挖掘在各行各业都有广泛应用，例如信息和知识的过程，利用数据分析方法，从海量数据中发现规律电商推荐系统、精准营销、用户画像•、模式和趋势，以支撑决策和优化策略金融风险控制、信用评分、欺诈检测•医疗疾病预测、药物研发、个性化治疗•制造生产优化、质量控制、预测性维护•数据挖掘在现代商业中的重要性数据驱动决策数据挖掘帮助企业利用数据洞察市场趋势、用户行为和竞争态势，制定更精准的商业决策提升效率和效益数据挖掘可以优化业务流程、预测需求、降低成本，提升企业运营效率和盈利能力创造新的商业模式数据挖掘可以发现新的市场机会、创造新的产品和服务，推动企业创新发展增强竞争优势数据挖掘帮助企业更好地理解客户需求、提供个性化服务，提升客户满意度和忠诚度，增强竞争优势数据挖掘的发展历程早期阶段1世纪年代，数据挖掘萌芽，主要以统计分析和数据库技术为主2070数据仓库阶段2世纪年代，数据仓库技术兴起，为数据挖掘提供数据基础2090机器学习阶段3世纪初，机器学习算法发展迅速，成为数据挖掘的核心技术21大数据时代4近年来，大数据技术和深度学习的兴起，推动数据挖掘进入新阶段数据挖掘的基本流程概述数据收集从各种来源获取数据，包括数据库、文件、传感器等数据清洗处理数据中的错误、缺失值、噪声等，确保数据质量数据预处理对数据进行转换、归一化、特征选择等操作，为后续分析做准备模型构建根据数据特征和分析目标，选择合适的模型进行训练和预测模型评估评估模型的性能，确定模型的优劣，并进行优化调整结果解释分析模型的预测结果，得出有意义的结论，并为决策提供依据数据类型与数据特征数据类型数据特征常见的數據類型包括数据特征是指数据中每个数据点所具有的属性或变量，例如数值型表示数值大小，例如年龄、收入连续特征可取任意值，例如温度、高度••类别型表示类别，例如性别、城市离散特征只能取有限个值，例如性别、城市••文本型表示文本信息，例如产品评论、新闻报道标称特征表示类别，例如颜色、品牌••时间型表示时间信息，例如日期、时间序数特征表示顺序，例如等级、评分••数据质量与数据预处理数据质量数据预处理数据质量是指数据的准确性、完整性、一致性、时效性等方面的数据预处理是指对原始数据进行一系列处理操作，包括数据清洗评估指标、转换、归一化、特征选择等，目的是提高数据质量，为后续分析做准备数据清洗技术缺失值处理处理数据中的缺失值，例如删除记录、插值等噪声处理去除数据中的噪声，例如平滑、离群值处理等异常值处理识别和处理数据中的异常值，例如删除、替换等重复值处理去除数据中的重复值，例如合并、删除等数据转换与归一化数据转换将数据转换为适合分析的格式，例如离散化、编码等1归一化2将数据缩放到同一尺度，例如MinMax缩放、Z-score标准化等特征选择方法包裹式2利用模型的性能指标进行筛选，例如递归特征消除法等过滤式1根据特征本身的性质进行筛选，例如方差选择法、互信息法等嵌入式将特征选择集成到模型训练过程中，例3如正则化、决策树等数据降维技术主成分分析（）PCA1通过线性变换将高维数据映射到低维空间，保留主要信息线性判别分析（）LDA2通过线性变换将高维数据映射到低维空间，同时考虑类别信息奇异值分解（）SVD3将矩阵分解为三个矩阵，可以用于数据压缩、降维等主成分分析（）原理PCA原理步骤通过寻找数据方差最大的方向，将数据投影到这些方向上数据预处理对数据进行中心化和标准化PCA

1.，从而实现降维计算协方差矩阵计算所有特征之间的协方差

2.特征值分解对协方差矩阵进行特征值分解，获得特征值和

3.特征向量选择主成分选择方差最大的个特征向量作为主成分

4.k数据投影将原始数据投影到主成分空间，得到降维后的数

5.据实际应用案例PCA10数据压缩压缩图像数据，节省存储空间2特征提取提取图像特征，用于图像识别和分类3降噪去除数据噪声，提高模型的鲁棒性4可视化将高维数据降维到二维或三维，方便可视化聚类分析基础基于距离的划分聚类方法K-means层次聚类基于距离的层次聚类方法密度聚类基于密度的聚类方法，例如DBSCAN算法详解K-means算法步骤优缺点初始化个聚类中心优点简单易实现、计算效率高

1.k•计算每个数据点到各个聚类中心的距离，将数据点分配到距

2.缺点需要预先确定聚类中心数量、对初始中心敏感、对噪•离最近的聚类中心声敏感更新聚类中心计算每个聚类的均值，作为新的聚类中心

3.重复步骤，直到聚类中心不再发生变化

4.2-3层次聚类方法自下而上聚类将每个数据点视为一个独立的簇，然后逐步合并距离最近的簇，直到所有数据点都被合并到一个簇自上而下聚类将所有数据点视为一个簇，然后逐步将簇拆分成子簇，直到满足要求层次聚类树层次聚类算法会生成一个层次聚类树，可以根据需要选择不同的层级进行聚类密度聚类算法DBSCAN核心概念算法基于密度的聚类方法，通过识别高密度区域来进行聚类DBSCAN算法步骤确定核心点满足密度阈值的点

1.扩展核心点将核心点及其所有密度可达的点合并为一个簇

2.识别噪声点未被分配到任何簇的点

3.聚类算法的评估指标轮廓系数评估样本点与其所属簇的相似度兰德指数评估聚类结果与真实标签的一致性调整兰德指数对兰德指数进行调整，考虑随机分配的情况卡尔林斯基哈拉巴斯指数评估簇间距离和簇内距离的比值-聚类分析案例研究分类技术概述定义应用场景分类技术是指将数据样本划分到不同的类别中的技术，目的是根分类技术广泛应用于据已知类别的数据样本，预测新数据的类别垃圾邮件检测•信用评分•疾病诊断•图像识别•决策树算法原理决策树1决策树是一种树形结构，每个节点表示一个属性，每个分支表示一个属性值，叶子节点表示类别标签构建过程2选择最佳划分属性根据信息增益、基尼指数等指标选择

1.最佳划分属性分割数据根据划分属性的值将数据分成不同的子集

2.递归构建子树对每个子集递归地构建子树，直到所有数

3.据都属于同一类别或达到停止条件算法详解ID3信息增益算法步骤算法使用信息增益作为选择划分属性的指标计算每个属性的信息增益ID

31.选择信息增益最大的属性作为划分属性

2.根据划分属性的值将数据分成不同的子集

3.递归地构建子树，直到所有数据都属于同一类别或达到停

4.止条件算法优化C

4.5信息增益率使用信息增益率来解决算法偏向取值较多的属性的问题ID3连续属性处理可以对连续属性进行离散化，例如二分法剪枝对决策树进行剪枝，防止过拟合决策树CART二叉树2算法构建的是二叉树，每个节点CART最多有两个分支基尼指数1算法使用基尼指数作为选择划分CART属性的指标剪枝3CART算法也使用剪枝来防止过拟合随机森林算法集成学习随机森林是一种集成学习算法，通过构建多个决策树来进行预测随机特征选择在构建每棵决策树时，随机选择一部分特征进行训练投票机制对所有决策树的预测结果进行投票，得到最终的预测结果朴素贝叶斯分类器贝叶斯定理特征独立性假设朴素贝叶斯分类器基于贝叶斯定理，通过计算样本属于每个类别朴素贝叶斯分类器假设特征之间相互独立，这在实际应用中可能的概率来进行分类不完全成立支持向量机（）基础SVM最大间隔分类器1的目标是找到一个超平面，使得不同类别的样本点之间SVM的间隔最大支持向量2支持向量是指离超平面最近的样本点，它们决定了超平面的位置核函数3对于非线性可分的数据，可以使用核函数将数据映射到高维空间，使其线性可分核函数选择SVM线性核函数适用于线性可分的数据多项式核函数适用于非线性可分的数据，但可能会导致过拟合径向基核函数（）RBF适用于非线性可分的数据，具有良好的泛化能力核函数Sigmoid与核函数类似，但计算效率更高RBF算法原理与应用KNN原理KNN算法是一种基于实例的学习算法，通过计算待分类样本与训练集中的所有样本的距离，选取距离最近的k个样本，根据这k个样本的类别进行投票，得到待分类样本的类别步骤

1.计算距离计算待分类样本与训练集中的所有样本的距离

2.选择k个最近邻选取距离最近的k个样本

3.投票根据k个最近邻的类别进行投票，得到待分类样本的类别应用KNN算法应用广泛，例如•图像识别•文本分类•推荐系统神经网络基础结构训练过程神经网络由多个神经元组成，每个神经元接收来自上一层的输入神经网络通过反向传播算法来进行训练，通过调整网络参数来最，经过非线性激活函数处理，输出到下一层小化损失函数深度学习导论12定义优势深度学习是机器学习的一个分支，它使深度学习具有强大的学习能力，能够从用多层神经网络来学习数据中的复杂特海量数据中学习复杂特征，并解决许多征，并进行预测和决策传统方法难以解决的问题3应用深度学习在图像识别、语音识别、自然语言处理、机器翻译等领域取得了重大突破卷积神经网络CNN卷积层1卷积层通过卷积核对输入数据进行卷积操作，提取特征池化层2池化层对特征图进行降采样，减少参数数量，提高模型效率全连接层3全连接层将特征向量映射到类别标签，进行分类预测循环神经网络RNN特点能够处理序列数据，例如文本、语音、时间序列数据RNN循环机制通过循环机制，将上一时刻的信息传递到下一时刻，从而学习序列RNN数据中的时间依赖性关联规则挖掘定义应用场景关联规则挖掘是指从数据集中发现不同属性之间的关联关系，例关联规则挖掘应用于如购买啤酒的人通常也会购买尿布“”市场篮子分析•推荐系统•欺诈检测•算法Apriori频繁项集算法先找出频繁项集，即出现次数超过最小支持度阈值的项集Apriori关联规则然后从频繁项集中生成关联规则，即满足最小置信度阈值的规则剪枝算法使用剪枝技术，减少候选频繁项集的数量，提高算法Apriori效率算法FP-Growth频繁模式树算法使用频繁模式树来存储频繁项集的信息FP-Growth条件模式基算法通过条件模式基来生成关联规则FP-Growth效率算法比算法更高效，尤其是在数据集较大FP-Growth Apriori时频繁模式挖掘应用定义频繁模式挖掘应用于1频繁模式挖掘是指在数据集中找出出现•市场篮子分析2次数超过最小支持度阈值的模式网站分析•文本挖掘•序列模式分析序列模式1序列模式是指数据集中出现的特定事件序列，例如用户浏览了产品、产品、产品“A BC”挖掘方法2序列模式挖掘算法包括、等，它们能够找出频繁的序列模式GSP PrefixSpan应用序列模式分析应用于3•用户行为分析网站日志分析•时间序列预测•异常检测方法1统计方法基于数据分布的统计方法，例如3σ准则、箱线图等2距离方法基于样本点之间的距离，例如KNN、孤立森林等3聚类方法基于聚类算法，将异常点识别为离群点4机器学习方法使用机器学习模型来进行异常检测，例如SVM、神经网络等时间序列分析基础定义应用时间序列分析是指对随时间变化的数据进行分析，目的是发现数时间序列分析应用于据中的趋势、周期性和季节性等规律股票价格预测•销售预测•天气预报•时间序列预测技术移动平均法使用过去一段时间的数据的平均值来预测未来值指数平滑法对过去数据进行加权平均，权重随着时间推移而指数衰减模型ARIMA自回归移动平均模型，根据过去数据来预测未来值神经网络模型使用神经网络模型来进行时间序列预测，能够学习更复杂的模式文本挖掘概述定义1文本挖掘是指从大量文本数据中提取有价值的信息和知识，例如主题、情感、关系等步骤2文本预处理清洗、分词、去除停用词等

1.文本表示将文本转换为向量形式，例如词袋模型、

2.TF-等IDF模型构建选择合适的模型进行文本分类、聚类、情感分

3.析等文本预处理技术清洗去除文本中的噪声、错误、重复信息等分词将文本分割成词语或短语，例如中文分词、英文分词去除停用词去除文本中的无意义词语，例如的、了、和等“”“”“”词干提取将词语还原为其词干，例如和都还原为“running”“ran”“run”文本分类方法支持向量机（）SVM2能够处理高维数据，适用于文本分类朴素贝叶斯1基于贝叶斯定理的分类方法，适用于文本分类深度学习使用深度学习模型进行文本分类，能够3学习更复杂的特征情感分析技术情感主题分析情感强度分析分析文本的情感主题，例如产品质量、服情感分类分析文本的情感强度，例如强烈的正面情务态度等将文本的情感分为正面、负面、中性等类感、弱烈的负面情感别主题模型LDA定义原理是一种主题模型，它可以从文本数据中自动发现主题假设每个文档由多个主题混合而成，每个主题对应一组词语LDA LDA分布，通过学习词语和主题之间的概率关系来推断文档的主题社交网络分析基础网络结构中心性指标社交网络可以表示为一个图，节度中心性、介数中心性、接近中点表示用户，边表示用户之间的心性等指标可以衡量节点在网络关系中的重要性社团发现社团发现算法可以将社交网络中的用户分成不同的社团图挖掘算法最短路径算法1寻找两个节点之间的最短路径，例如算法、算Dijkstra Floyd法算法PageRank2用于评估网页的重要性，可以应用于社交网络分析社团发现算法3用于识别网络中的社团结构，例如算法Louvain推荐系统原理协同过滤基于用户或物品之间的相似性进行推荐基于内容根据用户历史行为或偏好，推荐与之相似的内容混合推荐结合协同过滤和基于内容的推荐方法，提高推荐效果协同过滤算法用户相似度计算计算用户之间的相似度，例如皮尔逊相关系数、余弦相似度等推荐物品根据用户相似度，为用户推荐相似用户喜欢的物品基于内容的推荐相似度计算2计算用户历史行为或偏好与物品特征之间的相似度内容特征提取1提取物品的特征，例如文本、图像、音频等推荐物品根据相似度，推荐与用户历史行为或偏3好相似的物品混合推荐系统优点1结合了协同过滤和基于内容的推荐方法的优点，能够克服各自的缺点应用2混合推荐系统广泛应用于电商平台、音乐平台、视频平台等数据可视化基础12定义目的数据可视化是指将数据转换为图形、图表数据可视化可以帮助人们发现数据中的模等可视化形式，以帮助人们更好地理解和式、趋势、异常等，促进对数据的理解和分析数据洞察3应用数据可视化广泛应用于数据分析•商业智能•科学研究•可视化工具与技术图表类型常见的图表类型包括折线图•柱状图•饼图•散点图•热力图•可视化工具常用的数据可视化工具包括•Tableau•Power BI•D

3.js•matplotlib数据分析库概述PythonNumPy PandasScikit-learn matplotlib用于数值计算和矩阵操作用于数据处理和分析，提供用于机器学习，提供各种机用于数据可视化，提供丰富和数据结器学习算法和模型的绘图功能DataFrame Series构数据挖掘工具比较开源、免费、界面友功能相对简单，不支Weka好持大型数据集功能强大、易于使用商业软件，需要付费RapidMiner、支持多种数据源可视化界面、支持多功能相对有限，不支Orange种数据挖掘方法持大型数据集隐私保护与道德考虑隐私保护道德考虑数据挖掘过程中需要保护用户的隐私数据挖掘需要遵循道德原则，例如公信息，例如匿名化、脱敏等平、透明、负责任等大数据时代的挑战数据价值数据速度如何从海量数据中提取有价值数据多样性大数据产生速度快，需要实时的信息和知识是关键挑战数据规模大数据类型多样，需要不同的处理和分析能力大数据规模巨大，对数据存储处理方法和分析技术、处理、分析都提出了挑战数据挖掘项目实践指南项目定义明确项目目标、数据需求、资源限制等数据收集从各种来源获取数据，并进行数据清洗数据分析对数据进行探索性分析，发现数据特征和规律模型构建选择合适的模型进行训练和预测模型评估评估模型性能，并进行优化调整结果解释分析模型结果，得出有意义的结论。