《数据处理与分析基础理论》课件

数据处理与分析基础理论欢迎来到数据处理与分析基础理论课程！课程目标了解数据处理与分析的基本掌握数据采集、清洗、转换熟悉常见的数据分析算法，能够应用数据分析工具进行概念和方法和特征工程等关键技术包括聚类、分类、回归和时实际项目实践间序列分析数据的定义和分类数据是指对客观事物的符号表数据分类包括数值型、类别示，是信息的载体型、时间型、文本型等数据的质量直接影响分析结果的准确性和可靠性数据采集的基本方法问卷调查通过设计问卷收集目标人群的信息实验观测通过实验或观测收集数据网络爬虫利用爬虫技术从互联网获取数据数据库查询从数据库中提取所需数据数据采集的注意事项确保数据的准确性和完遵守数据隐私和安全规采集与分析目标相关的整性范有效数据保证数据采集的统一性和一致性数据清洗的概念和流程数据识别1识别数据中的错误、异常值和缺失值数据验证2验证数据的准确性和一致性数据修正3对错误数据进行修正或删除数据标准化4将数据转换为统一的格式和标准数据清洗的常见技术异常值检测使用统计方法识别异常值缺失值处理使用插补方法填充缺失值数据转换将数据转换为更适合分析的格式数据去重删除重复数据数据质量评估指标完整性数据缺失率准确性错误数据率一致性数据矛盾率时效性数据更新频率异常值检测和处理方法箱线图Z-score1识别超出上下四分位数范围的异常值计算数据点与平均值的距离，识别离2群值原则3σ处理方法4识别超过平均值个标准差的异常值3±3删除、替换或修正异常值缺失值处理的常用方法删除法1删除包含缺失值的样本均值众数填充/2使用均值或众数填充缺失值插补法3使用模型预测缺失值模型预测4训练模型预测缺失值数据转换的必要性和重要性提高数据质量1消除数据差异，提高一致性优化模型效果2使数据更适合模型训练和预测简化分析过程3将复杂数据转换为易于理解的格式数据标准化和规范化技术特征工程的定义和作用特征选择特征提取特征转换选择最相关的特征将原始特征组合成新的特征对特征进行转换，以提高模型性能特征选择的方法与原则主成分分析的基本原理123降维保留信息线性组合将高维数据降维，减少变量数量最大程度地保留原始数据的信息通过线性组合创建新的主成分的步骤及应用场景PCA数据标准化1将数据缩放到均值为，方差为01计算协方差矩阵2计算所有变量之间的协方差计算特征值和特征向量3提取协方差矩阵的特征值和特征向量选择主成分4根据特征值的大小选择主成分数据投影5将原始数据投影到主成分空间因子分析的基本原理解释性降维隐藏变量解释多个变量之间的关系将多个变量简化为少数几个因子假设存在一些隐藏的因子影响多个变量因子分析的过程及解释数据准备收集数据并进行预处理因子提取提取因子，并确定每个因子的解释因子旋转对因子进行旋转，使其更易于解释因子得分计算每个样本的因子得分聚类分析的定义和目的目的2发现数据中的隐藏结构和模式定义1将数据分成多个组，组内数据相似度高，组间数据相似度低应用客户细分、市场分析、异常值检测3算法及其应用K-means步骤

11.随机选择K个聚类中心步骤

22.计算每个样本到聚类中心的距离，将其分配到最近的聚类中心步骤

33.更新聚类中心，计算每个聚类中心的所有样本的均值步骤

44.重复步骤2和3，直到聚类中心不再变化应用5图像分割、客户细分、文本聚类层次聚类算法及其特点特点1将数据逐步合并或拆分为多个组特点2形成树状结构，展示不同层次的聚类结果特点3无需预先指定聚类数量特点4适用于不同类型和规模的数据分类分析的概念和类型决策树算法及其实现原理实现通过一系列决策节点将数据分类使用、、等算法ID3C

4.5CART逻辑回归算法及其原理123线性模型函数最大似然估计Sigmoid利用线性函数来预测数据类别将线性函数的结果转换为概率值使用最大似然估计方法训练模型参数算法及其应用场景SVM原理1寻找最大间隔超平面，将不同类别的数据分离应用2图像识别、文本分类、生物信息学时间序列分析的意义趋势预测预测未来数据的变化趋势周期性分析识别数据的季节性或周期性变化异常值检测识别时间序列数据中的异常值平稳性检验及其方法定义时间序列的统计特性不随时间变化方法检验、检验ADF KPSS自相关分析及其应用测量时间序列数据在识别时间序列中的趋构建时间序列预测模不同时间点的相关性势和周期性型移动平均模型及其特点原理使用过去数据的平均值来预测未来值特点平滑时间序列中的随机波动特点适用于短期预测特点对数据趋势的捕捉能力有限指数平滑模型及其优缺点优点原理2适用于趋势性较弱的时间序列将过去数据的权重随着时间的推移呈1指数衰减优点模型简单易于理解35缺点缺点对异常值的敏感性较高4对季节性数据的处理能力有限模型及其建模过程ARIMA原理1结合自回归模型、移动平均模型和差分模型步骤

21.平稳性检验步骤

32.自相关分析步骤

43.确定模型参数步骤

54.模型训练和预测预测模型评估指标准确率1预测结果与实际结果的匹配度误差率2预测结果与实际结果之间的偏差大小均方误差3预测误差的平方和的平均值预测结果可视化和应用实际值预测值相关分析的基本概念正相关负相关不相关两个变量变化趋势一致两个变量变化趋势相反两个变量之间没有明显的关联相关系数及其计算方法1皮尔逊相关系数适用于线性关系2斯皮尔曼相关系数适用于非线性关系回归分析的基本原理目标1建立变量之间的数学关系模型应用2预测、解释和控制线性回归模型及其假设模型y=β0+β1x+ε假设线性关系、独立性、正态性、同方差性线性回归的拟合与评估拟合使用最小二乘法估计模型参数评估使用、等指标评估模型性能R²RMSE非线性回归及其应用适用于非线性关系的使用多项式回归、逻金融预测、经济分析数据辑回归等模型、生物医学研究数据分析工具的选择数据处理与分析的综合实践数据采集从真实场景中收集数据数据清洗对数据进行清理和预处理特征工程选择和提取有效的特征模型训练和评估使用合适的模型训练和评估模型性能预测和分析应用模型进行预测和分析结果解读数据分析的职业发展。