《现代数据分析方法》课件

现代数据分析方法欢迎来到《现代数据分析方法》课程！本课程旨在帮助学员掌握现代数据分析的核心概念、方法和技术通过系统学习，学员将能够运用数据分析解决实际问题，并在大数据时代脱颖而出让我们一起开启数据分析之旅，探索数据的无限可能！课程概述课程目标学习成果课程结构培养学员运用现代数据分析方法解决实学员将能够独立完成数据分析项目，熟课程分为十个部分，涵盖数据分析基础际问题的能力，掌握数据分析的核心技练运用统计分析、机器学习和数据可视、统计推断、回归分析、机器学习、聚术和工具，了解数据分析的最新发展趋化等技术，为企业决策提供有力支持类分析、降维技术、时间序列分析、文势本挖掘、大数据分析和数据可视化进阶等内容第一部分数据分析基础数据收集从各种来源获取数据，包括数据库、API和文件等数据清洗处理缺失值、异常值和重复值，确保数据质量数据转换将数据转换为适合分析的格式，例如标准化和归一化数据分析运用统计方法和机器学习算法，从数据中提取有价值的信息什么是数据分析？1定义2重要性数据分析是指利用统计学、机在信息时代，数据分析的重要器学习等方法，从大量数据中性日益凸显企业可以利用数提取有用信息和结论的过程据分析优化运营、提高效率、通过数据分析，可以发现数据降低成本、改进产品和服务之间的关系、模式和趋势，为政府可以利用数据分析制定政决策提供支持策、改善公共服务、维护社会稳定3应用领域数据分析的应用领域非常广泛，包括金融、医疗、零售、电商、交通、能源等在金融领域，数据分析可以用于风险管理、欺诈检测和客户信用评估在医疗领域，数据分析可以用于疾病诊断、药物研发和个性化治疗数据分析的历史发展传统统计1以手工计算为主，处理小规模数据，主要应用于政府和科研领域代表人物包括卡尔·皮尔逊和罗纳德·费舍尔商业智能2利用数据仓库和OLAP技术，为企业提供决策支持代表软件包括SAPBusinessObjects和IBM Cognos数据挖掘3运用机器学习算法，从大量数据中发现隐藏的模式代表算法包括决策树、聚类和关联规则数据科学4融合统计学、机器学习和计算机科学，处理大数据，解决复杂问题代表技术包括Hadoop、Spark和深度学习数据类型和结构结构化数据非结构化数据半结构化数据以表格形式存储，具有清晰的结构和固没有预定义的结构，难以用表格形式表介于结构化数据和非结构化数据之间，定的格式常见的结构化数据包括关系示常见的非结构化数据包括文本、图具有一定的结构，但不如结构化数据规型数据库中的数据和Excel表格中的数据像、音频和视频范常见的半结构化数据包括JSON和XML数据质量和预处理数据清洗识别和纠正数据中的错误、不一致性和重复值常见的数据清洗方法包括删除错误数据、填充缺失值和修改不一致数据处理缺失值处理数据中的缺失值，避免对分析结果产生影响常见的缺失值处理方法包括删除包含缺失值的记录、用均值或中位数填充缺失值，以及使用机器学习算法预测缺失值标准化和归一化将数据转换为统一的尺度，消除不同变量之间的量纲差异常见的标准化方法包括Z-score标准化，常见的归一化方法包括Min-Max归一化描述性统计中心趋势离散程度描述数据的集中程度，包括均值描述数据的分散程度，包括方差、中位数和众数均值是所有数、标准差和四分位数范围方差据的平均值，中位数是将数据排是数据偏离均值的程度，标准差序后位于中间位置的值，众数是是方差的平方根，四分位数范围数据中出现次数最多的值是上四分位数和下四分位数之间的差分布形状描述数据的分布形态，包括偏度和峰度偏度描述数据分布的对称性，峰度描述数据分布的尖锐程度数据可视化基础可视化原则图表类型数据可视化应遵循简洁、清晰、准确和美观的原则简洁是指图表应避免冗余信息，清晰是指图表应易于理解，准确是指图表应真实反映数据，美观是常用的图表类型包括柱状图、折线图、散点图、饼图和箱线图柱状图用于指图表应具有良好的视觉效果比较不同类别的数据，折线图用于展示数据随时间变化的趋势，散点图用于展示两个变量之间的关系，饼图用于展示各部分占总体的比例，箱线图用于展示数据的分布情况第二部分统计推断概率论理解随机事件发生的可能性抽样理论从总体中抽取样本进行研究假设检验验证关于总体的假设是否成立回归分析研究变量之间的关系概率论基础1随机变量随机变量是指取值具有随机性的变量随机变量可以是离散的，也可以是连续的离散随机变量的取值是有限个或可数个，连续随机变量的取值是无限个2概率分布概率分布是指随机变量取值的概率规律常见的概率分布包括正态分布、均匀分布、二项分布和泊松分布正态分布是最常见的连续概率分布，均匀分布是指所有取值的概率相等，二项分布是指进行n次独立试验，每次试验成功的概率为p，泊松分布是指单位时间内发生随机事件的次数抽样理论抽样方法抽样分布常见的抽样方法包括简单随机抽样、分层抽样、整群抽样和系统抽样分布是指样本统计量的概率分布常见的抽样分布包括样本抽样简单随机抽样是指每个个体被抽中的概率相等，分层抽样均值的抽样分布和样本比例的抽样分布样本均值的抽样分布是是指将总体分为若干层，然后从每层中随机抽取样本，整群抽样指从总体中抽取多个样本，计算每个样本的均值，然后将这些均是指将总体分为若干群，然后随机抽取若干群作为样本，系统抽值组成一个分布，样本比例的抽样分布是指从总体中抽取多个样样是指按照一定的间隔抽取样本本，计算每个样本的比例，然后将这些比例组成一个分布假设检验原理和步骤假设检验是指根据样本数据，判断关于总体的假设是否成立假设检验的步骤包括提出原假设和备择假设、选择检验统计量、计算检验统计量的值、确定拒绝域和做出决策类型和类型错误I II类型I错误是指原假设为真，但被拒绝，类型II错误是指原假设为假，但未被拒绝犯类型I错误的概率称为显著性水平，通常用α表示，犯类型II错误的概率称为β检验t单样本检验独立样本检验t t用于检验一个样本的均值是否与用于检验两个独立样本的均值是已知的总体均值相等否相等配对样本检验t用于检验两个配对样本的均值是否相等方差分析（）ANOVA单因素双因素ANOVA ANOVA用于检验一个因素的多个水平对因变量的影响是否显著例如，用于检验两个因素的多个水平对因变量的影响是否显著，以及两检验不同品牌的广告对销售额的影响是否显著个因素之间是否存在交互作用例如，检验不同品牌的广告和不同地区的消费者对销售额的影响是否显著相关分析1Pearson相关系数用于衡量两个连续变量之间的线性关系Pearson相关系数的取值范围为-1到1，绝对值越大，表示相关性越强，正值表示正相关，负值表示负相关2Spearman等级相关用于衡量两个等级变量之间的单调关系Spearman等级相关的取值范围为-1到1，绝对值越大，表示相关性越强，正值表示正相关，负值表示负相关第三部分回归分析简单线性回归研究一个自变量和一个因变量之间的线性关系多元线性回归研究多个自变量和一个因变量之间的线性关系非线性回归研究自变量和因变量之间的非线性关系逻辑回归研究自变量对二元或多类别因变量的影响简单线性回归模型假设最小二乘法简单线性回归模型假设自变量和因变量之间存在线性关系，误差最小二乘法是一种用于估计回归模型参数的方法，其目标是使残项服从正态分布，且方差相等差平方和最小多元线性回归1模型构建多元线性回归模型是指包含多个自变量的线性回归模型模型构建的关键是选择合适的自变量，并确定自变量之间的关系2变量选择变量选择是指从多个自变量中选择对因变量影响最大的变量常见的变量选择方法包括向前选择、向后选择和逐步回归回归诊断残差分析用于检验回归模型的假设是否成立残差是指观测值与预测值之间的差残差分析包括残差的正态性检验、残差的独立性检验和残差的方差齐性检验多重共线性指自变量之间存在高度相关性多重共线性会导致回归模型的参数估计不稳定，甚至出现错误常用的多重共线性检验方法包括方差膨胀因子（VIF）和条件数非线性回归多项式回归指数回归用于拟合自变量和因变量之间的多项式关系多项式回归模型可用于拟合自变量和因变量之间的指数关系指数回归模型可以表以表示为y=a+bx+cx^2+...+dx^n，其中n是多项式的阶数示为y=a*expbx逻辑回归1二元逻辑回归用于预测二元分类变量，例如是否购买、是否违约等二元逻辑回归模型将因变量的概率建模为自变量的线性组合的逻辑函数2多类别逻辑回归用于预测多类别分类变量，例如商品类别、用户等级等多类别逻辑回归模型将因变量的概率建模为自变量的线性组合的softmax函数第四部分机器学习基础监督学习非监督学习强化学习从带有标签的数据中学习，例如分类和从没有标签的数据中学习，例如聚类和通过与环境交互学习，以获得最大的奖回归降维励机器学习概述监督学习非监督学习常见算法分类vs监督学习需要带有标签的训练数据，而非监督学习不需要监督常见的机器学习算法包括分类算法、回归算法、聚类算法和降维学习的目标是预测或分类，而非监督学习的目标是发现数据中的算法分类算法用于预测分类变量，回归算法用于预测连续变量模式，聚类算法用于将数据分为若干组，降维算法用于减少数据的维度决策树算法ID3基于信息增益选择最优的特征进行划分，容易过拟合算法CART基于基尼指数选择最优的特征进行划分，可以处理连续型变量随机森林1原理随机森林是一种集成学习算法，通过构建多个决策树，并对每个决策树的结果进行投票，从而得到最终的预测结果2优缺点优点精度高、泛化能力强、不易过拟合；缺点计算量大、不易解释支持向量机（）SVM线性可分核函数SVM用于处理线性可分的数据，目标是找到一个最优的超平面，将不用于处理线性不可分的数据，通过将数据映射到高维空间，使其同类别的数据分开线性可分近邻算法（）K KNN1原理KNN算法是一种基于实例的学习算法，其原理是对于一个新的样本，在训练集中找到与其最相似的K个样本，然后根据这K个样本的类别，预测新样本的类别2K值选择K值的选择对KNN算法的性能有很大影响如果K值太小，容易过拟合；如果K值太大，容易欠拟合常用的K值选择方法包括交叉验证和网格搜索朴素贝叶斯原理朴素贝叶斯算法是一种基于贝叶斯定理的分类算法，其原理是假设各个特征之间相互独立，然后根据贝叶斯定理，计算每个类别的概率，选择概率最大的类别作为预测结果应用场景朴素贝叶斯算法常用于文本分类、垃圾邮件过滤和情感分析等领域第五部分聚类分析均值聚类K-将数据分为K个簇，每个簇的中心点为簇内所有数据的均值层次聚类通过构建层次结构，将数据逐步合并或分裂成不同的簇DBSCAN基于密度的聚类算法，可以发现任意形状的簇聚类分析概述目的和应用距离度量聚类分析的目的是将数据分为若干组，使得同一组内的数据相似常用的距离度量包括欧氏距离、曼哈顿距离和余弦相似度欧氏度高，不同组之间的数据相似度低聚类分析常用于市场细分、距离是指两点之间的直线距离，曼哈顿距离是指两点在各个坐标客户画像和异常检测等领域轴上的距离之和，余弦相似度是指两个向量之间的夹角余弦值均值聚类K-1算法步骤

1.随机选择K个初始中心点；

2.将每个数据点分配到与其距离最近的中心点所在的簇；

3.重新计算每个簇的中心点；

4.重复步骤2和3，直到中心点不再变化或达到最大迭代次数2初始中心点选择初始中心点的选择对K-均值聚类的结果有很大影响常用的初始中心点选择方法包括随机选择和K-means++算法层次聚类凝聚式分裂式vs凝聚式层次聚类是指从每个数据点开始，逐步将距离最近的簇合并，直到所有数据点合并为一个簇；分裂式层次聚类是指从所有数据点开始，逐步将簇分裂，直到每个数据点成为一个簇树状图解释树状图是一种用于可视化层次聚类结果的图，其横轴表示数据点，纵轴表示簇之间的距离通过观察树状图，可以确定合适的簇的数量算法DBSCAN密度聚类原理参数选择DBSCAN是一种基于密度的聚类算法，其原理是将密度相连的DBSCAN算法需要指定两个参数半径（eps）和最小密度（数据点划分为一个簇DBSCAN算法不需要指定簇的数量，可以minPts）半径是指数据点周围的邻域半径，最小密度是指邻域发现任意形状的簇，对噪声具有鲁棒性内最少的数据点数量参数选择对DBSCAN算法的性能有很大影响评估聚类质量1轮廓系数用于评估聚类结果的紧密度和分离度轮廓系数的取值范围为-1到1，值越大，表示聚类效果越好2Calinski-Harabasz指数用于评估聚类结果的簇内方差和簇间方差Calinski-Harabasz指数越大，表示聚类效果越好第六部分降维技术主成分分析（）PCA通过线性变换，将数据投影到低维空间，并保留数据的主要特征因子分析通过寻找潜在的因子，解释变量之间的关系t-SNE一种非线性降维技术，特别适用于高维数据的可视化降维概述目的和应用常见方法降维的目的是减少数据的维度，从而降低计算复杂度、提高模型常见的降维方法包括主成分分析（PCA）、因子分析和t-SNE性能和实现数据可视化降维常用于图像处理、文本挖掘和基因PCA是一种线性降维方法，因子分析是一种统计降维方法，t-分析等领域SNE是一种非线性降维方法主成分分析（）PCA1原理PCA通过线性变换，将数据投影到低维空间，并保留数据的主要特征PCA的目标是找到数据的主成分，主成分是指数据方差最大的方向2步骤

1.数据标准化；

2.计算协方差矩阵；

3.计算特征值和特征向量；

4.选择前K个特征向量，组成投影矩阵；

5.将数据投影到低维空间因子分析与的区别PCAPCA是一种数据变换技术，其目标是找到数据的主成分，而因子分析是一种统计模型，其目标是解释变量之间的关系PCA不考虑误差项，而因子分析考虑误差项因子旋转因子旋转是指通过线性变换，使因子更易于解释常见的因子旋转方法包括方差最大化旋转和四次方最大化旋转t-SNE非线性降维参数调整t-SNE是一种非线性降维技术，特别适用于高维数据的可视化t-SNE算法需要调整的参数包括困惑度（perplexity）和学习率（t-SNE的目标是在低维空间中保留高维数据的局部结构learning rate）困惑度是指每个数据点周围的邻域大小，学习率是指梯度下降的学习速度参数调整对t-SNE算法的性能有很大影响第七部分时间序列分析移动平均模型通过计算过去一段时间内数据的平均值，预测未来的值指数平滑法对过去的数据赋予不同的权重，越近的数据权重越大，预测未来的值模型ARIMA一种常用的时间序列预测模型，可以考虑数据的自相关性和季节性时间序列概述组成成分平稳性检验时间序列由趋势、季节性、周期性和随机性组成趋势是指数据平稳性是指时间序列的统计特性不随时间变化平稳性检验是时随时间变化的长期趋势，季节性是指数据随时间变化的周期性波间序列分析的重要步骤，只有平稳的时间序列才能使用ARIMA动，周期性是指数据随时间变化的长期波动，随机性是指数据中模型进行预测常用的平稳性检验方法包括ADF检验和KPSS检无法解释的随机变化验移动平均模型1简单移动平均计算过去一段时间内数据的平均值，作为未来的预测值简单移动平均的缺点是对所有数据赋予相同的权重，无法反映数据的变化趋势2加权移动平均对过去的数据赋予不同的权重，越近的数据权重越大，作为未来的预测值加权移动平均可以反映数据的变化趋势指数平滑法单指数平滑适用于没有趋势和季节性的时间序列单指数平滑的公式为S_t=α*X_t+1-α*S_{t-1}，其中α是平滑系数，X_t是当前时刻的值，S_t是当前时刻的平滑值方法Holt-Winters适用于具有趋势和季节性的时间序列Holt-Winters方法包括加法模型和乘法模型，加法模型适用于季节性波动幅度不变的时间序列，乘法模型适用于季节性波动幅度随时间变化的时间序列模型ARIMA模型识别参数估计ARIMA模型是一种常用的时间序列预测模型，可以考虑数据的ARIMA模型的参数估计是指估计自回归项的系数和移动平均项自相关性和季节性ARIMA模型需要识别三个参数p、d和q，的系数常用的参数估计方法包括最小二乘法和极大似然估计分别表示自回归项的阶数、差分阶数和移动平均项的阶数常用的模型识别方法包括ACF和PACF图第八部分文本挖掘文本预处理对文本进行清洗和转换，使其适合进行分析词频分析统计文本中词语出现的频率，发现关键词和主题情感分析判断文本的情感倾向，例如正面、负面或中性主题模型从文本中提取主题，发现隐藏的模式和关系文本预处理1分词将文本分割成一个个独立的词语常用的分词工具包括jieba、THULAC和SnowNLP2去停用词删除文本中常见的无意义词语，例如“的”、“是”、“我”等常用的停用词表包括中文停用词表和英文停用词表词频分析模型TF-IDF N-gramTF-IDF是一种常用的词语权重计算方法，用于衡量词语在文N-gram模型是一种用于预测文本中下一个词语的模型N-本中的重要性TF-IDF的计算公式为TF-IDF=TF*IDF，gram模型基于马尔可夫假设，假设下一个词语只与前N-1个词其中TF是词频，IDF是逆文档频率语有关N-gram模型常用于语言模型和文本生成情感分析词典法机器学习方法基于情感词典，判断文本的情感倾向常用的情感词典包括情感基于机器学习算法，训练情感分类模型常用的机器学习算法包词典和知网情感词典词典法的优点是简单易懂，缺点是无法处括朴素贝叶斯、支持向量机和深度学习机器学习方法的优点是理复杂的语义和语境可以处理复杂的语义和语境，缺点是需要大量的训练数据主题模型1LDA算法LDA是一种常用的主题模型，其原理是假设每个文档由多个主题混合而成，每个主题由多个词语混合而成LDA算法的目标是从文档中提取主题，并确定每个文档的主题分布和每个主题的词语分布2主题解释主题解释是指根据主题的词语分布，理解主题的含义主题解释需要结合领域知识和经验，才能得出合理的结论第九部分大数据分析分布式存储将数据存储在多个计算机上，提高存储容量和可靠性分布式计算将计算任务分配到多个计算机上，提高计算速度和效率实时数据处理对实时产生的数据进行处理和分析，及时发现问题和机会大数据特征体量、速度、多样性大数据挑战大数据具有体量大、速度快、多样性高的特点体量是指数据量大数据分析面临着存储、计算和管理等方面的挑战存储挑战是非常大，速度是指数据产生和处理的速度非常快，多样性是指数指如何存储海量数据，计算挑战是指如何快速处理海量数据，管据的类型非常多理挑战是指如何保证数据质量和安全分布式计算框架HadoopHadoop是一种常用的分布式计算框架，其核心组件包括HDFS和MapReduceHDFS用于存储海量数据，MapReduce用于并行处理海量数据SparkSpark是一种快速的分布式计算框架，其特点是基于内存计算、支持多种编程语言、提供丰富的APISpark比Hadoop更快，更易于使用流数据处理1实时vs批处理实时处理是指对实时产生的数据进行处理和分析，批处理是指对历史数据进行处理和分析实时处理需要快速响应，批处理可以进行复杂的计算2流处理框架常用的流处理框架包括Storm、Flink和Spark StreamingStorm是一种低延迟的流处理框架，Flink是一种高吞吐量的流处理框架，SparkStreaming是一种基于微批处理的流处理框架第十部分数据可视化进阶交互式可视化允许用户与数据进行交互，探索数据的不同方面地理空间数据可视化将数据与地理位置信息结合，展示数据的空间分布和特征高维数据可视化将高维数据投影到低维空间，便于观察和分析交互式可视化D

3.js TableauD

3.js是一种基于JavaScript的数据可视化库，可以创建各种各样Tableau是一种商业数据可视化软件，可以快速创建各种各样的的交互式图表D

3.js的特点是灵活性高、可定制性强、社区交互式图表Tableau的特点是易于使用、功能强大、支持多活跃种数据源地理空间数据可视化1热力图用颜色表示数据的密度或数值，可以直观地展示数据的空间分布热力图常用于人口密度、犯罪率和疫情传播等领域2地理信息系统（GIS）地理信息系统是一种用于管理、分析和可视化地理空间数据的系统GIS可以进行空间分析、地图制作和决策支持高维数据可视化平行坐标图雷达图将高维数据的每个维度表示为一条平行线，数据点表示为连将高维数据的每个维度表示为一个顶点，数据点表示为连接接各个维度上的值的折线平行坐标图可以展示高维数据中各个顶点的多边形雷达图可以展示高维数据在各个维度上不同维度之间的关系的表现数据分析伦理隐私保护算法偏见在数据分析过程中，应尊重用户的隐私，保护用户的个人信息算法偏见是指算法对某些群体产生不公平或歧视性的结果算法常用的隐私保护技术包括匿名化、脱敏和差分隐私偏见可能来自训练数据、算法设计和人为偏见应采取措施减少算法偏见，保证算法的公平性课程总结1关键概念回顾2未来发展趋势回顾本课程学习的关键概念，展望数据分析的未来发展趋势包括数据分析的定义、统计推，包括人工智能、云计算、物断的方法、机器学习的算法、联网和区块链等技术对数据分聚类分析的原理、降维技术的析的影响，以及数据分析在各应用、时间序列分析的模型、个领域的应用前景文本挖掘的技术、大数据分析的框架和数据可视化进阶的方法3学习资源推荐推荐一些学习数据分析的资源，包括书籍、网站、课程和社区，帮助学员继续学习和提高数据分析能力。