《数据科学基础》课件

数据科学基础课程概述课程目标学习内容12本课程旨在培养学生数据科学课程内容包括数据科学概述、的基本理论和实践技能，使学数据类型与结构、数据收集与生能够运用数据科学的方法解存储、数据清洗与探索、数据决实际问题可视化、统计学基础、机器学习、深度学习等考核方式什么是数据科学？定义跨学科性质应用领域数据科学是一门利用统计学、计算机科数据科学是一门跨学科的学科，涉及数数据科学的应用领域非常广泛，包括金学和领域知识从数据中提取知识和洞见学、统计学、计算机科学和领域知识等融、医疗、零售、教育、城市管理等的学科它涉及数据的收集、清洗、分多个领域数据科学家需要具备广泛的数据科学正在改变我们的生活和工作方析、可视化和解释知识和技能式数据科学的发展历程统计学起源1数据科学的起源可以追溯到统计学统计学为数据科学提供了理论基础和方法论，包括描述性统计、推断统计和回归分析等计算机科学的影响2计算机科学为数据科学提供了强大的计算能力和算法支持机器学习、深度学习和数据挖掘等技术的发展，推动了数据科学的进步大数据时代的崛起3大数据时代的到来，为数据科学提供了海量的数据资源数据科学家可以利用这些数据来发现新的知识和洞见，解决实际问题数据科学家的角色与技能技术能力业务理解沟通能力数据科学家需要掌握编数据科学家需要深入了数据科学家需要将复杂程语言（如、解业务，才能将数据科的数据分析结果清晰地Python）、数据库技术、机学技术应用于解决实际传达给非技术人员沟R器学习算法、深度学习问题业务理解能力包通能力包括口头表达、框架等技术能力括行业知识、市场分书面表达和数据可视化析、用户行为分析等等数据类型与结构结构化数据非结构化数据结构化数据是指具有预定义格式非结构化数据是指没有预定义格和结构的数据，通常存储在关系式和结构的数据，例如，文本、型数据库中例如，表格数据、图像、音频、视频等非结构化文件等数据需要特殊的处理和分析方CSV法半结构化数据半结构化数据是指介于结构化数据和非结构化数据之间的数据，例如，、等半结构化数据具有一定的结构，但不如结构化数据严JSON XML格数据收集方法调查问卷调查问卷是一种常用的数据收集方法，通过向目标人群发放问卷，收集他们对特定问题的看法和意见传感器数据传感器数据是指由各种传感器采集的数据，例如，温度、湿度、压力、光照等传感器数据广泛应用于物联网、智能家居等领域网络爬虫网络爬虫是一种自动抓取互联网信息的程序，可以从网页上提取数据，例如，新闻、评论、商品信息等数据存储技术数据库NoSQL数据库是一种非关系型数据库，NoSQL2适用于存储非结构化数据和半结构化数关系型数据库据例如，、、MongoDB Redis等关系型数据库是一种基于关系模型的数Cassandra1据库，使用语言进行数据管理例SQL如，、、MySQL OracleSQL Server数据仓库等数据仓库是一种面向分析的数据库，用3于存储历史数据和汇总数据数据仓库通常用于商业智能和数据分析数据清洗技术缺失值处理1缺失值是指数据中存在空缺或未知的值常用的缺失值处理方法包括删除缺失值、填充缺失值等异常值检测2异常值是指数据中与其他值明显不同的值常用的异常值检测方法包括统计方法、基于距离的方法、机器学习方法等数据标准化数据标准化是指将数据缩放到一个特定的范围，例如，或[0,1]3常用的数据标准化方法包括最小最大标准化、[-1,1]-Z-score标准化等探索性数据分析（）EDA目的与重要性常用技术案例分析探索性数据分析是指通过各种统计图表常用的技术包括描述性统计、数据通过案例分析，我们可以了解在实EDA EDA和指标，对数据进行初步的分析和探可视化、相关性分析、主成分分析等际应用中的作用例如，通过，我EDA索，发现数据中的规律和趋势是通过这些技术，我们可以了解数据的分们可以发现客户的消费习惯、商品的销EDA数据科学的重要步骤，可以帮助我们更布、异常值、相关性等信息售趋势等信息好地理解数据数据可视化基础可视化的重要性常用图表类型设计原则数据可视化是将数据以常用的图表类型包括柱数据可视化设计需要遵图表的形式呈现出来，状图、折线图、饼图、循一定的原则，例如，可以帮助我们更直观地散点图、箱线图等不清晰性、简洁性、一致理解数据，发现数据中同的图表类型适用于不性等良好的数据可视的规律和趋势数据可同的数据和分析目的化设计可以提高信息的视化是数据科学的重要传递效率和准确性工具高级数据可视化技术交互式可视化地理信息可视化交互式可视化是指用户可以通过地理信息可视化是指将数据与地交互操作来探索数据的可视化方理位置信息结合起来的可视化方式例如，用户可以通过点击、式例如，用户可以通过地图来拖拽、缩放等操作来查看数据的查看不同地区的销售额、人口密细节度等信息网络关系可视化网络关系可视化是指将数据之间的关系以网络图的形式呈现出来例如，用户可以通过网络图来查看社交网络中的用户关系、商品之间的关联关系等描述性统计描述性统计是指对数据进行概括和描述的统计方法，例如，计算数据的均值、中位数、标准差等描述性统计可以帮助我们了解数据的基本特征集中趋势度量是指描述数据集中程度的指标，例如，均值、中位数、众数等离散程度度量是指描述数据离散程度的指标，例如，标准差、方差、四分位数间距等分布形态描述是指描述数据分布形态的指标，例如，偏度、峰度等概率论基础随机变量概率分布期望与方差随机变量是指取值具有随机性的变量，例概率分布是指随机变量取不同值的概率的期望是指随机变量取值的平均值，方差是如，抛硬币的结果、掷骰子的点数等随分布常用的概率分布包括正态分布、二指随机变量取值的离散程度期望和方差机变量可以是离散的，也可以是连续的项分布、泊松分布等是概率分布的重要参数统计推断置信区间置信区间是指在一定置信水平下，总体2参数可能存在的范围置信区间越窄，假设检验说明估计的精度越高假设检验是指通过样本数据来判断总体1是否满足某种假设常用的假设检验方法包括检验、检验、卡方检验等t Z值解释p值是指在原假设成立的条件下，观察p到样本数据的概率值越小，说明原3p假设越不可能成立，应该拒绝原假设相关性分析相关系数等级相相关性因果性Pearson Spearmanvs关相关系数用于相关性不等于因果性Pearson衡量两个连续变量之间Spearman等级相关用两个变量之间存在相关的线性相关程度取值于衡量两个变量之间的性，并不意味着其中一范围为，绝对值单调相关程度适用于个变量是另一个变量的[-1,1]越大，相关性越强非线性关系或等级数原因可能存在其他因据素导致这两个变量之间存在相关性回归分析基础简单线性回归多元线性回归12简单线性回归是指只有一个自多元线性回归是指有多个自变变量的线性回归模型用于建量的线性回归模型用于建立立自变量和因变量之间的线性多个自变量和因变量之间的线关系性关系模型评估指标3常用的模型评估指标包括平方、均方误差、均方根误差等这些指R标用于衡量模型的拟合程度和预测精度高级回归技术非线性回归逻辑回归时间序列回归非线性回归是指自变量和因变量之间逻辑回归是一种用于分类问题的回归时间序列回归是一种用于分析时间序存在非线性关系的回归模型常用的模型用于预测样本属于某个类别的列数据的回归模型用于预测未来的非线性回归模型包括多项式回归、指概率时间序列值数回归、对数回归等机器学习导论定义与类型机器学习是指让计算机通过学习数据，自动地改进性能机器学习可以分为监督学习、无监督学习和强化学习等类型监督学习无监督学习vs监督学习是指使用带有标签的数据进行学习无监督学习是指使用没有标签的数据进行学习常见应用场景机器学习的应用场景非常广泛，包括图像识别、语音识别、自然语言处理、推荐系统等特征工程特征提取特征提取是指从原始数据中提取出新的2特征常用的特征提取方法包括主成分特征选择分析、线性判别分析等1特征选择是指从原始特征中选择出最相关的特征常用的特征选择方法包括过特征编码滤法、包裹法和嵌入法等特征编码是指将非数值型的特征转换为数值型的特征常用的特征编码方法包3括独热编码、标签编码等分类算法

（一）决策树随机森林12决策树是一种基于树结构的分随机森林是一种集成学习算类算法通过对数据进行递归法，通过构建多个决策树，并划分，构建一棵决策树，用于对它们的预测结果进行投票，预测样本的类别提高分类的准确性支持向量机3支持向量机是一种基于最大化间隔的分类算法通过寻找一个最优的超平面，将不同类别的样本分开分类算法

（二）最近邻朴素贝叶斯K最近邻是一种基于距离的分类朴素贝叶斯是一种基于贝叶斯定K算法通过寻找与待分类样本距理的分类算法假设各个特征之离最近的个样本，并将待分类间相互独立，计算待分类样本属K样本归为这个样本中类别最多于每个类别的概率，并将待分类K的类别样本归为概率最大的类别神经网络基础神经网络是一种模拟人脑神经元结构的分类算法通过构建多层神经元网络，学习数据中的复杂模式，用于预测样本的类别聚类分析均值聚类K均值聚类是一种基于距离的聚类算法将数据划分为个簇，K K使得每个簇内的样本距离簇中心的距离最小层次聚类层次聚类是一种基于层次结构的聚类算法通过逐步合并或分裂簇，构建一棵层次聚类树，用于揭示数据之间的层次关系算法DBSCAN算法是一种基于密度的聚类算法将密度相连的样本DBSCAN划分为同一个簇，可以发现任意形状的簇降维技术t-SNE是一种非线性降维技术通过将t-SNE2高维数据映射到低维空间，并尽可能地主成分分析（）PCA保留数据之间的局部结构主成分分析是一种线性降维技术通过1寻找数据中的主成分，将数据投影到低自编码器维空间，保留数据中的主要信息自编码器是一种神经网络模型，可以学习数据的压缩表示通过将数据编码到3低维空间，再解码回原始空间，可以实现数据的降维模型评估与选择交叉验证过拟合与欠拟合偏差方差权衡-交叉验证是一种用于评估模型性能的方过拟合是指模型在训练集上表现良好，但偏差是指模型的预测值与真实值之间的差法将数据划分为多个子集，轮流将其中在测试集上表现较差欠拟合是指模型在异方差是指模型在不同数据集上的预测一个子集作为验证集，其余子集作为训练训练集和测试集上都表现较差值的差异需要在偏差和方差之间进行权集，评估模型在验证集上的性能衡，选择一个合适的模型集成学习1Bagging2Boosting是一种集成学习方是一种集成学习方Bagging Boosting法，通过对原始数据进行多次法，通过迭代地训练多个模有放回的抽样，构建多个模型，每个模型都关注前一个模型，并对它们的预测结果进行型的错误，最终将多个模型组平均或投票，提高模型的准确合起来，提高模型的准确性性3Stacking是一种集成学习方法，通过将多个模型的预测结果作为新的Stacking特征，训练一个新的模型，提高模型的准确性深度学习基础神经网络结构激活函数神经网络是一种由多个神经元连激活函数是指在神经元中使用的接而成的网络结构每个神经元函数，用于对神经元的输出进行接收输入，进行计算，并将结果非线性变换常用的激活函数包传递给下一个神经元括函数、函数等sigmoid ReLU反向传播算法反向传播算法是一种用于训练神经网络的算法通过计算损失函数对每个参数的梯度，更新参数，使得损失函数最小化卷积神经网络（）CNN卷积层卷积层是的核心层，用于提取图像中的局部特征通过卷CNN积操作，将卷积核在图像上滑动，计算卷积核与图像之间的点积池化层池化层用于降低特征图的维度，减少计算量，并提高模型的鲁棒性常用的池化操作包括最大池化和平均池化应用案例广泛应用于图像识别、目标检测、图像分割等领域例CNN如，可以用于识别图像中的物体、检测图像中的目标、分CNN割图像中的区域等循环神经网络（）RNNGRU是一种简化的，结构更简GRU LSTM2单，计算效率更高与相比，LSTMLSTM的参数更少，更容易训练GRU是一种特殊的，可以有效地LSTM RNN1解决中的梯度消失问题通过引RNN序列预测应用入记忆单元，可以长期地记住序列中的信息广泛应用于序列预测任务，例如，RNN语言模型、机器翻译、语音识别等3可以学习序列中的模式，预测未来RNN的序列值自然语言处理入门文本预处理词向量情感分析文本预处理是指对文本数据进行清洗和转词向量是指将词语表示成向量的形式，使情感分析是指对文本数据进行情感倾向性换，使其更适合于机器学习模型常用的得语义相似的词语在向量空间中距离更分析，判断文本表达的情感是积极的、消文本预处理方法包括分词、去除停用词、近常用的词向量模型包括、极的还是中性的Word2Vec词干提取等等GloVe高级技术NLP命名实体识别机器翻译问答系统123命名实体识别是指从文本中识别出机器翻译是指将一种语言的文本自问答系统是指能够回答用户提出的具有特定意义的实体，例如，人动翻译成另一种语言的文本常用问题的系统常用的问答系统模型名、地名、机构名等的机器翻译模型包括模包括基于知识图谱的问答系统、基Seq2Seq型、模型等于深度学习的问答系统等Transformer大规模语言模型系列BERT GPT是一种基于模系列是一种基于BERT TransformerGPT型的预训练语言模型通过在海模型的生成式语言模Transformer量文本数据上进行预训练，型通过在海量文本数据上进行可以学习到丰富的语言知预训练，可以生成高质量的BERT GPT识，用于各种任务文本，用于各种文本生成任务NLP应用与局限性大规模语言模型在各种任务上都取得了显著的成果，但也存在一些局NLP限性，例如，计算资源消耗大、可解释性差等计算机视觉基础图像处理图像处理是指对图像数据进行各种操作，例如，图像增强、图像去噪、图像分割等常用的图像处理方法包括滤波、边缘检测、形态学操作等目标检测目标检测是指在图像中检测出感兴趣的目标，并定位它们的位置常用的目标检测算法包括、、Faster R-CNN YOLOSSD等图像分割图像分割是指将图像划分为多个区域，每个区域都具有特定的语义常用的图像分割算法包括、等FCN U-Net推荐系统内容基础推荐内容基础推荐是一种基于商品内容的推2荐算法通过分析商品的属性，找到与用户感兴趣的商品相似的商品，进行推协同过滤荐1协同过滤是一种基于用户行为的推荐算法通过分析用户的历史行为，找到相混合推荐策略似的用户或商品，进行推荐混合推荐策略是指将多种推荐算法结合起来，提高推荐的准确性常用的混合3推荐策略包括加权混合、切换混合、分层混合等时间序列分析趋势与季节性模型预测技术ARIMA时间序列数据通常包含模型是一种常用常用的时间序列预测技ARIMA趋势和季节性成分趋的时间序列模型可以术包括移动平均法、指势是指时间序列的长期对时间序列数据进行建数平滑法、模型ARIMA变化趋势，季节性是指模和预测模型等选择合适的预测技ARIMA时间序列的周期性变需要确定三个参数术需要根据数据的特点化、、和预测的目标p dq异常检测统计方法基于密度的方法12统计方法是指基于统计学原理基于密度的方法是指基于数据的异常检测方法例如，可以密度的异常检测方法例如，使用均值和标准差来检测异常可以使用近邻算法来检测异K值常值机器学习方法3机器学习方法是指使用机器学习模型进行异常检测的方法例如，可以使用自编码器来检测异常值网络分析图论基础社交网络分析图论是一种研究图的数学分支社交网络分析是指对社交网络进图由节点和边组成，可以用来表行分析，了解用户之间的关系、示各种关系网络，例如，社交网社区结构、信息传播等可以用络、交通网络等于营销、舆情分析等领域链接预测链接预测是指预测网络中两个节点之间是否存在链接可以用于推荐系统、社交网络分析等领域因果推断相关性因果性vs相关性不等于因果性两个变量之间存在相关性，并不意味着其中一个变量是另一个变量的原因可能存在其他因素导致这两个变量之间存在相关性反事实分析反事实分析是一种用于推断因果关系的方法通过假设某个事件没有发生，分析会对结果产生什么影响因果图因果图是一种用于表示变量之间因果关系的图形工具可以帮助我们理解变量之间的因果关系，避免因果倒置测试A/B样本量计算样本量计算是指计算测试需要的样2A/B本量样本量越大，实验结果越可靠实验设计1实验设计是指设计测试的流程和步A/B骤，包括确定实验目标、选择实验对结果分析与解释象、设计实验方案等结果分析与解释是指对测试的结果A/B进行分析和解释判断哪个方案更好，3并解释原因强化学习基础决策过程策略梯度方法Markov Q-learning决策过程是一种用于描述强化学习是一种常用的强化学习算法策略梯度方法是一种常用的强化学习算Markov Q-learning问题的数学模型包括状态、动作、奖励通过学习值函数，选择最优的动作法直接学习策略，而不是学习值函Q Q和转移概率等要素数数据伦理与隐私数据收集伦理隐私保护技术数据收集伦理是指在数据收集过隐私保护技术是指用于保护用户程中需要遵守的伦理规范例隐私的技术例如，可以使用差如，需要尊重用户的隐私，不得分隐私、同态加密等技术来保护非法收集用户数据用户隐私合规GDPR是指欧盟的《通用数据保护条例》企业需要遵守的规定，GDPR GDPR保护欧盟用户的隐私大数据处理框架生态系统Hadoop生态系统是一个开源的大数据处理框架包括、Hadoop HDFS、等组件MapReduce YARNSpark是一个快速的内存计算框架可以用于大数据处理、机Spark器学习等任务Flink是一个流处理框架可以用于实时数据处理、事件驱动应Flink用等任务数据流处理窗口计算窗口计算是指对数据流进行窗口划分，2并对每个窗口内的数据进行计算常用的窗口类型包括滑动窗口、滚动窗口流处理批处理vs等1流处理是指对实时数据进行处理批处理是指对离线数据进行处理实时分析应用数据流处理广泛应用于实时分析应用，3例如，实时监控、实时推荐、实时预警等数据科学项目管理项目生命周期敏捷方法论团队协作工具项目生命周期是指项目敏捷方法论是一种迭代团队协作工具可以帮助从启动到结束的整个过式的项目管理方法强团队成员更好地协作和程包括启动、规划、调快速响应变化、持续沟通常用的团队协作执行、监控和收尾等阶交付价值工具包括、Jira段、Confluence Slack等数据产品设计用户需求分析交互设计原则12用户需求分析是指分析用户的交互设计原则是指在设计数据需求，了解用户希望解决什么产品时需要遵循的原则例问题可以通过用户访谈、用如，需要易于使用、易于理户调查等方式进行用户需求分解、易于学习等析数据驱动的决策支持3数据驱动的决策支持是指利用数据分析的结果，为决策提供支持可以提高决策的效率和准确性云计算与数据科学云服务模型云上数据处理成本优化策略云服务模型包括、和可以在云上进行数据处理常用的云在云上进行数据处理需要考虑成本优IaaS PaaS提供基础设施服务，上数据处理服务包括、化可以通过选择合适的云服务、优SaaS IaaSAWS EMR提供平台服务，提供软件、化计算资源等方式降低成本PaaS SaaSAzure HDInsightGoogle Cloud服务等Dataproc边缘计算与物联网边缘计算架构物联网数据特点实时分析挑战边缘计算是指将计算任务放在离数据源物联网数据具有数据量大、数据类型多在物联网场景下进行实时分析面临很多更近的地方进行处理可以降低延迟、样、数据实时性高等特点挑战，例如，数据量大、计算资源有限减少带宽消耗等区块链与数据科学智能合约2智能合约是一种自动执行的合约可以用于实现各种业务逻辑分布式账本技术1分布式账本技术是一种去中心化的数据存储技术可以保证数据的安全性和可靠性数据认证与溯源区块链可以用于数据认证与溯源可以3保证数据的真实性和完整性量子计算与数据科学量子计算基础量子机器学习未来发展方向量子计算是一种基于量子力学原理的计量子机器学习是指将量子计算应用于机器量子计算与数据科学的结合是未来的发展算具有强大的计算能力学习可以提高机器学习算法的效率和准方向可以解决传统计算无法解决的问确性题数据科学在金融领域的应用风险评估算法交易反欺诈分析123数据科学可以用于风险评估例算法交易是指使用计算机程序进行数据科学可以用于反欺诈分析例如，可以使用机器学习模型来预测交易可以提高交易效率和盈利能如，可以使用机器学习模型来检测信贷风险力信用卡欺诈数据科学在医疗健康领域的应用疾病预测个性化医疗数据科学可以用于疾病预测例数据科学可以用于个性化医疗如，可以使用机器学习模型来预例如，可以根据患者的基因信测糖尿病风险息，制定个性化的治疗方案医学影像分析数据科学可以用于医学影像分析例如，可以使用深度学习模型来检测肿瘤数据科学在零售领域的应用客户细分数据科学可以用于客户细分例如，可以使用聚类算法将客户划分为不同的群体，并针对不同的群体制定不同的营销策略需求预测数据科学可以用于需求预测例如，可以使用时间序列模型来预测商品的销售量，从而进行库存管理定价优化数据科学可以用于定价优化例如，可以使用机器学习模型来预测商品的价格弹性，从而制定最优的价格策略数据科学在教育领域的应用个性化学习路径数据科学可以用于制定个性化学习路2径例如，可以根据学生的学习情况，学习分析推荐适合学生的学习资源1学习分析是指对学生的学习行为进行分析，了解学生的学习情况可以用于提教育资源优化高教学质量数据科学可以用于教育资源优化例如，可以根据学生的学习情况，优化教3育资源的分配数据科学在城市管理中的应用智慧交通环境监测公共安全预警数据科学可以用于智慧数据科学可以用于环境数据科学可以用于公共交通例如，可以使用监测例如，可以使用安全预警例如，可以机器学习模型来预测交传感器数据来监测空气使用机器学习模型来预通流量，从而进行交通质量，从而进行环境保测犯罪事件，从而进行管理护治安管理数据科学在农业中的应用精准农业作物产量预测12数据科学可以用于精准农业数据科学可以用于作物产量预例如，可以使用传感器数据来测例如，可以使用机器学习监测土壤湿度，从而进行精准模型来预测作物的产量，从而灌溉进行农业规划病虫害预警3数据科学可以用于病虫害预警例如，可以使用图像识别技术来检测作物的病虫害，从而进行病虫害防治数据科学的未来趋势自动化机器学习可解释AI自动化机器学习是指自动地完成可解释是指使模型更加透明AI AI机器学习的流程，例如，特征选和可理解可以帮助人们理解AI择、模型选择、参数调优等模型的决策过程，并信任模型AI的结果联邦学习联邦学习是指在保护用户隐私的前提下，进行机器学习可以在多个设备上进行训练，并将训练结果聚合起来，提高模型的性能数据科学家职业发展技能要求数据科学家需要掌握编程语言、数据库技术、机器学习算法、深度学习框架等技术能力，还需要具备业务理解能力和沟通能力行业前景数据科学的行业前景非常广阔随着数据量的不断增加，数据科学家将越来越受到重视持续学习策略数据科学家需要持续学习新的知识和技能，才能适应快速发展的技术环境可以通过阅读书籍、参加培训、参与项目等方式进行持续学习实践项目设计数据获取数据获取是指获取项目所需的数据可2以通过网络爬虫、公开数据集等方式获项目选题取数据项目选题是指选择一个感兴趣且有意义1的项目可以选择与自己专业相关的项目，也可以选择与社会热点相关的项分析流程目分析流程是指对数据进行分析的步骤包括数据清洗、数据探索、特征工程、3模型构建、模型评估等课程总结核心概念回顾学习资源推荐环节QA回顾本课程的核心概推荐学习资源，例如，回答学生提出的问题念，例如，数据科学的书籍、网站、博客、论解决学生在学习过程中定义、数据类型、数据坛等可以帮助学生进遇到的困惑清洗、数据可视化、机一步学习数据科学知器学习、深度学习等识结语数据驱动的未来数据科学的重要性对学生的期望与建议12数据科学在各个领域都发挥着希望学生能够认真学习数据科越来越重要的作用数据科学学知识，掌握数据科学技能，正在改变我们的生活和工作方成为一名优秀的数据科学家式继续探索的方向3鼓励学生继续探索数据科学的未来发展方向，为数据科学的发展做出贡献。