《数据的数字特征》课件

数据的数字特征课程目标理解数据的数字特征应用统计方法分析数据解决数据分析问题数据的定义信息结构化数据是描述客观事物的符号记数据可以是结构化的，比如表录，是信息的载体例如，数格数据、数据库数据，也可以字、文字、图像、音频等是非结构化的，比如文本、图像、音频、视频等采集数据可以通过各种方式采集，比如传感器、调查问卷、网络爬虫等数据的特征数据类型数据分布数据关系数据可以分为数值型、分类型、文本型数据的分布是指数据在不同值上的分布数据之间可能存在线性关系、非线性关、时间日期型等情况，例如正态分布、均匀分布等系、相关关系、独立关系等数据的类型数值型数据分类型数据文本型数据表示数量、大小、长度、温度等可度量的表示类别、属性、标签等表示文字、句子、段落等数值数值型数据连续型离散型在给定范围内可以取任何值的变只能取有限个值的变量，例如学量，例如温度、身高和体重生人数、房屋数量和商品数量数值型数据的度量平均数中位数反映数据集中趋势，对异常值敏感不受异常值影响，适用于非对称数据极差方差反映数据波动范围，易受异常值影响反映数据离散程度，数值越大，离散程度越高数值型数据的统计特征平均值中位数标准差数值型数据的统计特征用于描述数据的集中趋势和离散程度分类型数据分类数据非数值型分类数据是指不能用数值来表示例如，性别、颜色、品牌等的数据，而是用类别或属性来描述类别或属性分类数据通常用于描述事物或现象的特征分类型数据的特征类别信息顺序无关分类型数据以类别或标签的形式表示，而不是数值类别之间没有固定的顺序或等级关系有序分类数据服装尺码学生成绩等级产品质量评级优秀良好中等及格不及格五星四星三星二星一星S,M,L,XL,XXL,,,,,,,,有序分类数据的统计特征12频率百分比每个类别出现的次数每个类别占总样本的比例34累积频率中位数每个类别及之前所有类别的频率之和将数据排序后，位于中间位置的类别文本型数据文字和字符非数值型文本数据由字母、数字、符号文本数据通常不包含可直接计和空格组成算的数值多种形式文本数据可以包括句子、段落、单词、字符等文本型数据的特征非数值型结构化与非结构化语义信息文本数据通常包含字母、符号、数字和文本数据可以是结构化的，例如数据库文本数据包含丰富的语义信息，需要自空格，无法直接进行数值计算中的表格数据，也可以是非结构化的，然语言处理技术来提取和理解例如电子邮件或网页内容时间日期型数据包含日期和时间信息，用于描述事件例如2023-10-2614:30:00发生的时间时间日期型数据的特征顺序性周期性时间粒度时间日期数据具有天然的顺序性，例时间日期数据往往存在周期性，例如时间日期数据的粒度可以从年、月、如2023年1月比2023年2月早每天、每周、每月、每年都会出现规日、时、分、秒等多个层面进行划分律性的变化多维数据多方面描述复杂关系多维数据可以从多个方面描述一多维数据可以揭示不同变量之间个对象或事件，提供更全面的信的相互关系，帮助我们更深入地息理解数据背后的规律数据挖掘多维数据为数据挖掘提供了丰富的素材，可以帮助我们发现隐藏的模式和知识多维数据的特征多维复杂性洞察力多维数据包含多个变量或属性，它们相互多维数据分析涉及处理复杂的数据关系，通过分析多维数据，我们可以揭示数据中关联并代表数据的多方面特征需要专业的工具和技术来提取有意义的见的隐藏模式和关系，从而获得更深入的见解解缺失数据数据完整性数据质量缺失数据会影响数据分析的准确缺失数据的处理方式会直接影响性和可靠性数据质量..数据分析缺失数据可能会导致模型偏差和错误的结论.缺失数据的处理删除1删除包含缺失值的记录，适用于缺失值比例较高的场景插值2使用平均值、中位数或其他统计量填充缺失值，适用于数值型数据模型预测3利用机器学习模型预测缺失值，适用于缺失值复杂且具有规律性的场景异常数据数据中的异常值是指与其他数据点明这些异常值可能是由于错误输入、测显不同的数据值量误差或数据本身的自然变异造成的识别和处理异常数据对于数据的准确性和可靠性至关重要异常数据的识别箱线图利用数据分位数，识别超出正常范围的异常值1原则σ32假设数据服从正态分布，识别超出平均值倍标准差的异常值3聚类分析将数据划分成不同的簇，识别与大多数数据点距离较远的异常3值数据清洗的重要性准确性完整性12数据清洗可以确保数据的准确数据清洗可以填补缺失值，使性，减少错误和偏差数据更加完整一致性可信度34数据清洗可以消除数据中的不数据清洗可以提高数据的可信一致性，确保数据的统一性度，使分析结果更加可靠数据预处理的基本步骤数据清洗1去除错误、不完整、重复数据数据转换2将数据转换为适合分析的格式数据降维3减少数据的维度，提高效率数据标准化4将数据统一到相同的尺度上数据可视化的作用洞察趋势发现异常简化复杂性通过图表和图形展示数据中的模式和趋势突出显示数据中的异常值和偏差，提醒潜用视觉方式将复杂的数据转化为易于理解，帮助发现隐藏的规律在问题和机会的信息，使沟通更有效数据可视化的类型图表地图网络图图表是最常见的数据可视化类型，可以地图可以用来展示数据的地理分布，比网络图可以用来展示数据的连接关系，用来展示数据的趋势、分布和比较常如人口密度、犯罪率等比如社交网络、网站链接等见的图表包括条形图、折线图、饼图等数据可视化的最佳实践选择合适的图表类型保持简洁和清晰提供明确的标题和标签突出重点根据数据的类型和想要传达避免使用过多图表元素或颜确保标题和标签清晰简洁，使用颜色、大小或形状等视的信息选择合适的图表类型色，确保图表易于理解和解方便用户理解图表内容觉元素突出数据中的关键信，例如柱状图、饼图、折线读息图、散点图等总结与思考数据特征数据清洗数据可视化123对数据的理解和认识，可以有效地确保数据的准确性和完整性，为数将数据转化为直观的图表和图形，进行数据分析据分析奠定基础帮助理解和分析数据课后练习本次课程的课后练习，将以实际案例为基础，帮助您巩固学习成果练习内容包括收集并分析真实数据集，识别数据类型和特征•应用所学知识，对数据进行统计分析和可视化呈现•撰写数据分析报告，阐述您的分析过程和结论•完成课后练习将帮助您更深入地理解和运用数据分析方法，并提升数据分析能力。