《线性代数中的矩阵方法及其在数据分析中的应用》课件

《线性代数中的矩阵方法及其在数据分析中的应用》矩阵方法是数据分析的核心工具课程概述课程目标学习内容掌握矩阵基本理论矩阵分解与数据应用先修知识第一部分矩阵基础基本概念矩阵定义与表示矩阵类型方阵、对称矩阵等基本运算加法、乘法、转置矩阵特性逆矩阵与秩矩阵的定义与表示矩阵的概念矩阵的表示方法矩阵是按照长方阵列排列的复数或实数集合用方括号表示，例如A=[aij]可以表示线性变换或数据集合i表示行索引，j表示列索引矩阵的类型方阵对称矩阵行数等于列数转置等于自身单位矩阵对角矩阵对角线为1，其余为0非对角元素全为零矩阵运算

（一）加法与数乘矩阵加法规则同型矩阵对应元素相加加法性质满足交换律和结合律矩阵数乘规则标量乘以矩阵的每个元素矩阵运算

（二）乘法矩阵乘法的定义C=AB，其中cij=Σaikbkj维度要求A的列数必须等于B的行数矩阵乘法的性质不满足交换律，满足结合律和分配律矩阵转置转置的定义行列互换，ATij=Aji转置的性质A+BT=AT+BT乘法转置性质ABT=BTAT矩阵的逆逆矩阵1A-1A=AA-1=I可逆条件2方阵且行列式不为零逆矩阵性质3AB-1=B-1A-1应用4求解线性方程组矩阵的秩rA rA+B秩的定义秩不等式线性无关行（或列）向量的最大数量rA+B≤rA+rBrAB乘积秩rAB≤min{rA,rB}第二部分矩阵分解分解特征值分解LU下三角与上三角矩阵分解基于特征值与特征向量1234分解分解QR SVD正交矩阵与上三角矩阵分解奇异值分解分解LU1LU分解的概念2计算方法将矩阵A分解为下三角矩阵L高斯消元过程的矩阵表示和上三角矩阵U3LU分解的应用高效求解多个右端项的线性方程组分解QR分解的概念QR将矩阵A分解为正交矩阵Q和上三角矩阵R计算方法Gram-Schmidt正交化过程分解的应用QR求解最小二乘问题和特征值特征值分解特征值和特征向量的定义Ax=λx，其中λ为特征值，x为特征向量对角化A=PDP-1，D为对角矩阵特征值分解的应用计算矩阵幂，求解微分方程奇异值分解（）SVD的概念低秩近似的应用SVD SVDA=UΣVT分解保留最大的k个奇异值降维，噪声过滤，推荐系统第三部分矩阵在线性方程组中的应用线性方程组的矩阵表示的形式系数矩阵的重要性Ax=b AA为系数矩阵，x为未知数向量，b为常数向量A的性质决定方程组解的存在性和唯一性紧凑表示多个线性方程满秩矩阵对应唯一解高斯消元法消元过程通过初等行变换将系数矩阵转化为行阶梯形阶梯形矩阵每行第一个非零元素的位置严格右移回代过程从最后一个方程开始逐个求解未知数矩阵求逆法使用初等行变换[A|I]→[I|A-1]使用伴随矩阵A-1=adjA/|A|解方程组x=A-1b克拉默法则克拉默法则的内容适用条件xi=|Ai|/|A|，其中Ai是用b替换A系数矩阵A必须是可逆方阵的第i列局限性计算量大，不适合大型方程组第四部分最小二乘法误差最小化正规方程寻找最佳拟合参数XXβ=Xy应用范围几何解释数据拟合与回归分析投影与正交性4最小二乘法的原理正规方程最小化目标最小化误差平方和S=Σyi-ŷi2求导置零∂S/∂β=0正规方程的推导XXβ=Xy最小二乘法的矩阵形式矩阵表达式各项含义XXβ=Xy X为设计矩阵β=XX-1Xy y为观测值向量为参数向量β最小二乘法的几何解释投影的概念将y投影到X的列空间正交性原理残差向量与X的列空间正交投影矩阵P=XXX-1X第五部分主成分分析（）PCA降维保留最重要的数据特征协方差矩阵反映数据变量间的关系特征值分解寻找主要方差方向应用4数据可视化与预处理的基本概念PCA降维的需求的目标PCA高维数据难以处理和可视化寻找数据最大方差方向维度灾难维度增加导致数据稀疏用较少的新变量保留大部分原始信息协方差矩阵协方差矩阵的计算Σ=XX/n-1，X为中心化数据矩阵协方差矩阵的性质对称正定矩阵对角元素表示各变量的方差非对角元素表示变量间的协方差特征值和特征向量在中的应用PCA特征向量特征值1定义主成分方向表示主成分解释的方差量2信息保留主成分排序43选择前k个主成分保留大部分信息按特征值大小降序排列的计算步骤PCA数据中心化减去每个特征的均值计算协方差矩阵Σ=XX/n-1特征值分解求解协方差矩阵的特征值和特征向量选择主成分根据特征值大小选择前k个主成分的应用实例PCA人脸识别图像压缩基因表达分析特征脸（Eigenfaces）方法减少存储空间同时保留主要特征识别关键基因表达模式第六部分奇异值分解（）的应用SVD基本原理数据压缩A=UΣVT的分解形式低秩近似减少存储需求推荐系统自然语言处理矩阵分解预测用户偏好潜在语义分析和词向量的基本原理SVD的含义的几何解释U,Σ,V SVDU为左奇异向量旋转-缩放-旋转变换为奇异值对角矩阵奇异值表示主轴缩放比例ΣVT为右奇异向量转置在数据压缩中的应用SVD低秩近似Ak≈UkΣkVkT图像压缩实例仅保留最大的k个奇异值存储优势从mn减少到km+n+1质量控制通过k值调整压缩比与质量在推荐系统中的应用SVD在自然语言处理中的应用SVD词向量潜在语义分析语义搜索（）LSA将词映射到低维向量空基于概念而非关键词匹间发现文档和词汇间的潜配的搜索在关系第七部分矩阵在机器学习中的应用线性回归模型表示y=Xβ+ε参数估计β̂=XX-1Xy预测ŷ=Xβ̂评估计算R2和均方误差逻辑回归函数最大似然估计Sigmoidσz=1/1+e-z通过梯度下降优化对数似然函数将线性输出映射到0,1区间目标最大化正确分类的概率支持向量机（）SVM核函数最大间隔Kx,y=φx·φy，隐式高维寻找最大化分类边界的超平面映射二次规划问题求解带约束的优化问题神经网络权重矩阵Wl连接第l-1层到第l层前向传播al=σWlal-1+bl激活函数引入非线性变换（ReLU,sigmoid等）反向传播计算梯度并更新权重矩阵第八部分矩阵在信号处理中的应用离散傅里叶变换1频域分析的矩阵表示卷积2循环矩阵与快速算法小波变换3多分辨率信号分析图像处理4滤波与边缘检测离散傅里叶变换（）DFT卷积的矩阵表示循环矩阵快速卷积算法将卷积操作表示为矩阵乘法利用FFT加速y=IFFTFFTh·FFTxy=Hx，其中H为循环矩阵将时域卷积转换为频域乘法小波变换小波基函数离散小波变换时域和频域都有良好局部化特性通过滤波器组实现快速计算的函数多分辨率分析同时分析信号的不同尺度特征图像处理图像滤波边缘检测图像变换卷积核为矩阵表示的滤波器Sobel、Prewitt等梯度算子DCT变换在JPEG压缩中的应用第九部分矩阵在图论中的应用邻接矩阵拉普拉斯矩阵表示节点间的连接关系表示图的结构特性2社区分析排序算法基于矩阵的社区检测PageRank等网页排名方法邻接矩阵无向图的邻接矩阵有向图的邻接矩阵对称矩阵Aij=Aji通常非对称Aij=1表示节点i和j相连Aij=1表示从节点i到j有边拉普拉斯矩阵谱图理论1研究图的拉普拉斯矩阵特征值特征值性质2反映图的连通性和聚类结构拉普拉斯矩阵定义3L=D-A，D为度矩阵，A为邻接矩阵网页排序算法算法PageRank网页重要性的递归定义矩阵Google链接矩阵的随机游走修改版特征向量计算主特征向量对应页面排名幂迭代法高效计算主特征向量社交网络分析中心性度量社区检测影响力传播特征向量中心性依赖于邻接矩阵特谱聚类利用拉普拉斯矩阵的特征向矩阵表示影响力扩散过程征值量第十部分矩阵计算的数值方法10^-1610^9精度限制条件数浮点计算的极限评估矩阵稳定性On³99%复杂度稀疏度标准矩阵运算大型矩阵中的零元素比例矩阵运算的数值稳定性条件数舍入误差κA=||A||·||A-1||浮点运算中的精度损失反映输入扰动对输出的放大程度在迭代计算中可能累积放大迭代法求解线性方程组迭代Gauss-Seidel利用当前轮已更新的变量值迭代Jacobi1使用上一轮所有变量的值更新收敛条件迭代矩阵的谱半径小于1特征值的数值计算幂法计算矩阵的最大特征值及对应特征向量反幂法计算最小特征值或指定位置附近的特征值算法QR计算所有特征值的高效方法大规模稀疏矩阵的处理稀疏矩阵存储格式稀疏矩阵算法内存优化CSR/CSC/COO格式仅利用稀疏结构提高计算减少存储需求和提高缓存储非零元素效率存命中率并行矩阵计算课程总结矩阵基础定义、运算和基本特性矩阵分解LU、QR、特征值和SVD分解数据分析应用PCA、机器学习和信号处理计算方法数值算法和并行计算未来展望张量方法高维数据的张量分解量子矩阵计算2量子计算加速大规模矩阵运算神经网络结构新型矩阵架构优化深度学习生物信息学基因组数据的矩阵模型参考文献与推荐阅读教材推荐《线性代数及其应用》-David C.Lay经典论文Golub与Van Loan关于矩阵计算的工作编程资源NumPy与MATLAB矩阵计算工具包进阶阅读《数值线性代数》-Trefethen与Bau。