线性代数基础：矩阵与向量课件

线性代数基础矩阵与向量欢迎来到线性代数基础课程线性代数是数学的一个分支，主要研究向量空间、线性映射以及线性方程组它在工程、计算机科学、物理学等众多领域都有广泛应用本课程将系统地介绍矩阵与向量的基本概念、运算方法及其在现实世界中的应用我们将从基础知识开始，逐步探索线性代数的深度和广度，帮助你建立扎实的理论基础，并了解其在解决实际问题中的强大能力课程概述向量的基本概念我们将探讨向量的定义、表示方法、几何意义以及基本性质，帮助你建立对向量的直观理解矩阵的基本概念我们会介绍矩阵的定义、表示方法、类型以及特性，为后续的学习奠定基础向量和矩阵的运算详细讲解向量和矩阵的各种运算法则，包括加减法、乘法、转置、逆等，以及这些运算的几何意义实际应用探索线性代数在物理学、计算机科学、工程学、数据科学等领域的实际应用，加深对理论知识的理解向量简介什么是向量？向量的几何表示向量是既有大小又有方向的量在二维或三维空间中，向量可在物理学中，它们用来表示以用有向线段表示，其长度代力、速度等；在计算机科学中表大小，箭头指向代表方向，它们可以表示数据点、特征原点到终点的直线就是该向量等的几何表示向量的代数表示代数上，向量通常表示为有序数组或列表，如或x,y,z[x,y,z]在线性代数中，我们常用列向量或行向量的形式来表示向量的类型列向量行向量维向量n列向量是垂直排列的数字序列，通常行向量是水平排列的数字序列，通常维向量是包含个元素的向量，可以n n写作写作表示维空间中的点或方向n₁₂其中表示转置₁₂当时，我们无法直观地在物理空ᵀᵀv=[v,v,...,v]v=[v,v,...,v]n3ₙₙ间中表示它们，但它们在数学和应用在矩阵运算中，列向量是最常用的向行向量可以看作是列向量的转置，两中仍然非常重要量表示方式，尤其在求解线性方程组者在数学性质上是等价的，但在表示时和计算上有所不同向量的基本性质方向大小（模）单位向量向量的方向是其最基向量的大小，也称为单位向量是模等于1本的性质之一，它指向量的模或长度，表的向量，通常用来表明了向量在空间中指示向量的长度对示方向任何非零向向的方向在二维空于向量₁₂量都可以通过除以其v=[v,v,v间中，可以用角度来，其模为模长来得到与之方...,v]|v||v|ₙ表示；在高维空间中₁₂向相同的单位向量=√v²+v²+，则需要用方向余弦向量的模单位向量...+v²û=v/|v|ₙ或单位向量来描述永远是非负的在表示方向时特别有用向量的运算加法几何解释向量加法在几何上可以用平行四边形法则或首尾相接法则来解释如果将两个向量放置使它们的起点重合，那么它们的和就是从该公共起点到形成的平行四边形对角点的向量代数计算对于向量₁₂和₁₂，a=[a,a,...,a]b=[b,b,...,b]ₙₙ它们的和是各对应分量相加₁₁₂₂a+b=[a+b,a+b,...,这种分量的相加使得向量加法在计算上非常直观a+b]ₙₙ性质交换律、结合律向量加法满足交换律；也满足结合律a+b=b+a a这些性质使得处理多个向量的加法+b+c=a+b+c时非常灵活，计算顺序可以任意调整向量的运算数乘定义1向量的数乘是指一个标量（实数）与一个向量的乘法如果是一个k标量，是一个向量，那么表示向量的每个分量都乘以v kvv k几何意义2从几何角度看，数乘改变了向量的长度和可能的方向当时，k k0向量的方向保持不变，长度被放大倍；当时，向量的方向相反k k0代数计算3，长度被放大倍；当时，结果是零向量|k|k=0对于向量₁₂和标量，其数乘结果为v=[v,v,...,v]k kv=ₙ₁₂这意味着向量的每个分量都与该标量相乘[kv,kv,...,kv]ₙ，得到一个新的向量向量的运算点积定义几何解释投影12两个向量和的点积（或内几何上，点积可以解释a b a·b积）是一个标量，定义为为向量在向量方向上的投a b，其中是影长度乘以向量的长度，a·b=|a||b|cosθθb两个向量之间的夹角代数或反之当两向量垂直时，上，对于向量₁点积为零；当方向相同时，a=[a,₂和₁点积最大；当方向相反时，a,...,a]b=[b,ₙ₂，点积为点积最小b,...,b]a·bₙ₁₁₂₂=a b+a b+...+a bₙₙ代数计算3点积的计算非常直观将两个向量的对应分量相乘后求和这种运算在计算向量间角度、判断向量正交性以及计算向量在某方向上的投影时非常有用向量的运算叉积几何意义叉积向量的方向垂直于原两个向量确定的平定义（仅限三维向量）代数计算面，遵循右手法则确定叉积的大小等于以两个三维向量₁₂₃和这两个向量为邻边的平行四边形的面积，反叉积可以通过行列式或直接使用公式计算a=[a,a,a]b=₁₂₃的叉积是一个向量，定义为映了两个向量在空间中的交叉程度与点积不同，叉积的结果是一个向量而非标[b,b,b]a×₂₃₃₂₃₁₁₃量叉积不满足交换律，事实上×b=[a b-a b,a b-a b,a b=-₁₂₂₁叉积的方向垂直于两个向×，但满足分配律和结合律（在某些条a b-a b]ba量所在的平面，其大小等于件下）|a||b|sinθ213向量空间向量空间是一个数学结构，它由向量及其运算（加法和数乘）组成，满足一系列公理直观地说，向量空间就是一个可以进行向量加法和标量乘法的集合，且这些运算满足特定的规则线性相关性指的是一组向量中的某些向量可以用其他向量的线性组合表示比如，如果有向量、和，且存在不全为零的标量、和，使得，则这a bcαβγαa+βb+γc=0三个向量线性相关线性无关性则是指一组向量中，没有任何向量可以用其他向量的线性组合表示这是线性代数中的一个重要概念，与向量空间的基、维数等概念密切相关基向量1n基向量定义基向量数量基向量是一组线性无关的向量，它们能够生成一个维向量空间需要恰好个线性无关的向量n n整个向量空间任何向量空间中的向量都可以作为基这也解释了空间维数的本质含义唯一地表示为基向量的线性组合∞可能的基一个向量空间可以有无数组不同的基，但每组基都必须含有相同数量的向量基的选择影响向量的坐标表示标准基是最常用的基向量组，在维空间中由个单位向量组成，每个向量在一个坐标轴上为，n n1其余坐标为例如，二维空间的标准基是，三维空间的标准基是0{[1,0],[0,1]}{[1,0,0],[0,1,0],[0,0,1]}向量的线性组合定义向量的线性组合是指多个向量经过标量乘法后相加的结果形式上，若有向量₁₂和标量₁₂，则v,v,...,v c,c,...,cₙₙ₁₁₂₂就是这些向量的一个线性组合c v+c v+...+c vₙₙ几何解释在二维或三维空间中，线性组合可以理解为在给定向量的方向上进行拉伸或压缩，然后将结果向量相加这种操作在几何上可以直观地用平行四边形法则来理解代数表示代数上，线性组合就是将每个向量分别乘以对应的标量系数，然后将所有结果向量相加这种操作是线性代数中最基本的运算之一，也是理解向量空间结构的关键向量的应用物理学中的力和速度计算机图形学中的位置和方向机器学习中的特征表示在物理学中，向量被广泛用于表示力、在计算机图形学中，向量用于表示在机器学习中，数据点通常表示为高维3D速度、加速度等物理量向量的加法可空间中物体的位置、方向和运动通过向量，每个维度对应一个特征向量空以直观地解释力的合成，数乘可以表示向量运算，可以实现物体的平移、旋转间的概念帮助理解数据分布，向量间的力的放大或缩小，点积可以计算功，叉和缩放，以及光照效果的计算距离和相似度用于分类和聚类算法积可以计算力矩矩阵简介什么是矩阵？矩阵的表示方法矩阵是由数字、符号或表达式矩阵通常用大写字母表示（如按照长方形阵列排列的数学对、、），其元素用小写字A BC象它可以看作是多个向量的母加下标表示，如ᵢⱼ表示a A组合，既可以按行看作行向量矩阵第行第列的元素矩阵i j的集合，也可以按列看作列向可以用方括号括起来的二维数量的集合组表示矩阵的维度矩阵的维度是指其行数和列数，表示为×，其中是行数，是m n m n列数维度在矩阵运算中非常重要，决定了哪些运算可以进行以及结果的维度矩阵的类型方阵对角矩阵行数等于列数的矩阵，即×矩阵只有主对角线上有非零元素，其余元n n1方阵具有特殊性质，如可能有逆矩阵素都为零的矩阵对角矩阵在计算上

2、有行列式等有许多便利性单位矩阵零矩阵4主对角线上的元素都是，其余元素1所有元素都是的矩阵零矩阵在加03都是的方阵常用表示，是矩阵乘0I法中起着类似于数字的作用0法的单位元特殊矩阵对称矩阵反对称矩阵正交矩阵对称矩阵是指转置等于自身的矩阵，反对称矩阵是指转置等于自身的负矩正交矩阵是指其转置等于其逆的方阵即在对称矩阵中，关于主对阵，即在反对称矩阵中，，即正交矩阵的列ᵀᵀᵀᵀA=A A=-A AA=A A=I角线对称的元素相等，即ᵢⱼⱼᵢ主对角线上的元素必须全为零，而对（和行）构成一组标准正交基正交a=a对称矩阵在物理、工程和优化问题称位置的元素符号相反，即ᵢⱼ矩阵表示保持距离的线性变换，如旋a=-a中经常出现，有许多特殊的性质，如ⱼᵢ反对称矩阵在表示旋转和角动量转和反射，在计算机图形学和物理学所有特征值都是实数时很有用中广泛应用矩阵的运算加法和减法定义矩阵的加法是指对应位置的元素相加如果和是两个×矩阵，则也是一个×矩阵，1A B m nC=A+Bm n其中cᵢⱼ=aᵢⱼ+bᵢⱼ减法同理，只是改为对应元素相减条件进行矩阵加减法的前提是两个矩阵必须具有相同的维度，即行数和列数都相等不同2维度的矩阵无法直接相加或相减，这是矩阵运算的基本限制之一性质矩阵加法满足交换律；满足结合律A+B=B+A A+；存在零元素（零矩阵）3B+C=A+B+C A+0=；存在负元素这些性质使矩阵加法具有与A A+-A=0数的加法类似的代数结构矩阵的运算数乘定义性质12矩阵的数乘是指一个标量与矩阵的数乘满足一系列代数矩阵的每个元素相乘如果性质kA+B=kA+是一个标量，是一个矩；k AkB k+mA=kA+阵，则的每个元素都是；；kA A mA kmA=kmA中对应元素乘以，即这些性质使得矩ᵢk kA1·A=Aⱼᵢⱼ这个运算将矩阵的数乘操作在线性变换和=k·a阵的所有元素同比例地放大方程求解中非常实用或缩小与向量数乘的对比3矩阵的数乘操作在本质上与向量的数乘完全相同，都是将每个元素乘以该标量实际上，如果将矩阵看作是多个向量的集合，那么矩阵的数乘就等同于对每个构成向量进行数乘矩阵的运算乘法矩阵乘法1C=A×B，其中cᵢⱼ是A的第i行与B的第j列的点积维度条件2必须有与相同的列数和行数A B不满足交换律3通常××A B≠B A满足结合律和分配律4和ABC=ABC AB+C=AB+AC矩阵乘法是线性代数中最基本也最重要的运算之一两个矩阵和相乘的结果的第个元素等于的第行与的第列的点积形式上，如果A BC=AB i,j Ai Bj A是m×n矩阵，B是n×p矩阵，则C是m×p矩阵，且cᵢⱼ=Σⁿaᵢbⱼₖ₌₁ₖₖ值得注意的是，矩阵乘法不满足交换律，即通常情况下这一特性使得矩阵乘法的顺序非常重要，在应用时必须特别注意AB≠BA矩阵乘法的几何意义线性变换矩阵乘法的核心几何意义是线性变换当矩阵与向量相乘时，可以理解为该矩阵将向量从一个空间映射到另一个空间，或者在同一空间内改变向量的方向和大小旋转和缩放特定的矩阵可以表示特定类型的变换例如，正交矩阵表示旋转（保持长度不变）；对角矩阵表示沿坐标轴的缩放；上三角或下三角矩阵则可能表示剪切变换复合变换两个矩阵相乘可以理解为两个线性变换的复合如果矩阵表A示一个变换，矩阵表示另一个变换，那么矩阵表示先进行B BA变换，再进行变换的复合结果A B矩阵的转置定义性质转置的应用矩阵的转置记为，是将的行和矩阵转置满足以下性质；矩阵转置在许多应用中都很重要，例A AᵀA Aᵀᵀ=A列互换后得到的新矩阵具体来说，；如在求解线性方程组、计算矩阵的特A+Bᵀ=Aᵀ+BᵀkAᵀ=kAᵀ如果是×矩阵，那么是×，其中是标量；，注征值和特征向量、进行矩阵分解等Amn Aᵀnmk ABᵀ=BᵀAᵀ矩阵，且Aᵀᵢⱼ=aⱼᵢ转置操作使意矩阵乘积的转置改变了乘法顺序在数值计算中，转置操作还可以优化得原矩阵的行变成新矩阵的列，原矩这些性质在推导和简化矩阵表达式时存储和计算效率，特别是对于大型矩阵的列变成新矩阵的行非常有用阵矩阵的逆定义可逆条件逆矩阵的性质对于一个×方阵，如果存在另一矩阵可逆的充要条件是其行列式不逆矩阵有以下重要性质⁻⁻n n A A A¹¹=个×矩阵，使得（为零，即这等价于的；⁻⁻⁻，注意逆矩n nB AB=BA=I IdetA≠0A A AB¹=B¹A¹为单位矩阵），则称是的逆矩阵，秩等于，或者的行（列）线性无关阵的乘积顺序改变；⁻ᵀB A nA A¹=记为⁻逆矩阵可以看作是撤销，或者没有零特征值不是所有矩⁻逆矩阵在解线性方程组、矩ᵀA¹AA¹原矩阵所表示的线性变换的操作阵都有逆矩阵，只有满足特定条件的阵方程和描述坐标变换等方面有重要方阵才是可逆的应用矩阵的秩定义计算方法秩的意义矩阵的秩是指矩阵中计算矩阵秩的常用方矩阵的秩有重要的代线性无关的行（或列法是将矩阵化为行阶数和几何意义从代）的最大数量它反梯形（通过初等行变数角度看，它决定了映了矩阵所表示的线换），然后计算非零线性方程组解的存在性变换的维数，或者行的数量这个过程性和唯一性；从几何说矩阵的有效维数本质上是高斯消元法角度看，它描述了矩秩是一个非常重要另外，矩阵的秩也阵所表示的线性变换的矩阵特性，与矩阵等于其非零特征值的的像空间的维数秩的可逆性、线性方程个数，或者非零奇异也与矩阵的零空间维组的解等密切相关值的个数数有关，通过秩零-化度定理行列式定义几何意义行列式是与方阵关联的一个标量值，行列式表示矩阵所代表的线性变换对记为或它可以通过矩阵1detA|A|体积的缩放因子正负号表示变换是元素的代数运算得到，具体计算方法2否改变了坐标系的朝向随矩阵大小而异性质计算方法行列式满足多种代数性质，如行列互4小矩阵可直接用公式计算；大矩阵通换值不变，行（列）交换改变符号，3常用余子式展开法或初等变换简化后矩阵乘积的行列式等于行列式的乘积计算特征值和特征向量定义计算方法12对于一个×方阵，如果存求特征值的标准方法是求解特n nA在一个非零向量和一个标量征方程，这是vλdetA-λI=0，使得，则称是的一个关于的次多项式方程Av=λvλAλn一个特征值，是对应于特征值求得特征值后，代入方程v A-的特征向量特征向量在矩阵求解对应的特征向量λλIv=0变换下，方向不变，只是大小对于大型矩阵，通常使用数可能改变（通过倍缩放）值方法如幂法、算法等来近λQR似计算特征值和特征向量几何解释3从几何角度看，特征向量是在矩阵表示的线性变换下保持方向不变的向量（可能会伸缩，但不会旋转）特征值表示特征向量在变换过程中的伸缩比例特征值和特征向量揭示了矩阵变换的内在结构和主要作用方向矩阵对角化矩阵对角化将矩阵转换为对角形式1对角化条件2有个线性无关的特征向量n对角化形式3⁻，是对角矩阵A=PDP¹D对角化意义4简化矩阵幂运算和函数计算矩阵对角化是将矩阵变换为对角矩阵形式的过程具体来说，如果×矩阵有个线性无关的特征向量，则可以被对角化为⁻，其中的列是n nAnAA=PDP¹P A的特征向量，是以的特征值为对角元素的对角矩阵D A对角化后的形式使得矩阵的幂运算变得极其简单Aᵏ=PD^kP⁻¹这对于计算矩阵幂、解常微分方程组、分析动力系统等问题非常有用然而，并非所有矩阵都能对角化，这取决于特征向量的线性无关性向量空间和矩阵列空间零空间基变换矩阵的列空间是由的所有列向量的矩阵的零空间（或核）是满足基变换是指从一组基向量到另一组基AAA Ax=线性组合所构成的向量空间几何上的所有向量构成的集合这些向量向量的映射如果向量在原基下的坐0x v，它代表了矩阵在线性变换中的像在矩阵变换下映射为零向量零空间标是，在新基下的坐标是，那么存A x y空间，即所有可能的输出向量构成的的维数等于减去矩阵的秩（对于在一个变换矩阵使得这种n Py=Px集合列空间的维数等于矩阵的秩，×矩阵），这就是著名的秩零化变换在坐标系变换、信号处理和量子mn-这反映了变换后空间的有效维数度定理零空间描述了线性方程组的力学等领域有重要应用解结构线性方程组和矩阵矩阵表示法1线性方程组可以简洁地表示为矩阵方程，其中是系数矩阵，是未Ax=b Ax知数向量，是常数向量这种表示法不仅简化了书写，还揭示了线性方程b组的代数结构，便于系统分析和求解解的存在性2线性方程组有解的充要条件是在的列空间中，即Ax=b b A rankA=从几何角度看，这意味着必须能被的列向量线性表示rank[A b]bA当方程组有解时，解可能是唯一的（当可逆时），也可能有无穷多个（当A的零空间非平凡时）A求解方法3求解线性方程组的常用方法包括高斯消元法、矩阵逆法和分解等对于LU大型稀疏矩阵，还可以使用迭代方法如雅可比法和高斯赛德尔法每种方-法都有其适用场景和计算效率特点最小二乘法求解过程矩阵形式求解最小二乘问题的方法包括直接求解正问题描述最小二乘问题的矩阵形式是求解正规方程Aᵀ规方程AᵀAx=Aᵀb；使用QR分解将A分解最小二乘法用于解决过度约束的线性方程组Ax=Aᵀb这个方程是通过将原问题转化为A=QR，然后求解Rx=Qᵀb；或使用Ax=b，即方程数多于未知数的情况由为最小化|Ax-b|²得到的AᵀA是一个对奇异值分解（SVD）不同方法在数值稳定于通常无法找到精确解，我们寻求使误差平称正定（或半正定）矩阵，这保证了解的存性和计算效率上有所差异，需根据具体问题方和最小的解这种方法广泛应在性和唯一性（如果的列线性无关）选择|Ax-b|²x A用于数据拟合、参数估计和信号处理等领域奇异值分解（）SVD定义奇异值分解是将任意矩阵A分解为A=UΣVᵀ的方法，其中U和V是正交矩阵，是对角矩阵，对角线上的元素称为奇异值，按降序排列可以ΣSVD应用于任何矩阵，不限于方阵或满秩矩阵，这使它成为线性代数中最强大的工具之一计算方法计算的常用算法包括双对角化法和迭代方法对于大型矩阵，通常使SVD用截断或随机化等近似算法在实践中，大多数软件包都提供了SVD SVD高效的实现，如、和等SVD LAPACKMATLAB NumPy应用在众多领域有广泛应用在图像处理中用于压缩和去噪；在信息检索SVD中用于潜在语义分析；在机器学习中用于降维和特征提取；在数值计算中用于求解最小二乘问题和计算伪逆还可以揭示数据的内在结构和主SVD要变化方向主成分分析（）PCA原理矩阵表示12主成分分析（）是一种降维从矩阵角度看，可以通过对PCA PCA技术，它寻找数据中方差最大的数据协方差矩阵进行特征值分解方向（主成分），将高维数据投或对数据矩阵进行奇异值分解（影到这些方向上，从而减少维度）来实现特征向量（或右SVD同时保留最大的信息量的奇异向量）对应主成分，特征值PCA核心思想是通过线性变换将原始（或奇异值的平方）表示各主成变量转换为一组线性无关的新变分方向上的方差通常选择前k量，使得这些新变量能够捕捉数个最大特征值对应的特征向量作据的主要变化特征为降维后的基应用举例3在多个领域有重要应用在图像处理中用于人脸识别和压缩；在金融中PCA用于分析资产收益率的协方差结构；在生物信息学中用于基因表达数据分析；在机器学习中用于预处理和可视化高维数据是理解数据结构和简化PCA复杂问题的强大工具矩阵在图像处理中的应用图像旋转图像缩放图像滤波在图像处理中，旋转操作可以用旋转矩图像的缩放（放大或缩小）可以用缩放图像滤波是通过卷积操作实现的，这本阵表示对于二维图像，旋转角度的矩矩阵表示对于在和方向分别缩放质上是一种特殊的矩阵乘法滤波器（θxysx阵为通和倍的操作，缩放矩阵为或卷积核）是一个小矩阵，与图像的局[[cosθ,-sinθ],[sinθ,cosθ]]sy[[sx,0],[0,过将这个矩阵应用于图像的每个像素坐这种变换改变了图像的尺寸，可能部区域进行点积运算，生成滤波后的图sy]]标，可以实现整个图像的旋转为处理导致信息丢失（缩小时）或需要插值（像不同的滤波器矩阵可以实现不同的旋转后的非整数坐标，通常需要结合插放大时）效果，如模糊、锐化、边缘检测等值技术矩阵在计算机图形学中的应用投影投影矩阵用于将三维场景转换为二维图像，分为正交投影和透视投影两种主要类型正交投影保持平行线仍然平行，而透视投影则2变换3D模拟人眼视觉效果，使远处的物体看起来更小这些投影通过特定结构的矩阵来实现在三维计算机图形学中，矩阵用于表示各种几何变换，如平移、旋转、缩放和剪切等这些变换通常用×的齐次坐标矩阵441相机矩阵表示，通过矩阵乘法应用于模型的顶点3D坐标，实现模型在三维空间中的移动和变相机矩阵描述了相机在世界中的位置、3D形方向和内部特性它通常分解为内参矩阵（3描述焦距和主点等内部参数）和外参矩阵（描述相机的位置和方向）这些矩阵在三维重建、增强现实和计算机视觉中扮演关键角色矩阵在机器学习中的应用12线性回归神经网络线性回归是最基本的监督学习算法，它使用矩阵在神经网络中，每一层的计算本质上是矩阵乘法运算求解最小二乘问题对于训练数据矩阵和加偏置，即，其中是权重矩阵，X Z=WX+b W标签向量，线性回归的权重向量通过求解正是输入矩阵，是偏置向量这种矩阵形式使得y wX b规方程XᵀXw=Xᵀy得到矩阵形式使得算法可神经网络可以并行处理多个样本，大大提高了计以高效地处理多特征和多样本问题算效率，也便于使用加速GPU3降维技术降维技术如和在机器学习中广泛使PCA t-SNE用，它们都依赖于矩阵运算这些技术通过对高维数据矩阵进行特征值分解或奇异值分解，找到数据的主要结构和模式，从而减少维度并保留关键信息矩阵在信号处理中的应用傅里叶变换是信号处理的基础工具，可用矩阵形式表示为，其中是傅里叶矩阵，是时域信号，是频域表示离散傅里叶变换（）的矩阵元素为X=Fx Fx XDFT F_jk=e^-，它将信号分解为不同频率的正弦波分量，广泛应用于频谱分析、滤波和图像压缩2πijk/n小波变换提供了时频本地化分析，克服了傅里叶变换只提供频域信息的局限它可以用滤波器组实现，这些滤波器可以表示为矩阵形式小波变换适用于分析非平稳信号，在信号去噪、特征提取和压缩中有重要应用数字滤波器设计也大量使用矩阵理论，特别是在有限脉冲响应（）和无限脉冲响应（）滤波器的设计中滤波过程本质上是一种卷积运算，可以表示为特殊的矩阵乘FIR IIR法，使得信号的特定频率成分被放大或衰减。