《图像信息处理》课件

图像信息处理欢迎学习《图像信息处理》课程本课程将带领大家探索数字图像的奥秘，学习如何通过各种算法和技术对图像进行处理、分析和理解从基础概念到前沿应用，我们将系统地学习图像处理的理论与实践，培养解决实际问题的能力图像处理技术已经深入到我们生活的方方面面，从智能手机的照片美化、医学影像诊断、卫星遥感到人工智能视觉系统，无处不在通过本课程的学习，你将掌握这一关键技术领域的核心知识与技能课程概述课程目标学习内容通过本课程的学习，学生将掌课程内容涵盖图像处理基础、握数字图像处理的基本理论和图像获取与数字化、图像变换、方法，能够运用相关知识解决图像增强、图像复原、彩色图实际问题，培养图像分析和处像处理、图像压缩、图像分割、理的实践能力课程旨在建立特征提取、图像识别与分类、学生对图像处理领域的全面认图像理解等多个方面，并介绍识，为后续深入学习和研究奠图像处理的最新发展趋势定基础考核方式课程考核包括平时作业（30%）、实验报告（30%）和期末考试（40%）三部分平时作业主要考察基本概念和方法的理解，实验报告重点评估动手实践能力，期末考试则综合检验理论知识的掌握程度第一章图像处理基础图像的定义数字图像的表示图像是对客观世界的视觉表示，是二维信号从物理意义上数字图像通常表示为二维矩阵fx,y，其中x和y是空间坐标，看，图像是光线在物体表面反射形成的二维光强分布函数f在任意点x,y处的值称为该点的灰度值或强度值数字图在计算机科学中，图像被视为由像素组成的二维矩阵像的每个元素称为像素（pixel）在计算机中，像素值通常被量化为有限的离散级别例如，图像可以分为连续图像（模拟图像）和离散图像（数字图像）在8位图像中，每个像素的灰度值范围是0-255，共256个灰两种类型数字图像处理主要研究离散图像的处理方法与技度级图像的数据量与分辨率和位深度直接相关术图像的类型二值图像灰度图像二值图像是最简单的图像类型，每个像灰度图像中，每个像素的值表示亮度或素只有两种可能的值0（黑）或1灰度级别常见的灰度图像为8位，像（白）每个像素只需要1位（bit）来素值范围从0（黑）到255（白），共存储二值图像通常用于文档扫描、指256个灰度级灰度图像广泛应用于医纹识别、条形码识别等应用场景学成像、安全监控等领域二值图像处理算法包括细化、膨胀、腐灰度图像处理是图像处理的基础，许多蚀等形态学操作，这些操作在图像分析复杂的图像处理算法首先在灰度图像上和模式识别中具有重要应用实现，再扩展到彩色图像彩色图像彩色图像通常使用RGB模型表示，每个像素由红、绿、蓝三个分量组成在24位彩色图像中，每个颜色分量用8位表示，可以显示约1670万种颜色彩色图像在多媒体、娱乐、设计等领域应用广泛彩色图像处理需要考虑色彩空间的选择、颜色分量的处理以及色彩平衡等特殊问题图像的基本属性分辨率分辨率是衡量图像细节程度的重要指标，通常表示为像素数量空间分辨率指单位长度内的像素数，常用DPI（每英寸点数）表示图像分辨率越高，包含的细节越丰富，但数据量也越大常见的图像分辨率有640×

480、1280×720（720p）、1920×1080（1080p）等在打印领域，通常需要300DPI以上的分辨率才能获得清晰的打印效果位深度位深度指表示每个像素所用的位数，决定了图像可以表示的颜色或灰度级数量位深度越高，颜色表现越丰富，图像质量越好，但文件也越大常见的位深度有1位（二值图像）、8位（256灰度级或调色板图像）、24位（真彩色图像）、32位（含透明通道的彩色图像）等专业图像处理可能使用48位甚至更高的位深度色彩空间色彩空间是描述颜色的数学模型，定义了颜色的表示方式不同的色彩空间适用于不同的应用场景常见的色彩空间包括RGB、CMYK、HSV、YCbCr等RGB色彩空间适用于显示设备；CMYK适用于印刷；HSV更符合人类对色彩的感知；YCbCr将亮度与色度分离，常用于图像压缩色彩空间的转换是图像处理中的重要操作图像文件格式格式压缩方式透明度支持主要特点适用场景BMP无压缩有限支持无损、简单、简单图像存文件较大储，系统图标JPEG有损压缩不支持高压缩比，照片，复杂细节可能丢彩色图像失PNG无损压缩完全支持质量好，支网页图像，持透明通道需保留透明度的图像TIFF可选压缩支持高质量，支专业印刷，持多页，文文件归档件大选择合适的图像文件格式需要考虑图像内容特点、质量要求、文件大小限制以及应用场景例如，对于需要高质量保存的原始照片，可以选择TIFF格式；而对于网页图像，通常选择JPEG（照片）或PNG（图形和带透明度的图像）格式以平衡质量和文件大小图像处理系统组成图像输入设备图像存储负责将现实世界的图像转换为数字信保存原始图像和处理后的图像数据号图像处理器图像显示设备执行各种图像处理算法，核心计算单展示处理结果，提供人机交互界面元一个完整的图像处理系统由这四个基本部分组成，共同实现从图像获取到处理再到显示的全流程随着技术发展，现代图像处理系统可能更加复杂，如加入专用图形处理器（GPU）以加速计算，或云端处理单元以实现远程处理在实际应用中，系统各组件的选择需要根据处理任务的特点、性能需求和成本考虑进行合理配置例如，医学影像系统需要高精度的输入设备和显示设备，而实时监控系统则更注重处理速度和存储效率数字图像处理的应用领域医学影像遥感机器视觉图像处理技术在医学影像领域遥感是利用传感器获取地球表机器视觉是赋予机器感知环境有广泛应用，包括X光片、CT、面信息的技术图像处理在卫能力的技术，广泛应用于工业MRI和超声波图像的增强、分星图像分析、地形测绘、资源自动化、质量控制、机器人导割和分析通过计算机辅助诊调查、环境监测和城市规划等航等领域通过图像处理算法，断系统，医生可以更准确地识方面发挥重要作用多光谱图计算机可以识别物体、检测缺别病灶，提高诊断效率和准确像处理使科学家能够分析不可陷并进行尺寸测量性见波段的信息安全监控在安防领域，图像处理技术用于自动监控系统、人脸识别、行为分析和异常检测先进的视频分析算法可以自动识别可疑行为，提高安全系统的智能化水平第二章图像获取与数字化图像获取原理采样与量化图像获取是将现实世界的光学信息转换为数字信号的过程数字化是将连续的模拟图像转换为离散的数字图像的过程，这一过程首先依赖于光敏元件（如CCD或CMOS传感器），包括空间采样和灰度量化两个主要步骤空间采样确定像素它们能将光信号转换为电信号然后，这些模拟电信号经过的位置和数量，灰度量化则确定每个像素的值范围放大和处理，最终通过模数转换器（ADC）转换为数字信号采样和量化过程必须遵循一定的原则以避免信息丢失根据图像获取系统的质量取决于多种因素，包括光学系统的质量、奈奎斯特采样定理，采样频率必须至少是信号最高频率的两传感器的灵敏度和分辨率、信号处理电路的性能等现代图倍，才能无损地重建原始信号量化级别的选择则影响图像像获取设备往往集成了多种优化技术，如自动对焦、曝光控的灰度表现力和存储需求制和颜色校正图像采样空间采样时间采样空间采样是将连续的空间坐标离散化时间采样适用于视频或动态图像序列，的过程，通常使用等间隔的采样网格表示在时间轴上以固定间隔捕获图像采样间隔决定了图像的空间分辨率—视频的帧率就是时间采样频率，通常—间隔越小，分辨率越高，图像细节以每秒帧数（FPS）表示保留越多常见的视频帧率有24FPS（电影）、采样网格通常为矩形，但某些特殊应30FPS（电视）、60FPS（游戏）等用可能使用六边形或其他形状的采样帧率越高，动态场景的连续性越好，网格采样过程可以通过数学上的脉但数据量也越大时间采样不足会导冲函数来描述，实际上是对原始连续致运动模糊或跳帧现象图像的点乘操作采样定理奈奎斯特-香农采样定理指出，如果信号带宽有限，且采样频率大于信号最高频率的两倍，则可以无损地从采样数据重建原始信号在图像处理中，这意味着采样分辨率必须足够高，以捕获图像中最细小的细节如果违反采样定理（欠采样），就会产生混叠伪影（aliasing），表现为锯齿边缘或莫尔条纹图像量化量化原理量化是将连续的灰度值映射到有限的离散级别的过程，实质上是对信号幅度的离散化量化将连续的强度值区间划分为有限数量的子区间，并为每个子区间分配一个代表值量化是一个不可逆过程，一旦进行量化，原始信号的精确值就无法完全恢复量化策略的选择会显著影响图像的视觉质量和所需的存储空间量化级别量化级别是指用于表示灰度值的离散值的数量使用n位进行量化，可以表示2^n个灰度级常见的量化级别有1位（二值图像）、8位（256灰度级）、16位（65536灰度级）等人眼大约能分辨100个灰度级，因此8位量化（256级）在大多数应用中已经足够但在医学影像等需要高精度的场合，可能需要10位、12位甚至16位量化量化误差量化误差是原始连续灰度值与量化后离散值之间的差异这种误差在视觉上可能表现为假轮廓现象，特别是在平滑渐变区域量化误差的大小取决于量化级别的数量减少量化误差的方法包括增加量化级别、使用抖动技术（dithering）或误差扩散等这些技术可以在保持相同位深度的情况下，改善图像的视觉质量图像数字化设备数码相机扫描仪视频采集卡数码相机是最常见的图像获取设备，通过光学扫描仪专门用于将纸质文档、照片或胶片转换视频采集卡是将模拟或数字视频信号转换为计系统将光信号聚焦到图像传感器上，然后转换为数字图像平板扫描仪通过在文档表面移动算机可处理格式的硬件设备它们通常通过为数字信号现代数码相机主要使用CMOS或的光源和线性CCD传感器获取图像，滑动式扫PCI-E接口与计算机连接，具有视频输入接口CCD传感器，分辨率从几百万到几十亿像素不描仪则通过传感器阵列一次捕获整个页面（如HDMI、SDI、复合视频等）和图像处理芯等片扫描仪的关键参数包括光学分辨率（通常以专业相机还具备可更换镜头、大尺寸传感器、DPI表示）、色彩深度和动态范围高端扫描专业视频采集卡支持高分辨率（如4K/8K）、高速连拍等功能，适用于摄影、视频制作和科仪可以达到数千DPI的分辨率，适用于艺术作高帧率和无损压缩，广泛应用于视频制作、游学研究等领域手机相机虽然体积小，但通过品数字化、档案保存等专业应用戏直播、医疗成像和工业检测等领域某些采计算摄影技术也能获得高质量图像集卡还具备硬件编码功能，可减轻CPU负担第三章图像变换图像变换的意义常用图像变换方法图像变换将图像从空间域转换到另一个域（如频域），使图傅里叶变换是最基础的变换方法，将图像分解为不同频率的像的某些特性更加明显或便于处理变换不会改变图像的信正弦波分量，适用于频域滤波、频谱分析等离散余弦变换息内容，只是改变了信息的表现形式（DCT）具有较好的能量集中性，是JPEG等图像压缩标准的核心变换的主要优势在于1使某些操作更加简单高效；2突出图像的特定特征；3减少冗余，便于压缩；4分离图像的不小波变换提供了多分辨率分析能力，可以同时表示图像的时同成分图像处理中常用的变换包括傅里叶变换、离散余弦间和频率信息，在图像压缩、去噪和特征提取中有广泛应用变换和小波变换等不同的变换方法各有特点，应根据具体需求选择合适的变换傅里叶变换一维傅里叶变换二维傅里叶变换快速傅里叶变换（）FFT一维傅里叶变换将时域信号分解为不同频率的二维傅里叶变换是一维变换在二维空间的扩展，快速傅里叶变换是计算DFT的高效算法，大大正弦波的叠加对于离散信号，使用离散傅里用于图像处理它将空间域的图像转换为频域降低了计算复杂度传统DFT的计算复杂度为叶变换（DFT）进行处理一维DFT将包含N表示，其中低频分量对应图像的平滑区域，高ON²，而FFT将其降低到ON logN，使大规个采样点的信号转换为N个复数频率分量频分量对应边缘和细节模图像的频域处理成为可能二维DFT的计算可以分解为先对每行进行一维FFT的基本思想是将N点DFT分解为两个N/2点一维DFT的数学表达式为Fu=Σ[x=0to N-1]DFT，再对结果的每列进行一维DFT变换后DFT，再递归地继续分解这种分治法极大fxe^-j2πux/N，其中fx是原始信号，Fu是的频谱通常显示为幅度谱和相位谱，幅度谱反地提高了计算效率在实际应用中，FFT算法变换后的频谱傅里叶变换是可逆的，通过逆映各频率分量的强度，相位谱包含空间位置信已成为图像处理、语音识别等领域的基础工具变换可以完全恢复原始信号息离散余弦变换（）DCTDCT原理离散余弦变换是将信号分解为不同频率余弦函数的加权和与傅里叶变换不同，DCT只使用实数运算，基函数为余弦函数，结果也是实数能量集中特性DCT的最大优势是能量集中性好，变换后的低频系数包含了图像的大部分能量，高频系数通常很小，便于压缩JPEG压缩应用在JPEG压缩中，图像先被分为8×8的块，每块进行DCT变换，然后对变换系数进行量化和编码，实现高效压缩DCT是图像压缩领域最重要的变换之一二维DCT可以表示为两个一维DCT的嵌套，先对行变换，再对列变换变换后的DCT系数矩阵左上角为低频分量，右下角为高频分量由于人眼对高频细节不敏感，JPEG压缩中对高频系数进行更强的量化，实现高压缩比的同时保持可接受的视觉质量除了JPEG，DCT还应用于MPEG视频压缩、音频压缩（如MP3）等众多多媒体标准中其简单性、良好的能量集中性和快速算法使其成为信号处理领域的基础工具小波变换小波变换原理多分辨率分析小波变换是一种时频局部化分析方法，使用不同尺度的小多分辨率分析是小波变换的核心概念，它将信号分解为不同波函数对信号进行分解与傅里叶变换不同，小波变换能分辨率级别的近似分量和细节分量这种分解方式类似于人同时提供时域和频域的信息，适合分析非平稳信号类视觉系统对图像的感知方式小波基函数是有限长度或快速衰减的振荡函数，通过伸缩和在图像处理中，二维离散小波变换（DWT）通常采用滤波平移可以形成一组基函数常用的小波基包括Haar小波、器组实现一次DWT分解将图像分为四个子带低频近似Daubechies小波、双正交小波等，不同小波基适用于不同的（LL）、水平细节（LH）、垂直细节（HL）和对角细节应用场景（HH）这一过程可以递归应用于LL子带，形成多级分解小波变换在图像处理中有广泛应用1图像压缩（如JPEG2000标准）；2图像去噪，通过阈值化小波系数；3纹理特征提取；4边缘检测；5图像融合等小波变换的优势在于它能够有效捕捉图像的局部特征，并且在压缩和去噪等任务中通常比傅里叶变换表现更好第四章图像增强图像增强的目的空间域增强方法图像增强旨在改善图像的视觉效果或突出感兴趣的特征，使空间域增强直接在像素值上进行操作，可以分为点操作（只图像更适合特定应用图像增强不增加信息量，只是使已有涉及单个像素）和邻域操作（涉及像素及其邻域）点操作信息更加明显或易于解释增强操作通常是主观的，效果好包括灰度变换、直方图修正等，邻域操作包括平滑、锐化等坏取决于具体应用和观察者空间滤波图像增强的常见目标包括提高对比度、减少噪声、锐化边空间域处理的数学表达为gx,y=T[fx,y]，其中f是输入缘、均衡亮度分布等不同的应用领域可能需要不同类型的图像，g是处理后的图像，T是变换操作空间域方法实现简增强，如医学图像需要增强细微结构，而卫星图像可能需要单，计算效率高，是图像增强的基本方法提高地物间的对比度点运算对比度调整亮度调整通过线性或非线性映射扩展或压缩灰度范整体提高或降低图像的亮度水平围伽马校正阈值处理非线性调整，补偿显示设备的非线性特性将图像转换为二值图像，突出目标和背景点运算是图像增强的基本方法，特点是每个像素的处理只依赖于该像素本身的值，与位置和邻域无关这类操作可以通过查找表（LUT）高效实现，处理速度快，适合实时应用点运算的数学描述为gx,y=T[fx,y]，其中T是灰度变换函数常见的变换函数包括线性函数（如对比度拉伸）、分段线性函数（如阈值处理）、对数函数（压缩高灰度范围）、幂律函数（伽马校正）等点运算可以应用于整个图像，也可以选择性地应用于感兴趣区域直方图均衡化原理直方图均衡化是一种通过重新分配灰度值，使图像直方图接近均匀分布的技术它的目标是充分利用可用的灰度级，最大化图像的全局对比度，特别是当图像的对比度较低时效果明显直方图均衡化基于图像的累积分布函数（CDF），通过将原始图像的CDF映射到目标CDF（通常是均匀分布）来实现灰度值的重新分配这种方法不需要指定参数，是一种自适应的增强技术实现步骤

1.计算输入图像的灰度直方图；

2.计算累积直方图（累积分布函数）；

3.归一化累积直方图，使其范围在[0,1]之间；

4.将归一化后的累积直方图映射到目标灰度范围（如0-255）；

5.使用映射函数替换原始图像中的每个像素值效果展示直方图均衡化通常能显著提高低对比度图像的视觉效果，使暗区细节更加清晰然而，它也可能放大噪声，或导致某些区域过度增强对于彩色图像，通常只对亮度通道进行均衡化，以避免色彩失真直方图均衡化在医学图像、卫星图像和红外图像等领域有广泛应用为了克服全局均衡化的局限性，还发展了自适应直方图均衡化（AHE）和对比度受限的自适应直方图均衡化（CLAHE）等改进方法空间滤波平滑滤波锐化滤波平滑滤波（低通滤波）用于减少图像噪声和细节其原理是锐化滤波（高通滤波）用于增强图像的边缘和细节其原理用像素邻域的平均值或中值代替原始像素值，从而抑制高频是强调高频成分，通常通过突出像素与其邻域的差异来实现成分常见的平滑滤波器包括常见的锐化滤波器包括•均值滤波简单地计算邻域像素的算术平均值•梯度算子如Sobel、Prewitt算子，计算局部灰度变化•高斯滤波使用高斯函数作为权重的加权平均，更自然•拉普拉斯算子二阶微分算子，对边缘有很强的响应平滑•高提升滤波原图像加上锐化结果，保留原始灰度范围•中值滤波取邻域像素的中间值，对椒盐噪声特别有效•非锐化掩蔽原图像减去平滑结果，增强边缘和细节•双边滤波同时考虑空间距离和灰度差异，可以保边平滑空间滤波是通过卷积实现的，使用大小通常为3×3或5×5的卷积核（或掩模）在图像上滑动，计算加权和作为中心像素的新值滤波器的设计直接影响增强效果，需要根据具体应用和图像特点选择合适的滤波器类型和参数频域增强方法低通滤波频域低通滤波通过抑制高频分量实现图像平滑首先对图像进行傅里叶变换，然后用低通滤波器（如理想低通、巴特沃斯低通、高斯低通）乘以频谱，最后进行反傅里叶变换得到平滑图像低通滤波能有效去除噪声和细节，但可能导致图像模糊不同类型的低通滤波器具有不同的过渡特性理想低通滤波器具有陡峭的截止特性但可能产生振铃效应；高斯低通滤波器过渡平滑，视觉效果更自然高通滤波频域高通滤波通过保留高频分量突出图像的边缘和细节实现方式与低通滤波类似，区别在于使用高通滤波器（如理想高通、巴特沃斯高通、高斯高通）高通滤波也可以通过1减去低通滤波器来获得高通滤波增强边缘的同时也会放大噪声，因此在实际应用中常结合低通滤波进行使用频域高通滤波通常比空间域锐化滤波提供更灵活的控制，可以精确选择要增强的频率范围频域增强的主要优势在于可以直观地选择和操作图像的频率成分通过设计特定的频域滤波器，可以实现难以用空间域方法完成的处理频域方法尤其适合处理周期性噪声，如条纹或网格状伪影，只需在频域中识别并移除对应的频率分量即可频域增强的计算核心是快速傅里叶变换（FFT）为了避免FFT的周期性假设引起的边界效应，通常需要对输入图像进行扩展或窗口处理频域滤波的参数选择（如截止频率）对处理效果有重要影响，需要根据具体图像和应用目标进行调整同态滤波光照-反射模型将图像分解为光照和反射两个分量对数变换通过对数运算将乘法关系转换为加法关系频域滤波对光照和反射分量分别进行不同程度的滤波指数变换通过指数运算恢复图像的原始形式同态滤波是一种基于光照-反射模型的图像增强方法，它可以同时调整图像的动态范围和对比度根据该模型，图像可以表示为照明分量与反射分量的乘积照明分量通常是低频信号，反射分量则包含高频细节同态滤波的核心思想是将乘法关系转换为加法关系，然后对不同频率分量进行不同程度的滤波具体而言，通过对输入图像取对数，然后在频域中使用一种特殊的滤波器（通常是高频增强、低频抑制），最后通过指数运算恢复增强后的图像这一过程可以压缩图像的动态范围，同时增强局部对比度和边缘细节第五章图像复原图像复原的概念图像退化模型图像复原是恢复在获取、传输或处理过程中退化的图像的技图像退化过程通常用卷积模型描述gx,y=hx,y*fx,y+术与图像增强不同，图像复原基于对退化过程的数学建模，nx,y，其中g是观测到的退化图像，f是原始图像，h是点扩旨在重建原始场景的最佳估计，是一个客观的过程散函数（PSF）或模糊核，n是叠加噪声，*表示卷积操作图像复原通常需要退化过程的先验知识，如噪声类型、模糊在频域中，退化模型可表示为Gu,v=Hu,vFu,v+核等复原算法的设计经常涉及解决反问题（inverse Nu,v，其中大写字母表示对应函数的傅里叶变换该模型problem），这类问题通常是不适定的（ill-posed），需要引为设计复原滤波器提供了理论基础退化可能源于多种因素，入正则化等技术保证解的稳定性如相机抖动、散焦、大气湍流或传感器噪声等噪声模型高斯噪声高斯噪声（加性高斯白噪声）是图像处理中最常见的噪声类型，其概率密度函数服从高斯分布这种噪声来源于传感器的热噪声、放大器电路等，表现为均匀分布在整个图像上的微小灰度变化高斯噪声的数学模型为gx,y=fx,y+nx,y，其中n是均值为0，标准差为σ的高斯随机变量高斯噪声的去除通常采用线性滤波方法，如均值滤波、高斯滤波或维纳滤波椒盐噪声椒盐噪声（脉冲噪声）表现为随机分布的黑点（盐噪声，像素值为0）和白点（椒噪声，像素值为最大灰度值）这种噪声通常来源于图像传输错误、模数转换器故障或存储介质的位错误椒盐噪声的特点是噪声点与周围像素值差异显著由于这一特性，非线性滤波方法如中值滤波比线性滤波更有效对于严重的椒盐噪声，可以考虑自适应中值滤波或形态学滤波乘性噪声乘性噪声（如斑点噪声）与信号强度成比例，信号强度越大，噪声也越明显这种噪声常见于相干成像系统，如超声波成像、雷达图像和SAR（合成孔径雷达）图像乘性噪声的数学模型为gx,y=fx,y×nx,y，其中n通常是均值为1的随机变量处理乘性噪声的常用方法包括取对数转换（将乘性噪声转换为加性噪声）、同态滤波和小波域去噪图像去噪方法均值滤波中值滤波均值滤波是最简单的空间域滤波方中值滤波是一种非线性滤波方法，法，将每个像素替换为其邻域内所将每个像素替换为其邻域内所有像有像素的平均值这种方法计算简素的中值这种方法对椒盐噪声特单，对高斯噪声有一定效果，但会别有效，同时能较好地保留边缘信导致图像细节模糊常见变种包括息中值滤波不引入新的灰度值，算术均值滤波、几何均值滤波和谐因此不会产生过度平滑的视觉伪影波均值滤波等维纳滤波维纳滤波是一种基于统计方法的复原技术，旨在最小化原始图像与估计图像之间的均方误差它同时考虑退化函数和噪声特性，在频域中实现维纳滤波对噪声和模糊同时存在的情况尤为有效选择合适的去噪方法需要考虑噪声类型、图像特征和应用需求除了传统滤波方法外，近年来基于小波变换、稀疏表示和深度学习的去噪算法也取得了显著进展小波阈值去噪利用小波变换的多分辨率特性，对不同层次的细节进行选择性处理；非局部均值（NLM）和BM3D等算法利用图像的自相似性，在更广范围内寻找相似区域进行平均；而基于深度学习的方法如DnCNN通过神经网络学习噪声与清晰图像之间的映射关系图像复原技术逆滤波最小均方误差滤波逆滤波是最直接的图像复原方法，基于退化模型的频域表示最小均方误差滤波（如维纳滤波）旨在最小化原始图像与复在频域中，退化过程可表示为Gu,v=Hu,vFu,v+Nu,v，原图像之间的均方误差维纳滤波的频域表达式为F̂u,v其中G是观测图像的傅里叶变换，H是点扩散函数的傅里叶=[H*u,vGu,v]/[|Hu,v|²+Snu,v/Sfu,v]，其中H*是H的变换，F是原始图像的傅里叶变换，N是噪声共轭，Sn和Sf分别是噪声和原始图像的功率谱逆滤波通过简单地除以频率响应来估计原始图像F̂u,v=与逆滤波相比，维纳滤波通过引入噪声与信号功率谱比，有Gu,v/Hu,v这种方法在无噪声或噪声很小的情况下可能效避免了在Hu,v接近零时的不稳定性当噪声可忽略时，有效，但在实际应用中，Hu,v在某些频率上可能接近零，维纳滤波近似于逆滤波；当噪声显著时，维纳滤波会抑制受导致结果不稳定，噪声被过度放大因此，通常需要对噪声污染严重的频率成分这种自适应性使其成为实际应用Hu,v进行截断或使用更复杂的滤波方法中广泛使用的复原方法运动模糊复原复原算法运动模糊模型运动模糊的复原可以使用上述通用复原技术，如维纳滤波然而，对于运动模糊，运动模糊是由相机或物体在曝光期间的相对运动引起的在最简单的情况下，假设还有一些专门的方法盲去卷积是一类重要的技术，它在PSF未知的情况下估计原始匀速线性运动，模糊过程可以用线性系统的点扩散函数（PSF）来描述在空间域中，图像，通常通过迭代方式同时估计PSF和清晰图像PSF可以表示为一条沿运动方向的线段；在频域中，其特征是沿垂直于运动方向的频Lucy-Richardson算法是一种基于贝叶斯概率的迭代复原方法，特别适用于泊松分布率线上出现零点噪声近年来，基于稀疏表示的方法，如总变差（TV）正则化，在运动模糊复原中运动模糊的数学模型可表示为gx,y=∫₀ᵀfx-vₓt,y-vᵧtdt+nx,y，其中T是曝光时间，表现出色深度学习方法也被广泛应用于运动模糊复原，通过端到端的网络直接从vₓ和vᵧ是x和y方向的速度分量，n是噪声在实际应用中，运动可能更加复杂，包括模糊图像学习清晰图像的映射旋转、加速或其他非线性运动运动模糊复原在许多实际应用中至关重要，如手机摄影、天文观测、监控系统和法医图像分析等现代智能手机的防抖技术结合了硬件（光学防抖）和软件（计算摄影）方法，有效减少运动模糊高级复原算法还可以处理复杂的模糊场景，如多物体不同运动引起的空间变化模糊第六章彩色图像处理彩色图像处理扩展了灰度图像处理的概念和方法，需要考虑颜色的感知特性和表示方式色彩是人眼感知的主观现象，由光的物理特性、人眼的生理结构和大脑的心理解释共同决定人眼通过三种类型的视锥细胞感知红、绿、蓝三原色，因此大多数色彩空间都基于三原色的组合色彩空间是组织和表示颜色的系统不同的色彩空间适用于不同的应用场景RGB适合显示设备；CMYK用于印刷；HSI/HSV/HSL更符合人类感知；YCbCr将亮度与色度分离，便于视频压缩；Lab追求感知均匀性；XYZ是基于人眼感知的标准色彩空间彩色图像处理可以在不同色彩空间中进行，每种空间都有其优缺点色彩空间RGBRGB是最常用的加色模型色彩空间，基于红、绿、蓝三原色的加法混合在RGB空间中，颜色表示为一个三维立方体，三个坐标轴分别对应R、G、B分量的强度立方体原点0,0,0表示黑色，对角点1,1,1表示白色，三个坐标轴上的点表示纯色，如1,0,0表示纯红色在数字系统中，RGB通常使用8位/通道（24位彩色）表示，每个分量范围为0-255RGB模型直接对应显示设备的工作方式，CRT、LCD和LED显示器都使用RGB三原色发光单元组合产生各种颜色然而，RGB不是感知均匀的色彩空间，相同的数值变化在不同颜色区域会产生不同的视觉效果此外，RGB分量高度相关，难以单独调整亮度和色彩色彩空间HSI模型色彩分离与合成HSIHSI（色调-饱和度-亮度）色彩空间更接近人类感知颜色的RGB与HSI之间的转换是彩色图像处理中的基本操作从方式，将颜色分解为三个直观的成分RGB转换到HSI的计算相对复杂，涉及非线性变换•色调H表示颜色的基本属性，如红、黄、绿等，通常色调H=arccos[

0.5×R-G+R-B/√R-G²+R-BG-B]用0-360度的角度表示饱和度S=1-3×minR,G,B/R+G+B•饱和度S表示颜色的纯度或鲜艳程度，值越高颜色越饱和亮度I=R+G+B/3•亮度I表示颜色的明暗程度，与颜色的光强有关HSI空间的主要优势在于将亮度与色彩信息分离，使得可以单独处理亮度通道而不影响色彩这在许多图像处理任务中HSI空间可以形象地表示为圆锥或圆柱体，其中角度表示色非常有用，如直方图均衡化、锐化等先将RGB转换为HSI，调，半径表示饱和度，高度表示亮度相比RGB，HSI更符仅对I通道进行处理，然后再转回RGB，可以避免色彩失真合人类视觉感知，便于单独调整颜色的不同属性彩色图像增强彩色直方图均衡化彩色图像的直方图均衡化需要考虑色彩保持问题常用的方法包括1分别对RGB三个通道进行均衡化，简单但可能导致色彩失真；2将图像转换到HSI空间，仅对亮度通道I进行均衡化，保持H和S不变，然后转回RGB空间；3使用亮度保持的直方图均衡化算法，如CLAHE彩色直方图均衡化还可以扩展到三维空间，构建三维颜色直方图并进行均衡化这种方法理论上可以更好地保持颜色之间的关系，但计算复杂度高，实际应用较少彩色图像锐化彩色图像锐化同样需要避免色彩失真常用方法包括1在HSI空间中仅对亮度通道I进行锐化；2在YCbCr空间中仅对Y通道进行锐化；3使用矢量梯度方法，将彩色图像看作矢量场，计算矢量梯度用于边缘增强彩色图像锐化的挑战在于不同颜色通道之间的互相影响简单地对各通道单独锐化可能导致新的颜色伪影更高级的方法如边缘感知滤波可以在保持色彩的同时增强边缘细节彩色图像增强还包括颜色平衡、色彩校正、颜色映射和去雾等技术颜色平衡旨在校正光源引起的颜色偏移，如白平衡；色彩校正确保图像在不同设备间保持一致的外观；颜色映射将一种色彩模式转换为另一种，如色调映射将高动态范围图像显示在标准显示设备上；去雾技术则恢复在有雾环境下拍摄的图像的真实颜色和对比度第七章图像压缩图像压缩的必要性压缩原理图像压缩的目的是减少数字图像的存储空间和传输带宽需求图像压缩的基本原理是降低图像表示中的冗余，同时保留重未压缩的图像数据量非常大，例如，一张4K分辨率要信息压缩过程通常包括三个主要步骤变换或映射、量3840×2160的24位彩色图像需要约24MB存储空间对于视化和编码变换将图像从空间域转换到另一个域，如频域，频、大量图像集或高分辨率医学影像，这种数据量在存储和使信息更紧凑；量化减少表示每个变换系数所需的位数；编传输方面都构成挑战码使用更短的符号表示频繁出现的值图像压缩利用图像数据中的冗余信息来减少数据量图像中根据是否完全保留原始图像信息，压缩可分为无损压缩和有存在三种主要冗余1空间冗余相邻像素之间的相关性；损压缩无损压缩（如PNG、GIF）保证完全重建原始图像，2光谱冗余不同颜色通道之间的相关性；3心理视觉冗余适用于需要精确细节的场合，如医学影像或科学数据有损人眼对某些视觉信息不敏感有效的压缩算法会充分利用这压缩（如JPEG）在可接受的视觉质量下实现更高的压缩比，些冗余适用于自然图像、照片等对细微失真不敏感的应用无损压缩游程编码游程编码（RLE）是最简单的压缩方法，用计数值和数据值对替代重复出现的数据序列例如，序列AAAAAABBCCCCC可编码为6A2B5CRLE对包含大片相同颜色区域的图像（如二值图像、简单图形）效果最好，对复杂图像效果较差霍夫曼编码霍夫曼编码基于数据值出现频率为每个值构建变长编码，频率高的值用短码表示，频率低的用长码表示算法构建二叉树，从叶节点（原始符号）到根节点的路径确定编码霍夫曼编码是统计编码的代表，接近香农熵极限算术编码算术编码不为单个符号分配码字，而是为整个输入序列分配一个实数值该值在[0,1区间内，由输入符号的概率确定相比霍夫曼编码，算术编码能更接近熵极限，特别是对概率分布不均匀的数据无损压缩还包括字典编码（如LZW，用于GIF和早期PNG）、差分编码（如DPCM，编码相邻像素差值）和预测编码（如JPEG-LS、PNG的预测器）等方法在实际应用中，这些基本技术常结合使用，形成更高效的压缩算法PNG使用预测器移除像素间相关性，再用LZ77和霍夫曼编码压缩；TIFF支持多种无损算法；GIF使用LZW编码，限制为256色调色板；JPEG也有无损模式，使用预测编码现代无损压缩格式如WebP和FLIF结合了更先进的技术，提供更高的压缩率有损压缩颜色空间转换将RGB转换为YCbCr，分离亮度和色度信息分块将图像分为8×8像素块，分别处理DCT变换对每个块进行离散余弦变换量化根据量化表对DCT系数进行量化熵编码对量化系数进行霍夫曼或算术编码JPEG是最广泛使用的有损压缩标准，设计用于静态自然图像其核心是基于DCT的变换编码，充分利用人眼对高频细节不敏感的特性JPEG首先将RGB转换为YCbCr色彩空间，允许对色度通道进行更强的压缩（下采样）；然后将图像分为8×8块进行DCT变换；接着使用量化表对DCT系数进行量化，这是信息丢失的主要环节；最后对量化后的系数进行熵编码JPEG压缩比可从2:1到100:1不等，取决于质量设置高压缩比会导致明显的块状伪影、振铃效应和色彩失真JPEG适合照片等自然图像，不适合线条图、文本或需要精确边缘的图像其后继标准JPEG2000使用小波变换代替DCT，提供更好的性能，但因复杂度和专利问题未获广泛应用变换编码变换编码小波变换编码DCT离散余弦变换（DCT）是JPEG等图像压缩标准的核心技术小波变换为图像压缩提供了更灵活的多分辨率分析框架与分DCT将图像从空间域转换到频域，具有出色的能量集中特性—块DCT不同，小波变换对整个图像进行操作，避免了块状伪影—大部分图像能量集中在少数低频系数中，高频系数通常很小小波变换将图像分解为不同尺度的近似和细节分量，类似于人类视觉系统的感知方式在JPEG中，图像被分为8×8像素块，每块单独进行DCT变换在JPEG2000等基于小波的压缩标准中，图像首先通过离散小后的系数按照之字形顺序排列，从低频到高频，便于后续的波变换（DWT）分解为多个子带然后对子带系数进行量化，游程编码然后，系数通过量化表进行量化，低频系数量化较并使用嵌入式编码技术（如EBCOT）进行比特平面编码这轻，高频系数量化较重，反映了人眼对不同频率敏感度的差异种方法允许精确的速率控制和渐进式传输，即可以从低质量到高质量逐步解码图像DCT变换编码的主要缺点是在高压缩比下产生明显的块状伪影小波变换编码相比DCT具有多项优势更好的主观质量，特别这是因为每个8×8块独立处理，忽略了块之间的相关性此外，是在低比特率下；更好的可扩展性；更适合表示边缘和纹理硬边缘（如文本或线条）在DCT域需要大量高频系数表示，压然而，其计算复杂度更高，硬件实现更复杂，这部分解释了为缩效果较差何JPEG仍然广泛使用图像压缩评价指标10:1典型照片压缩比JPEG有损压缩平均可达到30dB可接受图像质量PSNR最低值约为2-3:1无损压缩比PNG等格式通常可达到

0.75SSIM阈值视觉质量可接受的最低值约为图像压缩评价指标分为两类客观指标和主观指标客观指标基于数学计算，包括压缩比、峰值信噪比（PSNR）、均方误差（MSE）、结构相似性（SSIM）等压缩比是原始图像大小与压缩后大小的比值，直接反映存储效率PSNR和MSE测量重建图像与原始图像的像素差异，计算简单但不总是与人类感知一致SSIM考虑人类视觉系统的特性，综合测量亮度、对比度和结构相似性，与主观评价更加一致主观评价直接基于人类观察者的判断，通常使用平均意见得分（MOS）来量化评价者根据预定义的质量等级（如优、良、一般、差、很差）对图像质量进行评分虽然主观评价更准确地反映人类感知，但耗时费力，且受评价者个体差异影响近年来，基于深度学习的无参考图像质量评估算法取得了显著进展，试图模拟人类感知判断图像质量，无需原始未压缩图像作为参考第八章图像分割图像分割的定义分割方法分类图像分割是将图像划分为多个有意义区域或对象的过程，是图像分割方法可以粗略分为以下几类基于阈值的方法，利图像分析和理解的基础步骤分割的目标是将图像简化或转用灰度直方图确定分割阈值；基于边缘的方法，通过检测图换为更易于分析的表示形式，突出感兴趣的区域或对象像中的边缘来划分区域；基于区域的方法，根据像素或区域之间的相似性进行分组，如区域生长、分裂合并理想的分割应满足以下条件区域内部具有一致性（如亮度、此外还有基于聚类的方法，将像素在特征空间中聚类，如K-颜色、纹理）；相邻区域具有显著差异；区域边界平滑、精means、均值漂移；基于图论的方法，将图像建模为图，利确、与实际物体边界对应然而，由于图像内容的复杂性、用图割等技术进行分割；基于能量的方法，定义能量函数并噪声、光照变化等因素，完美分割通常难以实现，需要根据最小化，如活动轮廓、水平集；基于深度学习的方法，利用具体应用选择合适的方法卷积神经网络等学习复杂的分割规则，如全卷积网络（FCN）、U-Net等基于阈值的分割全局阈值全局阈值方法使用单一阈值T将图像分割为前景和背景对于每个像素点x,y，如果其灰度值fx,y大于阈值T，则归为一类，否则归为另一类这种方法简单高效，但要求图像有较好的对比度和均匀照明选择合适的阈值是关键常用的阈值选择方法包括基于直方图的方法，如Otsu算法，自动选择使类间方差最大的阈值；迭代选择法，通过迭代更新阈值直到收敛；基于熵的方法，如最大熵阈值法，使前景和背景的信息熵之和最大自适应阈值自适应阈值（局部阈值）方法根据图像的局部特性为每个像素或区域选择不同的阈值这种方法能适应照明不均匀或对比度变化的情况，在复杂图像中表现更好常见的自适应阈值方法包括基于局部统计特性的方法，如将每个像素的阈值设为其邻域的均值或中值加上一个常数；移动平均阈值法，使用滑动窗口计算局部阈值；Niblack方法，考虑局部均值和标准差；Sauvola方法，对Niblack的改进，特别适用于文档图像阈值分割虽然简单，但在实际应用中仍然非常重要，尤其是在计算资源有限或需要实时处理的场景例如，在光学字符识别（OCR）中，自适应阈值常用于将文本与背景分离；在医学影像中，阈值分割可用于提取某些组织或器官；在工业视觉中，阈值分割用于检测产品缺陷或测量尺寸对于复杂图像，单一阈值通常不足，需要结合其他技术，如多阈值分割（将图像分割为多个区域）、结合形态学操作改进分割结果，或作为更复杂分割算法的预处理步骤边缘检测Sobel算子Canny算子Sobel算子是一种基于一阶导数的边缘检测算子，使用两个3×3卷积核分别计算水平和垂Canny边缘检测是一种多阶段的算法，被认为是边缘检测的最优方法之一它的目标是直方向的梯度水平方向Sobel算子为[[-1,0,1],[-2,0,2],[-1,0,1]]，垂直方向为[[-1,-2,-满足三个标准低错误率（准确检测边缘）、良好的边缘定位（检测的边缘与实际边缘1],[0,0,0],[1,2,1]]位置接近）和最小化边缘点数量（一个边缘只响应一次）Sobel算子计算每个像素点的梯度幅值和方向，梯度幅值大的位置对应边缘与简单的一Canny算法包括以下步骤1高斯滤波减少噪声；2计算梯度幅值和方向；3非极大值抑阶差分算子相比，Sobel具有一定的平滑作用，对噪声更鲁棒然而，Sobel检测的边缘制，保留梯度方向上的局部最大值；4双阈值检测，使用高低两个阈值识别强边缘和弱通常较宽，需要进一步处理才能确定精确的边缘位置边缘；5边缘跟踪，将与强边缘相连的弱边缘也视为边缘这一过程产生清晰、连续的边缘线条边缘检测是图像分割的重要步骤，但通常需要结合其他技术才能得到完整的分割结果检测到的边缘可能不是封闭的，需要边缘连接或形态学处理填补缺口此外，边缘检测对噪声敏感，在嘈杂图像中可能产生虚假边缘或丢失真实边缘区域生长法原理区域生长是一种从初始种子点开始，逐步将相似的相邻像素合并到区域中的分割方法它基于区域内像素的相似性和空间连续性原则区域生长的优势在于能产生连通的区域，适合分割具有清晰边界的结构区域生长的关键是定义合适的相似性标准，常见的标准包括灰度值差异、颜色距离、纹理特征等相似性标准可以是固定的阈值（如种子点灰度±10），也可以是自适应的（如区域内像素的统计特性）实现步骤

1.选择一个或多个种子点作为初始区域种子点可以手动指定，也可以通过某些标准自动选取，如局部极值点

2.定义相似性准则，用于判断像素是否应该被添加到区域中

3.检查种子点的相邻像素，将满足相似性准则的像素添加到区域中

4.将新添加的像素作为新的种子点，重复步骤3，直到没有新的像素可以添加

5.如有多个初始种子点，重复上述过程，直到所有区域都不再增长区域生长法在医学图像分析中有广泛应用，如脑部MRI中的病变检测、CT图像中的器官分割等它也用于遥感图像中的地物分类、工业视觉中的缺陷检测等领域区域生长的优点是概念简单、实现容易，且能产生连通的区域然而，区域生长也有局限性对种子点位置敏感；对噪声敏感，可能导致过度生长或提前停止；难以处理纹理区域；难以设定全局最优的生长准则为克服这些问题，通常将区域生长与其他技术结合，如预处理去噪、边缘信息引导生长、后处理合并小区域等分水岭算法地形模型分水岭算法基于地理学概念，将图像看作地形表面，灰度值代表海拔高度图像的梯度幅值图通常作为输入，梯度大的位置（可能是边缘）对应山脊，梯度小的位置对应盆地淹没过程想象从每个局部最小值（盆地）开始向上淹没地形随着水位上升，来自不同盆地的水将在山脊线处相遇这些相遇处的像素被标记为分水岭线（边界），将图像分割为不同区域标记控制传统分水岭易导致过度分割（产生过多小区域）标记控制分水岭通过预先指定标记（内部标记和边界标记）来控制分割过程，只有标记位置才会成为水源，大大减少过度分割问题分水岭算法的主要优势在于总是产生封闭的连通边界，且边界位于对象之间的高梯度区域它特别适合分割接触或部分重叠的对象，如细胞图像中的多个细胞、遥感图像中的地物等此外，分水岭是一种形态学分割方法，与数学形态学操作（如腐蚀、膨胀、开闭运算）自然结合为获得良好的分水岭分割结果，通常需要精心的预处理和后处理预处理包括平滑去噪、梯度计算和标记选择；后处理可能包括区域合并、小区域删除等Vincent-Soille算法和Meyer算法是两种常用的分水岭实现方式，前者基于浸没模拟，后者基于优先队列的快速实现第九章图像特征提取颜色特征纹理特征描述图像的色彩分布特性，如颜色直方图、描述图像表面结构模式，如灰度共生矩阵、2颜色矩、主色调等Gabor滤波器、局部二值模式等局部特征形状特征描述图像中特定区域的局部信息，如SIFT、描述物体的几何形态，如边界特征、区域SURF、ORB等特征点特征、矩特征等特征提取是将原始图像转换为一组有意义、紧凑的特征向量的过程，是图像识别、分类和理解的基础良好的图像特征应具有以下特性区分性（能够区分不同类别的图像）、稳健性（对噪声、光照变化等因素不敏感）、独立性（特征间相互独立）和计算效率高特征提取可以基于人工设计的特征描述符，也可以通过深度学习自动学习特征传统特征提取方法通常有明确的数学模型和几何意义，计算高效且可解释性强；而深度学习方法能自动学习层次化特征表示，通常在复杂任务上表现更好，但需要大量训练数据和计算资源在实际应用中，常根据具体任务选择或组合不同类型的特征颜色特征颜色直方图颜色矩颜色直方图是描述图像色彩分布的基本特征，统计各颜色区间颜色矩是描述图像颜色分布的紧凑特征，使用概率分布的矩来内像素的数量或比例构建步骤包括确定色彩空间（如表示颜色分布通常使用前三阶矩一阶矩（均值）表示颜色RGB、HSV）；将色彩空间分割为若干区间（称为柱或箱）；的平均强度；二阶矩（标准差）表示颜色分布的方差；三阶矩统计每个区间内的像素数量；通常进行归一化处理，使结果不（偏度）表示颜色分布的对称性受图像大小影响对于RGB图像，每个通道计算这三个矩，共得到9个特征值，颜色直方图具有简单、计算高效、对旋转和平移不敏感等优点，形成紧凑的特征向量与颜色直方图相比，颜色矩维度更低、广泛用于基于内容的图像检索然而，它忽略了颜色的空间分计算更简单、存储需求更小它对图像大小变化和旋转不敏感，布信息，即相同的颜色分布可能对应完全不同的图像为解决且对量化噪声具有一定鲁棒性颜色矩常用于图像检索和分类，这一问题，发展了多种改进方法，如分块颜色直方图、颜色相特别是对计算效率有要求的场景关图和颜色集中性矩等除上述方法外，还有其他颜色特征描述方法，如主色调（dominant color）提取图像中的几个主要颜色及其比例；颜色同现矩阵（color co-occurrence matrix）考虑颜色的空间关系；颜色聚合向量（color coherencevector）区分大区域和小区域的颜色分布在实际应用中，常根据具体需求选择合适的颜色特征或组合多种特征纹理特征统计方法统计方法从统计学角度描述纹理，分析像素强度分布的统计特性最基本的是一阶统计量，如灰度直方图的均值、方差、偏度和峰度，但它们忽略了像素的空间关系更重要的是二阶统计量，如灰度共生矩阵（GLCM）GLCM描述了具有特定距离和方向的像素对的灰度关系，可以提取能量、对比度、相关性、熵等统计特征其他统计方法还包括局部二值模式（LBP）、统计游程矩阵和自相关函数等统计方法简单高效，对噪声有一定鲁棒性，广泛用于纹理分析结构方法结构方法将纹理视为按照某种排列规则组织的基本元素（纹理元）的重复这些方法适用于规则性强的纹理，如砖墙、织物等结构方法首先识别纹理元，然后分析它们的形状和排列规则常见的结构方法包括形态学纹理分析，使用数学形态学运算提取纹理特征；Fourier变换分析，在频域分析纹理的周期性和方向性；Gabor滤波器和小波变换，能够在不同尺度和方向上分析纹理，提供多分辨率表示这些方法能够捕捉纹理的全局结构特性纹理特征在许多计算机视觉任务中发挥重要作用，如图像分割、材质识别和场景分类近年来，深度学习方法，特别是卷积神经网络（CNN），在纹理特征提取和分析上取得了显著进展CNN能自动学习多层次的纹理表示，从低级边缘到高级纹理模式，通常优于传统手工设计的特征不同的纹理描述方法各有优缺点，选择合适的方法取决于具体应用和纹理类型在实践中，通常结合多种纹理特征以获取更全面的描述例如，将统计特征和基于滤波器的特征结合，既捕捉局部细节，又保留全局结构信息形状特征轮廓特征区域特征骨架特征轮廓特征基于物体的边界信区域特征考虑物体的整个区骨架是形状的中轴表示，通息，忽略内部内容常用的域信息基本的区域特征包过形态学细化或距离变换得轮廓特征包括周长、曲率、括面积、周长比（圆形到骨架保留了原始形状的傅里叶描述子、形状上下文度）、矩形度、离心率等拓扑结构和基本几何特征，等傅里叶描述子将轮廓坐更高级的区域特征有矩特征，同时大大减少了数据量从标作为复数序列，应用傅里如几何矩、中心矩、归一化骨架可以提取分支点、端点、叶变换后取低频系数作为特中心矩和Hu矩Hu矩是七个分支长度等特征，形成描述征，具有平移、旋转、缩放基于归一化中心矩的不变矩，形状的特征向量或图结构，不变性形状上下文描述轮对平移、旋转和缩放具有不适用于手写字符识别、生物廓点的相对分布，对形状变变性，广泛用于形状识别形态分析等任务化有良好的容忍度形状特征提取的挑战在于如何设计不受噪声、变形和视角变化影响的鲁棒特征不同的形状特征各有优缺点轮廓特征计算简单但对遮挡敏感；区域特征对细节变化稳健但难以描述复杂形状；骨架特征能保留拓扑结构但对边界噪声敏感在实际应用中，往往结合多种形状特征以提高识别性能近年来，深度学习方法也被应用于形状特征学习和分析，如图形卷积网络（GCN）和点云网络，能够直接处理形状的几何表示，自动学习判别性强的形状特征特征SIFT尺度空间极值检测使用高斯差分（DoG）函数在不同尺度空间寻找局部极值点，作为特征点候选这一步保证了特征对尺度变化的不变性关键点定位与过滤精确定位关键点位置，并去除低对比度和边缘上的不稳定点，保留具有较高判别性的强特征点方向分配根据局部梯度方向分布为每个关键点分配一个或多个主方向，实现对旋转的不变性特征描述符生成在关键点周围取一个区域，划分为4×4个子区域，每个子区域计算8个方向的梯度直方图，形成128维的特征描述符尺度不变特征变换（SIFT）是由David Lowe于1999年提出的局部特征描述方法，它提取的特征点对图像缩放、旋转、亮度变化、视角变化甚至部分遮挡具有很强的不变性SIFT特征已成为计算机视觉中最重要的特征之一，广泛应用于图像匹配、目标识别、全景拼接、三维重建、视觉SLAM等领域虽然SIFT特征鲁棒性强，但计算复杂度高为改进计算效率，发展了多种变体和替代方法，如SURF（加速稳健特征）使用积分图像和盒式滤波器加速计算；ORB（Oriented FASTand RotatedBRIEF）结合FAST角点检测和BRIEF描述符，计算更高效；BRISK和FREAK使用二进制描述符进一步提高效率在实际应用中，需根据性能要求和计算资源平衡选择合适的特征方法第十章图像识别与分类图像识别的概念分类器图像识别是计算机视觉中的核心任务，旨在对图像中的内容进分类器是图像识别系统的决策模块，基于提取的特征将图像分行标识和分类它涉及从图像中提取有意义的特征，并基于这配到预定义的类别传统分类器包括最近邻分类器（如k-些特征做出决策图像识别包括多个子任务，如图像分类（识NN），基于样本间距离进行分类；贝叶斯分类器，基于概率别整个图像的类别）、目标检测（定位并识别图像中的对象）、模型和贝叶斯定理；决策树，通过一系列特征测试构建分类规语义分割（将图像划分为不同语义区域）等则；支持向量机（SVM），寻找最大化类别间边界的超平面图像识别的基本流程通常包括预处理（如尺寸调整、增强和标准化）；特征提取（提取表示图像内容的数值特征）；特征近年来，深度学习分类器，特别是卷积神经网络（CNN），选择/降维（选择最相关的特征，减少计算复杂度）；分类器在图像识别任务上取得了突破性进展经典CNN架构包括训练（使用带标签的数据训练模型）；分类决策（对新图像进AlexNet、VGGNet、GoogLeNet/Inception、ResNet和DenseNet行预测）随着深度学习的发展，这一流程中的某些步骤（如等，它们通过深层网络结构自动学习层次化特征表示，从低级特征提取和分类）可能合并为端到端的学习过程特征（如边缘）到高级特征（如对象部分和完整对象），显著提高了分类性能最新的Transformer架构（如ViT）通过注意力机制建模像素间的长距离依赖，在某些任务上超越了CNN模板匹配原理模板匹配是一种最基本的图像识别方法，通过将模板图像（通常较小）在目标图像上滑动，比较每个位置的相似度来寻找最佳匹配相似度可以通过多种度量方式计算，如平方差（SSD）、相关系数、归一化互相关（NCC）等模板匹配的数学表达是一个卷积或相关操作例如，使用归一化互相关时，对于目标图像f和模板t，在位置u,v的匹配分数为Ru,v=Σx,y[fx,y-f̄u,v][tx-u,y-v-t̄]/√{Σx,y[fx,y-f̄u,v]²·Σx,y[tx-u,y-v-t̄]²}，其中f̄u,v是目标图像在对应区域的均值，t是̄模板的均值应用场景模板匹配在特定条件下有着广泛应用•目标检测寻找图像中与模板匹配的区域，如工业检测中的零部件定位•特征跟踪在视频序列中跟踪特定目标，如人脸跟踪•OCR（光学字符识别）将每个字符与已知模板比较进行识别•图像拼接寻找两幅图像的重叠区域•质量控制检测产品是否符合标准模板模板匹配的优点是概念简单、实现容易，对于已知目标特征稳定的场景效果良好然而，它也存在明显局限性对目标的变形、旋转、缩放和光照变化敏感；需要大量模板才能处理变化；计算复杂度随图像和模板大小增加而显著增加为克服这些限制，发展了多种改进方法，如多尺度模板匹配（在图像金字塔上匹配）、基于边缘的模板匹配（仅比较边缘特征，减少光照影响）、变形模板匹配（允许模板变形）等近年来，深度学习的相似性学习方法也在取代传统模板匹配，通过训练神经网络学习更鲁棒的匹配函数基于统计的分类方法贝叶斯分类决策树贝叶斯分类是基于贝叶斯定理的概率分类方法对于图像分类，决策树是一种树形结构的分类模型，通过一系列特征测试将输它计算给定特征向量条件下图像属于各类别的后验概率，选择入空间划分为不同区域在图像分类中，每个内部节点表示对概率最高的类别作为预测结果贝叶斯定理表示为Py|x=某个特征的测试（如某像素的灰度值、某区域的纹理特征），Px|yPy/Px，其中y是类别，x是特征向量每个分支表示测试的结果，每个叶节点表示一个类别标签朴素贝叶斯是一种简化的贝叶斯分类器，假设特征之间相互独决策树的构建通常采用自顶向下的贪心方法，如ID

3、C

4.5或立虽然这一假设在图像中通常不成立（如相邻像素高度相CART算法核心思想是在每一步选择最具区分能力的特征进行关），但朴素贝叶斯依然因其计算简单且在某些任务上表现良分裂，使得子节点的纯度（如信息增益、基尼系数）最大化好而广泛使用贝叶斯网络则允许对特征间的依赖关系进行建决策树的主要优势是模型可解释性强，能直观地表示分类规则，模，但构建复杂度更高且训练和预测速度快贝叶斯方法的优势在于理论基础坚实，可以自然地处理不确定然而，单一决策树容易过拟合，且对训练数据的小变化敏感性和概率推理，且对小样本集有较好的泛化能力然而，正确为克服这些问题，通常使用集成方法，如随机森林（多棵树通估计概率分布和条件概率可能很困难，特别是在高维特征空间过投票决策）或梯度提升树（序列构建互补的树模型）这些中集成方法在图像分类任务中表现更稳定，精度更高支持向量机（）SVM原理在图像分类中的应用SVM SVM支持向量机是一种强大的监督学习算法，核心思想是在特征空SVM在图像分类中的应用流程通常包括特征提取（如SIFT、间中寻找最优的分割超平面，使得不同类别的样本间隔最大化HOG等手工特征或深度卷积特征）；特征降维（如PCA）以对于线性可分的情况，SVM通过求解以下优化问题找到这个减少计算量；核选择和参数优化；训练SVM分类器；对新图超平面最大化间隔2/||w||，同时满足对所有训练样本xi,yi，像进行分类预测yiw·xi+b≥1SVM在图像分类领域具有多项优势对高维特征空间有良好对于线性不可分的情况，SVM引入了软间隔和核技巧软间处理能力；具备理论保证的泛化边界；对少量样本也能有效学隔允许一些样本被错误分类或落在间隔内，以提高模型泛化能习；通过核函数灵活适应不同类型的数据分布然而，SVM力核技巧则通过隐式将原始特征映射到高维空间，使得样本也存在计算复杂度高、对大规模数据集训练困难、多类分类需在新空间中变得线性可分常用的核函数包括线性核、多项式要特殊设计（如一对多、一对一策略）等限制核、RBF核（高斯核）和sigmoid核在深度学习兴起前，基于SVM的图像分类系统曾是最先进的方法一个典型实现是将HOG或SIFT特征与SVM结合，如人脸检测中的HOG+SVM方法现在，SVM常与深度学习特征结合使用，如提取CNN的中间层特征，再用SVM进行分类，这种方法在样本有限时尤其有效深度学习在图像识别中的应用卷积神经网络（CNN）卷积神经网络是深度学习在图像处理领域最成功的架构，其设计特别适合处理具有网格状拓扑的数据，如图像CNN的核心组件包括卷积层，通过滑动卷积核捕捉局部空间模式；池化层，对特征图进行下采样以减少计算量并增加感受野；全连接层，整合特征进行最终分类CNN的主要优势是能自动学习层次化特征表示，从低级视觉元素（如边缘、纹理）到高级语义概念（如物体部件、整体对象），无需手动设计特征此外，CNN具有平移不变性，且通过权重共享大大减少了参数数量，使得训练更高效，泛化能力更强经典CNN模型自2012年AlexNet在ImageNet竞赛中取得突破以来，涌现了一系列经典CNN架构，不断推动图像识别技术进步VGGNet采用小尺寸卷积核和简单的堆叠结构；GoogLeNet/Inception引入了Inception模块，并行使用不同尺寸的卷积核；ResNet通过残差连接解决深层网络的梯度消失问题；DenseNet使用密集连接，每层都直接连接到其后的所有层近年来，MobileNet和EfficientNet等轻量级网络通过深度可分离卷积、神经架构搜索等技术大幅提高了模型效率，使深度学习能够在移动设备上部署而Transformer架构（如Vision Transformer）引入注意力机制，在大规模数据集上取得了超越CNN的结果，展现出强大的建模能力深度学习已经彻底改变了图像识别领域，在图像分类、目标检测、语义分割等任务上取得了前所未有的精度现代图像识别系统通常采用迁移学习策略，即先在大型数据集（如ImageNet）上预训练网络，再在特定任务上微调，这大大减少了对标注数据的需求数据增强、批归一化、dropout等技术也是提高深度模型性能的关键第十一章图像理解高级场景理解理解场景语义关系和情境目标识别与分割定位和识别场景中的对象与区域特征提取与表示3获取图像的基本表示单元底层视觉处理4图像预处理与基本特征检测图像理解是计算机视觉的终极目标，旨在使计算机能够像人类一样理解图像内容，包括识别对象、理解空间关系、推断事件和上下文，甚至预测未来动作相比简单的图像识别（仅关注是什么），图像理解更加全面，涉及在哪里、为什么和如何等更高级的认知任务图像理解通常采用层次化方法，从底层像素处理到高层语义推理底层包括边缘检测、特征提取等；中层包括目标检测、分割、跟踪等；高层则涉及场景分类、关系推理、视觉问答等深度学习的发展使得这些层次能够以端到端的方式整合，通过大规模数据驱动学习复杂的视觉表示和推理能力目标检测滑动窗口法传统目标检测方法使用滑动窗口在图像中采样不同位置和尺度，对每个窗口应用分类器（如SVM+HOG）判断是否包含目标这种穷举搜索方法计算量大，效率低，但概念简单改进方法包括图像金字塔（处理不同尺度）和级联分类器（快速排除负样本）2R-CNNR-CNN（区域卷积神经网络）结合了区域候选和CNN，显著提高了检测精度它首先使用区域候选算法（如Selective Search）生成潜在目标区域，然后对每个区域应用CNN提取特征，最后用SVM分类器判断类别并回归边界框R-CNN精度高但速度慢，主要瓶颈在于重复的CNN特征提取Fast R-CNNFast R-CNN改进了R-CNN的效率，通过共享计算提高速度它先对整张图像进行一次卷积特征提取，然后使用ROI池化层从特征图中提取每个候选区域的特征，再通过全连接层进行分类和边界框回归这大大减少了计算量，但区域候选阶段仍是瓶颈Faster R-CNNFaster R-CNN通过区域候选网络（RPN）实现了端到端的目标检测RPN与检测网络共享卷积特征，直接从特征图预测候选区域，替代了外部区域候选算法这一架构将检测速度提高到近实时水平，成为两阶段检测器的代表作，奠定了现代目标检测的基础语义分割全卷积网络（）FCN U-Net全卷积网络是语义分割的开创性工作，它将传统CNN中的全连接层U-Net最初为医学图像分割设计，因其U形对称结构得名它扩展了替换为卷积层，实现了从图像到像素级预测图的端到端训练FCN FCN的思想，在编码器和解码器之间添加了更多直接连接具体来的核心创新是上采样和跳跃连接上采样（反卷积/转置卷积）将特说，每个解码阶段都连接对应编码阶段的特征图，有效结合了高分征图恢复到原始分辨率；跳跃连接结合浅层高分辨率特征和深层低辨率的位置信息和低分辨率的语义信息分辨率特征，提高分割精度U-Net的优势在于可以用较少的训练样本实现良好性能，这对医学影FCN的基本结构包括编码器（下采样路径，提取特征）和解码器像等样本稀缺的领域尤为重要它的变种包括V-Net（3D分割）、（上采样路径，恢复分辨率）FCN的缺点是上采样过程中空间信Attention U-Net（引入注意力机制）和Res-UNet（集成残差连接）等息损失较大，分割边界不够精细，且对小目标的分割能力较弱尽U-Net已成为医学图像分割的标准架构，也广泛应用于一般图像分割管如此，FCN的思想奠定了现代语义分割方法的基础任务语义分割的发展还包括DeepLab系列，它通过空洞卷积（扩张卷积）扩大感受野而不增加参数量，并引入CRF（条件随机场）后处理改善边界；PSPNet（金字塔场景解析网络）使用金字塔池化模块捕捉不同尺度的上下文信息；SegNet采用编码器-解码器结构，但在解码时使用最大池化索引进行上采样，保留更多空间信息近年来，Transformer架构也被引入语义分割领域，如SETR和SegFormer等，通过自注意力机制建模长距离依赖，进一步提高了分割性能语义分割技术已广泛应用于自动驾驶、医学图像分析、遥感图像解释、增强现实等领域实例分割骨干网络提取图像特征（如ResNet-FPN）区域候选生成潜在目标区域（RPN）ROI特征提取从特征图提取ROI特征（ROIAlign）掩码生成预测每个ROI的像素级掩码多任务输出分类、边界框回归和掩码预测实例分割是比语义分割更具挑战性的任务，它不仅需要分类每个像素（语义分割的目标），还需要区分属于同一类别的不同对象实例Mask R-CNN是实例分割的里程碑工作，它在Faster R-CNN的基础上添加了一个并行的掩码预测分支，能同时输出目标类别、边界框和像素级掩码Mask R-CNN的关键创新是ROIAlign层，它替代了ROI池化，通过双线性插值保持特征的精确空间位置，解决了之前方法中的量化误差问题此外，掩码预测使用小型FCN网络，对每个ROI单独预测二值掩码，实现像素级的实例分割Mask R-CNN框架灵活，可以与不同的骨干网络（如ResNet、ResNeXt）和特征金字塔网络（FPN）结合，性能强大，被广泛应用于计算机视觉研究和实际应用第十二章图像处理新趋势计算摄影学计算摄影学融合了计算机图形学、计算机视觉和摄影技术，使用算法和计算方法扩展传统相机的能力，创造出传统摄影难以实现的效果核心思想是将计算过程引入图像获取、处理和显示的各个环节，从而突破光学和物理限制代表性技术包括HDR成像，将多次曝光合成超出单次捕获动态范围的图像；计算光场相机，捕获光场信息允许后期调整对焦；夜间模式，通过多帧对齐和融合提高低光照成像质量；超分辨率，从多幅低分辨率图像重建高分辨率图像；肖像模式，使用深度信息实现背景虚化；计算全景图，自动拼接多张图像形成全景视图计算机视觉与增强现实增强现实（AR）将虚拟内容叠加在现实世界上，创造出混合现实体验计算机视觉是AR的基础技术，负责理解现实环境以实现准确的虚实融合核心技术包括SLAM（同时定位与地图构建），实时跟踪相机位置并重建环境；目标检测与识别，识别现实世界中的物体作为AR交互锚点；深度估计，获取场景三维结构信息AR应用已广泛渗透到各个领域教育领域通过交互式3D模型增强学习体验；医疗领域使用AR辅助手术规划和执行；零售领域提供虚拟试穿、家具摆放等体验；工业领域通过AR辅助装配、维修和培训；娱乐领域创造沉浸式游戏和体验随着移动设备计算能力的提升和专用AR硬件（如光学透视显示器、深度相机）的发展，AR技术正日益成熟人工智能与图像处理生成对抗网络（GAN）图像风格迁移生成对抗网络是一种深度学习架构，由生成器和判别器两个网络组成，通过对抗训练生成逼真图像风格迁移是将一幅图像的视觉风格（如笔触、色彩、纹理）应用到另一幅图像上，同时保的图像生成器尝试创建看似真实的图像，判别器则尝试区分真实图像和生成图像二者相互留原始图像的内容早期方法基于Gatys等人的神经风格迁移算法，它利用预训练CNN的不同层博弈，不断提升各自能力，最终生成器能产生高质量、逼真的图像表示内容和风格特征，通过优化生成符合双重约束的图像GAN的变种和应用极为丰富DCGAN引入卷积结构提高训练稳定性；CycleGAN实现无需配对随后的快速风格迁移方法使用前馈网络替代迭代优化，实现实时处理；多风格迁移方法可以组数据的图像风格转换；StyleGAN通过风格混合和分离实现图像特征控制；Pix2Pix实现有监督的合多种风格；自适应实例归一化（AdaIN）通过特征统计匹配实现高效风格化风格迁移广泛应图像转换；BigGAN生成高分辨率、多样化图像GAN已应用于图像生成、超分辨率重建、图像用于艺术创作、照片编辑、视频处理、游戏设计等领域，成为AI艺术表达的重要工具最新的修复、风格迁移、数据增强等众多领域扩散模型（如Stable Diffusion）更是将风格迁移能力推向新高度人工智能与图像处理的结合还包括扩散模型，通过逐步添加然后去除噪声生成高质量图像；神经辐射场（NeRF），从2D图像合成新视角的3D场景；自监督学习，利用无标签数据学习强大的视觉表示；多模态学习，结合图像与文本等不同模态信息进行理解和生成这些技术正在改变传统图像处理范式，拓展计算机视觉的边界大规模图像数据处理分布式图像处理云计算在图像处理中的应用随着图像数据量的爆炸性增长，传统单机处理方式已不足以应对云计算为图像处理提供了弹性、高效的计算资源，使用户无需购大规模图像分析需求分布式图像处理系统将计算任务分散到多买和维护复杂硬件即可完成大规模图像处理任务主要云服务模台机器上并行执行，显著提高处理效率这类系统通常采用以下式包括IaaS（基础设施即服务），提供虚拟机和存储资源；PaaS架构数据分片，将大型图像集或视频拆分为可独立处理的块；（平台即服务），提供开发和部署环境；SaaS（软件即服务），任务调度，动态分配和管理计算资源；并行算法，重构传统图像提供现成的图像处理应用处理算法以适应分布式环境各大云服务提供商都推出了专门的图像处理和分析服务Amazon常用的分布式计算框架包括Hadoop，基于MapReduce模型处理Rekognition提供基于深度学习的图像分析；Google VisionAPI实现海量图像元数据；Spark，利用内存计算加速迭代计算；Storm，适图像标注、OCR和内容检测；Microsoft AzureComputer Vision提供合实时图像流处理；TensorFlow和PyTorch的分布式模块，支持大丰富的视觉分析功能；专业图像处理云平台如Cloudinary和Imgix专规模深度学习模型训练这些框架使得处理TB甚至PB级别的图像注于图像优化和转换云计算极大降低了图像处理的技术门槛，数据成为可能，为大规模视觉分析奠定了基础使各行业能更容易地应用先进图像分析技术大规模图像处理面临的挑战包括数据存储和传输效率、计算资源调度优化、算法并行化设计、系统容错与恢复机制等随着边缘计算和联邦学习的发展，图像处理架构正朝着云-边-端协同的方向演进，将计算任务分配到最合适的位置执行，兼顾性能、隐私和资源效率课程总结通过本课程的学习，我们系统地掌握了图像信息处理的理论基础和实用技术从图像的基本概念和表示方式开始，我们探讨了图像获取与数字化过程，学习了各种图像变换方法，掌握了图像增强、复原和压缩的核心算法在此基础上，我们进一步研究了彩色图像处理、图像分割、特征提取及图像识别与分类的关键技术，最后展望了图像理解和处理新趋势图像处理技术正朝着智能化、高效化和集成化方向发展人工智能特别是深度学习的应用极大地推动了传统图像处理向计算机视觉的转变，实现了从像素处理到语义理解的跨越未来，随着算法、硬件和应用需求的共同推动，图像处理技术将继续革新，在医疗、安防、自动驾驶、增强现实等领域发挥越来越重要的作用希望同学们在今后的学习和工作中能够灵活运用所学知识，不断探索和创新参考文献与推荐阅读经典教材学术期刊与会议开源工具与库《数字图像处理》（冈萨雷斯著，阮秋琦译），全IEEE Transactions on ImageProcessing，发表图像处OpenCV，最流行的计算机视觉和图像处理开源库，面系统的图像处理百科全书，内容翔实，是图像处理领域最新研究成果的顶级期刊；IEEE支持多种编程语言；scikit-image，基于Python的图理领域的权威参考书；《数字图像处理TransactionsonPattern Analysisand Machine像处理工具库，易于学习和使用；PyTorch和MATLAB实现》（冈萨雷斯著），提供大量Intelligence，计算机视觉和模式识别领域的权威期TensorFlow，主流深度学习框架，具有丰富的图像MATLAB实例代码，帮助理解和实现各种图像处刊；CVPR、ICCV、ECCV，计算机视觉领域的顶处理和计算机视觉模块；Pillow，Python图像处理理算法；《计算机视觉算法与应用》（Richard级国际会议，展示前沿研究成果；SIGGRAPH，计库，适合基础图像操作；GIMP和ImageJ，功能强Szeliski著），连接传统图像处理与现代计算机视算机图形学与交互技术顶级会议，包含计算摄影学大的开源图像处理软件，可用于教学和研究觉，涵盖广泛应用等相关领域除了上述资源，学生还可以关注在线学习平台（如Coursera、edX）上的图像处理和计算机视觉相关课程，以及GitHub上的开源项目和实现跟踪arXiv预印本平台上的最新论文也是了解研究前沿的好方法实践是掌握图像处理技术的关键，鼓励学生结合实际问题，动手实现和优化各种算法，加深理解随着人工智能和计算机视觉的快速发展，图像处理领域的知识更新很快，保持持续学习的习惯至关重要建议关注相关领域的顶级研究实验室和公司的技术博客，参与开源社区，与同行交流，不断拓展和更新知识体系。