《图像处理技术与应用》课件

图像处理技术与应用欢图术应课课将绍图迎参加《像处理技与用》程！本程系统地介像处理的基本理论术应图获过识、核心技与实际用，帮助您掌握从像取到分析处理的全程知图术应疗诊断遥监检测领像处理技已广泛用于医、感分析、安防控、工业等众多计觉过课习将域，是算机科学与视信息处理的重要分支通本程的学，您掌握处图为来习计觉坚理、增强、分析像的能力，未深入学算机视和人工智能奠定实基础让们图数觉术我一起探索像世界的奥秘，掌握改变字视的强大技！课程概述课程目标图论关键术掌握像处理的基本理与技养图计培像分析与算法设能力独图问题能立解决实际像处理学习内容图础识数像处理基知与字化原理图术像增强、复原、分割等核心技图识别级题像特征提取、与融合等高主考核方式时节结平作业（30%）每章束后布置项独图应期中目（30%）立完成一个像处理用试闭试论践期末考（40%）卷笔，考察理与实能力第一章图像处理基础图像处理的概念图对图进像处理是像行分析、加工和理解的技术图质，目的是改善像量、提取有用信息或实现标区图像的定义特定目处理方法包括点处理、域处理帧和处理等多种形式图对观维像是客物体的二表示，是按照一定规数图维图像处理的应用领域律排列的像素集合字像可看作二数为标函fx,y，其中x,y空间坐，f在任意辅诊断维标该医学影像助、三重建坐点的值表示点的亮度或灰度遥术监测环感技地表、境分析检测识别质工业缺陷、量控制监脸识别为安防控人、行分析图像的数字化编码量化编码将图数转换为储传采样是量化后的像据适合存和输将颜编码编码编码量化是采样得到的每个像素点的亮度或色值映的形式常用方式包括行程、熵和变将连续图转换为数过围内过级别换编码采样是空间像离散据的程根射到一个有限范的离散值的程量化决等频须频颜现据采样定理，采样率必大于信号最高率的两定了灰度或色的表能力编码图质有效的能在保持像量的前提下，最大限度倍，才能无失真地重建原始信号级别级级数储传常见的量化有256（8位）、1024（10位）减少据量，提高存和输效率例如JPEG格对图级级别图现图换编码现压缩空间采样通常使用矩形网格，按照一定的间隔或4096（12位）等量化越高，像表式的像使用DCT变和熵实高效进数阵层储像行取样，形成行与列的据矩，每个取样点的灰度次越丰富，但所需存空间也越大为数图成一个像素采样间隔越小，像素量越多，像分辨率越高图像文件格式BMP位图软开压缩压缩图微发的无或采用RLE的像格式损储图•无存，保留完整像信息较络传•文件大，不适合网输•支持1位、4位、8位和24位色彩深度JPEG联合图像专家组应损压缩图广泛用的有像格式压缩络传•高比，文件小，适合网输•不支持透明背景图•适合照片等自然像PNG便携式网络图形损压缩络图无的网像格式•支持透明背景和alpha通道压缩•效率高于GIF图图标图•适合形、等像TIFF标签图像文件格式专级图储业像存格式压缩•支持多种算法储图•可存多页像•广泛用于印刷和出版行业图像处理软件介绍Adobe PhotoshopGIMP GNU图像处理程序ImageJ专级图编辑软图费开图编辑软专为图计开软业像件，提供全面的像处理功免源的像件，是Photoshop的强科学像分析设的源件，由美国国图层图层径卫开别能Photoshop拥有强大的管理系统，丰大替代品GIMP提供、通道、路等核立生研究院发ImageJ特适合医学和滤镜选区滤镜专图测计富的效果，以及精确的和蒙版工具，心功能，支持多种插件，可完成大部分生物学像处理，提供精确量、统分析和摄计创图图维适用于影后期处理、设作和像合成业像处理任务三重建等功能区扩编开它跨平台运行，界面可高度自定义，社活跃它具有强大的可展性，支持宏程和插件虽专专图术领它支持多种文件格式，具备批处理能力，是商度高然在某些业功能上不及Photoshop，发，能处理各种业像格式在学研究图标费对数应业像处理的行业准工具但需付使用，但大多用户已足够域用广泛，尤其适合批量处理和定量分析习线较学曲陡峭图像的空间域与频率域空间域概念频率域概念两者的关系图们频过换将图转频图空间域是指像的物理空间，即我直接率域是通傅里叶变空间域像空间域和率域是像的两种不同表示方观图图换频图为们过换察到的像本身在空间域中，像被得到的在率域中，像被表示不式，它通傅里叶变相互联系根据为维数频权频对积积频表示二函fx,y，其中x,y是空间同率正弦波的加和，其中低部分卷定理，空间域的卷等价于率域的标该颜应图结频积坐，f的值是点的亮度或色像的整体亮度和大型构，高部分乘，反之亦然对应细节缘对图进和边应们空间域处理直接像像素行操作，如在实际用中，我经常需要在两个域之换滤频对换频谱进转换选择点处理（灰度变）、空间波（平滑、率域处理变后的行操作，如间，更适合特定任务的处理方式锐这观现简滤频滤对频化）等些方法直易理解，实低通波（去除高噪声）、高通波例如，于周期性噪声的去除，率域处单计较缘杂频，算效率通常高（提取边）等某些复操作在率域理通常更加高效现中更容易实第二章图像增强图像增强的目的图图觉图细节观续计图像增强旨在改善像的视效果，使像更加清晰，更适合人眼察或后算机处理它不增加像的信息量，而是使原有信息更加突出常用增强方法概述图换对调图像增强的方法多种多样，主要包括灰度变（比度整）、直方处理（均衡化）、滤锐频滤空间域波（化和平滑）以及率域处理（高通和低通波）等图像增强的评价评观标对观增强效果的价既有客指（信噪比、比度等），也有主觉应场因素（视效果）不同用景可能需要不同的增强策略，需针对问题选择要具体合适的方法灰度变换线性变换非线性变换分段线性变换过线数图对线数对数换将围为区区应通性函改变像灰度值，主要包括比度使用非性函映射灰度值，常见的有变、灰度范分多个间，在每个间用不同调数为换对数换压缩线换这针对拉伸和亮度整其学表达gx,y=幂律（伽马）变等变可高灰度值，的性变种方法可以性地增强特定灰对扩区态围图围细节区αfx,y+β，其中α控制比度，β控制亮度展低灰度域，适合处理动范大的像度范的，而不影响其他域线换图对关简单线换级层性变保持像灰度的相系，操作直常用的分段性变包括二值化、灰度分和观图当图围换过调调图线关对过计转换数，是最基本的像增强方法像灰度范伽马变通整伽马值整像明暗非性比度拉伸等通精心设函，可以实较时当对显觉为当时现图窄，适拉伸比度可著改善视效果系，公式gx,y=c•[fx,y]^γ，γ1更加灵活和精准的像增强效果细节时细节增强暗部，γ1增强亮部直方图处理直方图概念直方图均衡化直方图规定化图图图计图图调图对图规将图图像直方是像灰度分布的统形，直方均衡化是一种自动整像比度直方定化（匹配）是像的直方横轴级纵轴该级标图换为状过图表示灰度，表示具有灰度的方法，它的目是使输出像的灰度分变指定形的程它可以使像具数图图尽匀过将图图预图的像素量或概率直方反映了像的布可能均通原始像的直方有定义的灰度分布特性，或者使多幅对态围围图亮度特性、比度和动范映射到一个更广的强度范，增强像的像具有相似的灰度特性对整体比度这图图种方法在像序列处理、医学像分析图们图过积数进遥图别分析直方可以帮助我了解像的整体均衡化程使用累分布函行灰度映和感像处理中特有用，可以消除因过过对简单应续亮度情况，比如是否亮、暗或比度射，算法高效，可以自适地增强低成像条件不同造成的灰度差异，便于后问题许图软对图较现对图标不足等多像处理件都提供直比度像然而，它可能会放大噪声，比和分析实上，先源像和目图显对关应图进关方示和分析工具于某些需要保持原始亮度系的用不直方行均衡化，然后建立映射系适用空间滤波平滑滤波中值滤波锐化滤波滤图细节滤线滤锐滤图缘细节图平滑波用于减少像噪声和常用的中值波是一种非性波方法，用邻域像化波用于增强像边和，提高滤滤滤数别锐平滑波器包括均值波、高斯波等均素灰度值的中位替代中心像素它特有像的清晰度最基本的化操作是拉普拉斯滤简单盐时图过图阶导数来检测值波地取邻域像素的平均值，而高斯效地去除椒噪声，同能很好地保留像算子，它通提取像的二边滤则权缘滤缘图缘波根据与中心点的距离加平均，保留边，不会像均值波那样引入新的灰度值，然后与原像相加增强边图结更多的像构锐还滤锐常用的化方法包括高提升波和非化滤当对图进滤时滤对图细线锐锐图进平滑波相于像行低通波，同中值波像中的和尖的角点可能掩模化会放大像噪声，因此通常先导图缘滤产进滤权锐图卫图会致像边模糊波窗口越大，平滑生不良影响改的中值波包括加中行平滑处理再化在医学像和星像显图细节损滤应滤细节锐细节效果越明，但像失也越多在医值波和自适中值波，可以在保留处理中，化是增强的重要手段图摄应时学像和影后期处理中用广泛的同有效去噪频率域滤波低通滤波高通滤波图频结保留像中的低分量（整体构），去除图频缘细节频细节现图保留像中的高分量（边和），去高分量（和噪声），实像平滑效频现图锐除低分量（背景），实像化效果果频率域滤波实现带通滤波对图进换频频围内频先像行傅里叶变，然后在域乘以保留特定率范的分量，去除其他率，滤数进换结识别波器函，最后行反变得到处理果用于特征提取和模式频滤图图换对频进选择频滤滤率域波是像增强的重要方法，它基于像的傅里叶变，不同率的成分行性处理常见的率域波器包括理想波器、巴特沃滤滤们滤现杂斯波器和高斯波器，它在波效果和实复度上有所不同滤频滤问题时别针对频进换与空间域波相比，率域波在处理某些更加高效，特是周期性噪声的去除和特定率特征的提取然而，它需要行傅里叶变换计较许应综获和反变，算量大多实际用会合使用两种方法以得最佳效果图像增强实例图术领应线图对识别结图结像增强技在各个域都有广泛用在医学影像中，增强可以改善X射、CT和MRI等像的比度，使医生能更准确地病灶和异常构医学像增强通常合图应滤诊断时直方均衡化和自适波，在保持信息的同降低噪声遥图识别术遥图质环监测规档图则侧感像增强主要用于提高地物能力，常采用多尺度增强和融合技增强后的感像可用于地勘探、境和城市划等文像增强重于提高文字读档场锐术的可性，适用于古籍修复、模糊文处理等景，常使用二值化和化技第三章图像复原图像复原的概念图图过数尝试质图图数像复原是基于像退化程的学模型，重建或恢复被降的像与像增强不同，复原需要了解退化的具体原因和机制，建立合适的学模型，然后通过过图逆程恢复原始像图像退化模型图为图数扩数观测图积像退化通常表示gx,y=hx,y*fx,y+nx,y，其中f是原始像，h是退化函（点散函），n是噪声，g是到的退化像，*表示卷复原的标计目是从g估f复原面临的挑战图临战数计难滤过稳态问题这难图为图像复原面多种挑退化函可能未知或只能估；噪声以精确建模；逆波程可能不定；复原是病，解不唯一些困使得像复原成较为杂领像处理中复的域噪声模型1高斯噪声2椒盐噪声称态盐称现为高斯噪声（又加性白噪声）遵循正分椒噪声（又脉冲噪声）表随机分图现为匀盐布，在像上表均分布的随机变化布的黑点（噪声）和白点（椒噪声）传热图传储质传它通常由电子电路噪声、感器噪声等它常由像感器、存介缺陷或输错误数图现为引起，几乎存在于所有的电子成像设备中引起，在字像中表像素值的突变数为盐围高斯噪声的概率密度函pz=椒噪声的特点是噪声像素与周像素值盐1/√2πσ²•e^-z-μ²/2σ²，其中μ相差极大处理椒噪声最有效的方法是滤为是均值，σ²是方差处理高斯噪声通常使中值波，因它不会引入新的灰度值，滤滤阈图缘用均值波、高斯波或小波值处理等能很好地保留像边方法3乘性噪声图关乘性噪声（如斑点噪声）与像信号相，噪声强度与信号强度成正比它常见于相干成像数为系统，如超声波、雷达和激光成像在学上表示gx,y=fx,y•nx,y对数换将转换为滤专滤乘性噪声处理通常采用变其加性噪声后再波，或使用门的斑点噪声波滤滤这图为器如Lee波器、Kuan波器等类噪声在医学超声和SAR雷达像中尤常见图像去噪方法小波去噪阈现利用多分辨率分析和值处理实高效去噪维纳滤波误则应滤基于最小均方差准的自适波均值滤波简单的局部平均操作滤础过计权为简单滤权滤均值波是最基的去噪方法，通算像素邻域的平均值替代中心像素，有效减少高斯噪声根据重不同，可分均值波和加均值波（如高斯滤滤简单导图缘波）均值波高效，但会致像边模糊维纳滤计滤图计频应误则时图细节别波是一种统波方法，基于像和噪声的统特性，在率域中用最小均方差准它能在去除噪声的同最大限度保留像，特适合处维纳滤计谱现较为杂理运动模糊和噪声共存的情况波需要估噪声和信号的功率，实复换将图为数对这数进阈阈软阈图区小波去噪利用小波变的多分辨率特性，像分解不同尺度的系，些系行值处理（如硬值或值），然后重建像小波去噪能有效图细节缘现图分信号和噪声，保留像和边，是代像去噪的有效方法图像复原技术逆滤波约束最小二乘滤波算法Lucy-Richardson滤图约滤滤础逆波是最直接的像复原方法，基于退束最小二乘波在逆波的基上加入Lucy-Richardson算法是一种迭代复原方过频则项问题寻论计化程的域表示Gu,v=正化，减少噪声放大它求在法，基于贝叶斯理和最大似然估它过数图过Hu,vFu,v+Nu,v，通Fu,v=保真度和平滑度之间的平衡，学上可表假设像服从泊松分布，通迭代逐步改计图为进计结Gu,v/Hu,v估原始像示最小化||Hf-g||²+α||Cf||²估果滤简单观严当则数为逆波直，但存在重缺陷其中α是正化参，C通常是拉普拉斯算算法迭代公式f^k+1=f^k•[h^**时导这产轭Hu,v接近零，噪声会被极大放大，子种方法能有效抑制噪声放大，生g/h*f^k]，其中h^*是h的共结稳应结数选择关则数致复原果不定因此，实际用中通更平滑的复原果，但参α的很Lucy-Richardson算法不需要正化参，约进键导对计常需要引入束条件或使用改的方法，不同的α会致不同的复原效果初始估不敏感，能有效复原具有泊松图计较敛噪声的像，但算量大，收速度可较能慢图像复原实例运动模糊复原大气湍流退化复原压缩图像复原对摄导图观测遥图压缩别损压缩运动模糊是相机在曝光期间相于被物体发生移大气湍流致的像退化在天文、感和长距像（特是有如JPEG）会引入块效产数为线现为应应觉伪这伪压缩较动而生的模糊效果其退化函可近似性运离成像中很常见湍流造成的退化通常表随机、振铃效等视影些影在比高径匀时计数难时为显严图质续动路上的均平均复原需要估运动方向和波动和模糊，退化函以精确建模尤明，重影响像量和后处理应积维纳滤积距离，然后用去卷算法如波或盲去卷应术图复原方法包括自适光学技、短曝光像堆叠和积这术显压缩图应滤约基于斑点干涉的盲去卷等些技能著提高像的复原方法包括去块效波、小波域应摄频监远镜观测卫获图质习现压缩图术运动模糊复原广泛用于天文影、视控和手天文望和地球星取的像量，改善束和基于深度学的方法代像复原技摄领图细节伪图细节机影等域，能有效提高像清晰度随着深度分辨率能有效减少影，恢复像，在媒体修复、法习术络证应学技的发展，基于神经网的运动模糊复原方分析和医学影像中有重要用显进法取得了著展第四章图像分割图像分割的概念分割的目标将图为区识别图对为续图像划分多个具有特定意义的域，是像中的象和边界，后的像分级语级础从像素到义理解的桥梁析和理解奠定基分割的方法类别分割的挑战阈缘区传图杂标基于值、边、域和聚类的统方法，像复性、噪声干扰、光照变化和目模习现为难以及基于深度学的代方法糊性使分割成困任务图计觉关键环节将级层转为对级层应区内应像分割是算机视中的，它像素的低次表示化象的高次理解一个好的分割算法具有以下特性分割域部颜纹区应显区应具有一致性（如相似的色、理）；相邻域有著差异；域边界平滑且准确定位诊断遥识别检测识别驾驶检测领应选择分割在医学（器官和病变分割）、感分析（地物）、工业（缺陷）、自动（道路和障碍物）等域有广泛用虑图标计合适的分割算法通常需要考像特性、分割目和算效率等因素基于阈值的分割全局阈值局部阈值多阈值分割阈单阈将图为阈阈阈将图为全局值法使用一值T像分前局部值法根据像素邻域的特性确定每个多值分割使用多个值像分割多归为阈应图区区标层景和背景如果像素值大于T，一类；像素的值，能适像中不同域的亮个域，适用于包含多个目或多次灰则归为阈选择阈应杂图阈过扩否另一类最常用的全局值度变化常用的局部值方法包括自适度的复像多值可以通展Otsu过阈图来方法是Otsu算法，它通最大化类间方差值法和滑动窗口法方法或分析直方的多峰特性确定阈自动确定最佳值阈Niblack和Sauvola算法是典型的局部阈简单标们区标阈识别图组全局值法高效，适用于背景和目值方法，它根据局部域的均值和准多值分割能够像中的不同成部对显图当图匀计阈阈对匀图组遥比明的像但像存在不均光差算值局部值法不均光照和分，如医学像中的不同织类型或感杂时单阈获渐应计较图别阈数照或背景复，一值往往无法得变背景有良好的适性，但算量大，像中的不同地物类但值量的确结数结阈计较为杂良好的分割果且参设置可能影响果定和多个值的优化算复基于边缘的分割Sobel算子阶积别计Sobel算子是一种经典的一梯度算子，使用两个3×3卷核分算水平和垂直方向的梯度，然后合成总梯度幅值和方向Sobel算子对现简单缘噪声有一定抑制能力，实，但边定位精度有限Canny边缘检测缘检测缘检测滤计阈链Canny边是性能最优的边算法之一，包括高斯波、梯度算、非极大值抑制和双值接四骤产单宽连续缘对较鲁数较为杂个步它能生像素的边，噪声具有强的棒性，但参设置复轮廓跟踪缘检测结为础将缘连闭线轮廓跟踪以边果基，离散的边点接成合的轮廓常用算链码获法包括跟踪和主动轮廓模型（蛇算法）轮廓跟踪能得物体的完整边界，续状标识别便于后的形分析和目缘图颜纹连续来这计对状产基于边的分割方法利用像中灰度、色或理的不性定位物体边界类方法算效率高，物体形敏感，能精确定位物体边界但在噪声干扰下容易生虚缘缘断骤连断缘闭假边或边裂，需要后处理步接裂边和形成合轮廓应缘检测为图预骤为续状识别标维础缘检测习缘检测当在实际用中，边通常作像分析的处理步，后的形、目跟踪和三重建等任务提供基多尺度边和深度学边是前研究的热缘点方向，能提供更准确的边定位和更完整的轮廓信息基于区域的分割区域生长分裂合并区组开将结顶域生长从一种子像素始，逐步分裂合并方法合了自向下和自底向上区标将图为区邻近的相似像素合并到域中相似性的策略首先整个像视一个域，颜纹阈区匀则为区检准可基于灰度、色、理等特征，值如果域不均分裂子域；然后过区连区区满则控制生长程域生长能形成通域，查相邻域，如果足合并条件合并对鲁选择这杂图计杂噪声有一定棒性，但种子点和相种方法能处理复像，但算复度对结较结赖标似性度量果影响大高，果依于分裂和合并准分水岭算法将图为过没过开分水岭算法像视地形表面，灰度值代表高度通模拟淹程，从局部最小值当时线产闭连续始注水，不同水域相遇形成分水岭，即分割边界分水岭算法能生合的边界，过标记骤但容易分割，通常需要控制或后处理步区关连连续缘检测们产基于域的分割方法注像素的相似性和通性，而不是不性与边相比，它通常能连贯结对纹应这图遥图生更的分割果，噪声和理变化有更好的适性类方法在医学像分割、感像处理频应和视物体分割中用广泛现区结术缘导区标记图代域分割方法常合多种技，如边信息引的域生长、控制的分水岭算法等形切论图领图割理也被引入像分割域，如基于的分割方法（Graph Cuts）和随机游走算法，能在全局优现质化框架下实高量分割基于聚类的分割聚类模糊均值谱聚类K-means C将扩许谱图论线数将维数K-means是最基本的聚类算法，像素特模糊C均值FCM是K-means的展，允聚类利用和性代高据映射为别执为维进图征空间划分K个类算法迭代行两个像素以不同程度属于多个聚类FCM每个到低空间行分割它首先构建模型表骤将计关计阵步每个像素分配到最近的聚类中心；像素与每个聚类中心算隶属度，然后更新示像素系，算拉普拉斯矩的特征向量，为该虑权应谱更新每个聚类的中心类所有像素的平均聚类中心，考每个像素的隶属度重然后在特征空间用K-means聚类能现简单计渐区计杂结状计值K-means实，算效率高，但FCM能处理模糊边界和变域，但算量处理复构，不受聚类形限制，但算预数对较对杂难规图需先指定聚类量K，且初始中心敏感大，噪声敏感复度高，以处理大模像图像分割实例图术领应图脑组肿辅诊断术规关键脑图区质质脑像分割技在各个域有广泛用在医学像分析中，准确分割织、瘤和器官是助和手划的例如，MRI像分割可分灰、白和脊液，脑结现图态数习术帮助神经科医生分析构变化代医学像分割融合多模据和深度学技，大幅提高了分割精度遥图规环监测过卫图识别区标检测则应监驾感像分割用于土地覆盖分类、城市划和境通分割星或航拍像，可不同地表类型如水体、植被和建筑目分割用于智能控和自动驶识别场辆这应时结当计觉，帮助系统和定位景中的人、车和其他物体些用通常需要实处理能力和高精度分割果，是前算机视研究的重点方向第五章图像压缩图像压缩的必要性压缩原理压缩图数储传图压缩计觉未的像据量巨大，存和输成本像基于两类冗余统冗余和视冗张计图数计关高昂例如，一4K分辨率3840×2160余统冗余指像据中的统相性，图约储觉则的24位真彩色像需要24MB存空间，如相邻像素的相似性；视冗余基于人眼频则带宽储对觉而一部4K视需要更大的和存某些视信息不敏感的特性编码编码•冗余优化方式储储关•降低存成本，提高存效率•空间冗余利用像素间相性传带宽传觉觉•减少输需求，加快输速度•视冗余去除视系统不敏感信息满时络传识验识•足实处理和网输需求•知冗余利用先知压缩性能指标评图压缩虑压缩图质计杂估像算法性能通常考比、像量和算复度三个方面，需在三者间找到平衡点压缩数压缩•比原始据大小/后大小质评结•量价峰值信噪比PSNR、构相似度SSIM计杂压缩压缩时资•算复度和解的间与源消耗无损压缩技术游程编码霍夫曼编码算术编码编码简单损压缩编码数现频术编码将数编码为区游程RLE是最的无方法，霍夫曼基于据元素出率分配变算整个据序列一个间将连续数计数对编码频码频内单数将数给单它重复的据元素用+值长，率高的元素用短，率低的的个实，避免整位分配个码编码树节态区表示例如，序列AAAABBBCCDAA可用长算法构建一棵，从叶点符号的限制它根据符号概率动划分压缩为节径编码论4A3B2C1D2A到根点的路确定每个元素的间，理上能更接近熵极限编码术编码现相比霍夫曼，算在处理出概编码对内图编码缀码编码时别对游程包含大量重复容的像（如霍夫曼是最优前，确保一个率小于

0.5的符号更有效，特是自图压缩对缀码应压缩标二值像、卡通等）效果好，但自不会是另一个的前，便于解它广泛适模型JPEG2000等新一代准图图术编码编码术编码然像效果有限BMP和PCX等格式使用用于各种像格式如JPEG、PNG中霍采用算替代霍夫曼算编码现简单压编码压缩赖数计计杂较现较游程其优点是实，解快速；夫曼的效率依于据的统特的主要缺点是算复度高，实复压缩对数杂缺点是率通常不高性，分布不均的据效果更好有损压缩技术变换编码换编码将图转换频数变像从空间域到另一个域（如率域），使能量集中于少量系，便于量化和编码换换换常用变包括离散余弦变DCT和离散小波变DWT标将图进换频则进DCT是JPEG准的核心，像分块后行变，能有效集中低能量DWT行多分辨渐进传础换编码获较压缩时率分析，支持输，是JPEG2000的基变能够得高的比，同保持良图质好的像量预测编码预测编码图关编码预测当仅编码预测误预利用像像素间的相性，用已像素前像素，差典型的测编码编码调偿预测频压缩方法包括差分脉冲制DPCM和运动补用于视预测编码计简单内时应为压缩术骤算，存需求低，适合实用它通常作其他技的前处理步，如数预测帧内预测预测压缩JPEG中的DC系和HEVC中的模型的准确性直接影响效率小波压缩压缩换将图为带小波基于离散小波变，提供多分辨率分析能力它像分解一系列不同尺度的子，级别细节对带数进编码捕捉不同的信息，然后子系行量化和压缩势缘应压缩渐进传小波优在于更好的边保持能力，支持无块效的高比，以及自然的输特性纹标压缩压缩计杂较JPEG2000和WSQFBI指准都采用小波小波的主要缺点是算复度高压缩标准JPEGJPEG压缩原理图压缩标静态图对频细节JPEG是最广泛使用的像准之一，适用于自然像它基于人眼高不敏感过弃觉频现压缩的特性，通丢人眼不易察的高信息实高效颜转换图为JPEG的基本处理流程包括色空间RGB到YCbCr、像分块通常8×

8、离散余弦换编码编码压缩过则简单过变、量化、熵解程相反，是一个快速的程DCT变换换术将图转换为频数离散余弦变DCT是JPEG的核心技，它空间域的像块率域的系DCT具数图数频数有良好的能量集中特性，使大多像能量集中在少低系上数称为数数称为数在8×8的块中，左上角系0,0DC系，代表块的平均值；其余63个系AC系，频数较数数频数代表不同率方向的变化DC系通常大且重要，而大多AC系，尤其是高系，往往接近零量化和编码损关键骤将数应量化是JPEG中引入有的步，使用量化表DCT系除以相的量化值，然后取计频频对频整量化表设使高成分量化步长大，低成分量化步长小，反映人眼不同率的敏感度数为别频数扫顺将维数量化后，大量系变零，特是高系JPEG采用之字形描序，二系为维编码连续编码术编码进编序列化一，然后用游程处理的零，最后用霍夫曼或算行熵码现进压缩，实一步标准JPEG2000小波变换换对图进应换将图为细节带JPEG2000采用离散小波变DWT替代DCT，提供多分辨率分析能力与基于块的DCT不同，DWT整个像行处理，避免了块效小波变像分解不同尺度的近似和子，能图缘更好地表示像中的局部特征和边嵌入式编码编码断对数进编码码渐进传码内进编码对JPEG2000采用嵌入式块与最优截EBCOT算法，小波系行位平面它生成一个嵌入式比特流，支持精确的率控制和输EBCOT先在代块行，然后多个码进组现质层扩代块行优化织，实不同量次间的可展性分层传输势扩质扩渐进进扩渐进细扩区组扩选择码颜这单JPEG2000的主要优之一是支持多种可展性量可展（精度改）、分辨率可展（化）、空间可展（感兴趣域）和件可展（性解色通道）使得个应带宽JPEG2000文件能适不同设备和条件传压缩图质没显应损损压缩别图卫图数与统JPEG相比，JPEG2000在高比下提供更好的像量，有明的块效，并支持无和有两种模式它特适合处理大幅像，如星像、医学影像和字电影虽术进计杂专应没应专领数档然JPEG2000技先，但由于算复度高、利限制和已有格式的广泛用，它有完全替代JPEG目前JPEG2000主要用于业域，如医学影像DICOM、字电影DCI、案保存和印应刷出版等高端用图像压缩实例85%网络图像压缩率压缩术载时网站和社交媒体使用高效技减少加间10:1医学图像压缩比诊断质压缩保持量的最高可接受比95%视频存储节省现频编码频节储代视比原始视省的存空间40%全球网络流量压缩图频络带宽像和视占据的网比例络图压缩应为载时带宽内选择当压缩内网像是最常见的用，减少页面加间和消耗，网站通常使用JPEG、PNG和WebP等格式，根据容类型适的方法例如，照片类图标图则获压缩容使用JPEG，和文本像使用PNG，新一代网站采用WebP得更好的效率图压缩诊断质标损压缩严损压缩关键诊断维图医学像需要在文件大小和量间平衡DICOM准支持无和格控制的有，确保不丢失信息放射影像、病理切片和三医学像专压缩频压缩则进编码时现压缩频传储都需要门的策略而视采用H.264/AVC和H.265/HEVC等先，利用间冗余实更高比，支持高清视的流媒体输和存第六章形态学图像处理数学形态学基础结构元素论论线图测图结状基于集合和格理的非性像处理方法用于探和处理像构的形模板灰度形态学4二值形态学扩图态术图态展到灰度像的形学技处理二值像的基本形学操作数态质结论图关图学形学最初由Georges Matheron和Jean Serra于1960年代提出，用于分析多孔介的几何构它是一种基于集合的像处理方法，注像的形状结态称为结测图执胀蚀开闭和构，而非像素的具体灰度值形学处理使用构元素的小型模板探像，行类似膨、腐、运算等基本操作态势图状连问题对鲁赖频论形学方法的优在于直接处理像的几何特性，能有效处理形、通性、骨架提取等它噪声具有一定的棒性，不依于傅里叶分析等域理态术应图预缘检测纹状识别领图组形学技广泛用于像处理、边、分割、理分析和形等域，是像处理工具箱中不可或缺的成部分基本形态学操作膨胀腐蚀胀态为蚀胀对为标图膨是最基本的形学操作之一，定义腐是膨的偶操作，定义目像标图结闵结闵蚀目像与构元素的可夫斯基加直与构元素的可夫斯基减腐使物体观说胀缩图当结地，膨使物体生长或变厚在收或变薄在二值像中，构图胀将结区内时蚀二值像中，膨构元素的原点放在元素完全包含在前景域，腐保留将结则将为每个前景像素上，并构元素覆盖的所前景像素；否其变背景为蚀连有背景像素变前景腐可用于去除小物体，分离接物体，胀缝连断开积蚀数为膨可用于填充小洞和隙，接的减小物体面腐的学表达A⊖B积胀数将物体部分，增大物体面膨的学表={z|Bz⊆A}，其中Bz表示B平移到点为̂蚀胀杂态达A⊕B={z|Bz∩A≠∅}，其中z腐和膨通常是其他复形学操图结̂础A是输入像，B是构元素，B是B的反作的基射开运算和闭运算开蚀胀为∘断开连运算是腐后再膨，定义A B=A⊖B⊕B它平滑物体轮廓，窄的接，去除时状开别图小的突出部分，同保持整体形和大小基本不变运算特适合去除像中的小噪点，保留主要物体闭胀蚀为开运算是膨后再腐，定义A•B=A⊕B⊖B它也平滑轮廓，但与运算相反，它填缝连闭内充小孔和窄，接靠近的物体运算用于填充物体部的小洞和轮廓间隙，形成更加完整区的域灰度形态学灰度膨胀和腐蚀灰度开闭运算形态学梯度态将态扩开蚀胀态胀图蚀图灰度形学二值形学的概念展到灰灰度运算是腐后膨，可用于去除亮形学梯度是膨像与腐像的差，图胀结细节∘为度像在灰度膨中，构元素下的每，保持整体灰度和大型亮特征f b定义gradf=f⊕b-f⊖b它突该内数断图剧区缘个像素被邻域的最大值替代，学表=f⊖b⊕b它能平滑亮物体的轮廓，出像中灰度变化烈的域，如边和为开细连图纹过区态对达f⊕bx,y=max{fx-s,y-的接，去除小的亮点，在像去噪理渡形学梯度噪声敏感但能图结缘t+bs,t}，其中f是像，b是构元素和背景均衡化中很有用提供良好的边定位闭胀蚀态内图灰度运算是膨后腐，可用于去除暗形学梯度的变体包括梯度（原与腐蚀则细节蚀胀图灰度腐用最小值操作替代最大值，保持整体灰度和大型暗特征f•b的差）和外梯度（膨与原的差）缝连内调调f⊖bx,y=min{fx+s,y+t-bs,t}灰=f⊕b⊖b它能填充暗裂和小洞，梯度强暗物体的边界，外梯度强亮胀图区蚀闭态缘检测度膨增亮像，增强亮域；灰度腐接靠近的暗物体，用于合轮廓缺口和均物体的边界形学梯度是边和分则图区这区预骤使像变暗，减小亮域些基本操衡化前景域水岭分割的重要处理步态础作是灰度形学分析的基形态学应用高级形态学应用状识别形分析和模式中级形态学应用2图像分割和骨架提取基础形态学应用缘检测噪声去除和边态图应础层图预态过开闭盐传滤缘形学在像处理中有广泛用在基面，它用于像处理和增强形学噪声去除通运算去除椒噪声，比统波方法更好地保留边和形状态缘检测胀蚀闭连续缘特征形学边利用膨和腐的差异突出物体边界，能提供合且的边级应换态术别过连续蚀获轴线状在中用中，分水岭变是一种基于形学的强大分割技，特适合分离接触物体骨架提取通腐得物体的中，保留拓扑和形信息，状级应态状颗测连状计杂状识别用于形表示和匹配在高用中，形学提供了丰富的形描述算子，如粒量、通分量分析和形因子算，支持复的形分析和模式任务态势论简单杂应坚数础这术觉检测图档形学方法的一个主要优是其理的完整性和一致性，从操作到复用都有实的学基，使得些技在工业视、医学像分析、文处遥图释领挥理和感像解等域发重要作用形态学滤波器顶帽变换底帽变换形态学重构顶换图开结换图闭图态标记图换过帽变Top-hat是原始像与其运算果的差底帽变Bottom-hat是像运算与原始像的差形学重构是一种基于像的变，通迭代膨∘结细节结细节胀约码图内稳状态Ttopf=f-f b它提取比构元素小的亮，Tbotf=f•b-f它提取比构元素小的暗，束在掩像，直到达到定它保留了时缓顶换别检测图缝检标记状标记区同去除慢变化的背景帽变特适合从非均常用于像中的暗斑点、裂或空洞在工业物体的形特征，去除了不包含的域重匀档检测测换识别产为标记区背景中分离小亮物体，如提取文中的文字、中，底帽变可用于品表面的凹陷缺陷构可视智能填充，只填充被的域细血胞等当时顶换为预骤顶换结过态应区背景亮度变化不均，帽变可作处理步，帽和底帽变常合使用，通f+Ttopf-Tbotf形学重构广泛用于物体提取、域填充和分水岭现对顶换时细节细节对标记时实背景校正和比度增强帽变的效果取决于同增强亮和暗，提高局部比度在医学分割生成它能去除噪声同保留完整物体，是选结状选择标图这组显细结杂图开闭标所构元素的大小和形，通常比目特征稍像和材料分析中，种合可著改善微构的处理复像的强大工具基于重构的运算比结开闭状大的构元素可见性准运算能更好地保留物体形形态学处理实例态术图应过组开闭顶换阈匀对历损档态断形学技在文字像处理中用广泛通合运算、帽变和值化，可有效分离不均背景上的文字史文献和坏文，形学重构能修复裂字符，识别纹识别态线线断线伪纹提高OCR率在指系统中，形学操作用于增强脊和谷，填充裂脊，去除噪声和，从而提高特征提取和匹配的准确性图态应领细组图态计数测细态过态测络结医学像分析是形学的另一重要用域在胞和织像中，形学分割可和量胞，分析其形特征通骨架提取和形学量，可量化血管网构，辅诊断态滤图质结数态组检测级挥来助血管疾病形学波器能改善X光和CT像量，增强感兴趣构的可见性随着字病理学的发展，基于形学的织分析算法在癌症和分中发越越重要的作用第七章图像特征提取特征提取的意义图像特征的要求将维图数转换为紧区对换鲁计紧高像据凑有效的特征表示分性强、变棒、算高效、表达凑特征提取流程特征分类预检测选择维颜纹关键缘处理、特征、特征描述、特征/降全局特征色、理与局部特征点、边将图转换为数过计觉关键环节数维图质为续识别础特征提取是原始像值特征集的程，是算机视系统的有效的特征提取能降低据度，突出像的本特性，后的和分类提供基图应区区别鲁对计好的像特征具备分性（能分不同类）、棒性（噪声、光照、视角等变化不敏感）和算效率围图为图计颜图纹计计简单对挡根据表示范，像特征可分全局特征和局部特征全局特征描述整个像的统特性，如色直方、理统量等，算但遮和背景变化敏感局部特征图区对挡较鲁应结获图描述像局部域或特定点的特性，如SIFT、SURF等特征点描述符，部分遮和变形具有好的棒性在实际用中，通常合多种特征以得更全面的像表示颜色特征颜色直方图颜色矩颜色相关图颜图颜计图颜颜计颜图颜关图虑关色直方是最基本的色特征，统像中色矩是色分布的统矩，比色直方更色相考了像素间的空间系，克服了颜现频简单紧阶阶阶图计各色分量出的率分布它实用，不凑一般使用低矩（一均值、二方差、直方缺乏空间信息的缺点它统特定距离图转缩阶维对对颜关纹受像旋和放影响，但不包含空间信息，三偏度），度低且量化不敏感，适合快和方向上像素的色系，能更好地表示图图检结不同空间分布的像可能有相似直方速索理和空间构图计图颜阶颜调关内关•全局直方统整个像的色分布•一矩色平均值，表示主要色•自相同一通道像素的空间相性图计图颜阶颜关关•局部直方统像分块的色分布•二矩色方差，表示色彩分散程度•互相不同通道间像素的空间相性积图颜阶颜颜对颜阵计颜对•累直方每个色分量=某值的像素•三矩色偏度，表示色分布的不•色同生矩统特定距离上色的数称现频量性共率纹理特征统计方法结构方法模型方法计计纹结将纹为纹纹纹数统方法以像素强度的统特性描述理，构方法理视由理元素（原子模型方法假设理由特定的学模型生成，纹规则结阶规则结这过计数来纹这不假设理的构最基本的一统理）按特定排列形成的构类方通估模型参表征理些方法计规则纹纹紧纹特征包括均值、方差、偏度和峰度等，法适合描述高度的理，如织物和某能提供理的凑表示，适合理合成和虑关描述灰度分布但不考空间系些人造表面分析结识别纹纹场构方法首先理元素，然后分析它常用的理模型包括马尔可夫随机阶计阵们状规则术归二统特征基于灰度共生矩GLCM，的形特征和空间排列常用技MRF、分形模型和自回模型等MRF计对关态缘计赖关统特定距离和方向上像素的灰度系包括形学分析、边密度和方向分析、描述像素与邻域的统依系；分形模对质镶结检测维数纹杂从GLCM可提取能量、比度、熵、同Voronoi嵌等构方法在工业和型用分形表征理的复度和自相似细纹规则纹归将为性等Haralick特征，有效描述粒度理材料分析中很有用，能有效表征理性；自回模型像素值表示邻域像素计纹线组频谱换局部二值模式LBP也是流行的统理的缺陷和变异的性合方法如傅里叶变和计简单对鲁滤为们频特征，算且光照变化棒Gabor波也被视模型方法，它在纹域分析理的周期性和方向性形状特征边界特征区域特征区虑区边界特征描述物体轮廓的特性，适合域特征考物体的整个域，而不状识别简单仅区积形和匹配最的边界特征是边界基本的域特征包括面、赖积积是周长，但它依于尺度周长与面周长面比、凸包面比（凸性）和积圆径轴状的比值（形度）和周长与直的主长度比（伸长度）等形因子规则则圆比值（不度）提供了尺度不变如形度、矩形度和密集度能描述形状将状圆标状的形度量傅里叶描述子轮廓表与形、矩形等准几何形的相为级数数过轴换示傅里叶的系，能捕捉轮廓似程度骨架特征通中变（骨细节归为获的全局和局部，且易于一化架提取）得，保留拓扑信息，适合转缩结连旋、放和平移不变形式分析分支构和通性不变矩对换转缩状图不变矩是一类几何变（旋、放和平移）不敏感的形描述符Hu矩是基于计状识别项像矩算的七个不变量，广泛用于形Zernike矩基于Zernike多式，提供更状别对杂状计简单紧状强大的形描述能力，特是于复形不变矩算，提供凑的形表示，状数库检们对对结适合形分类和据索它噪声和微小形变相敏感，通常与其他特征合使用局部特征SIFT特征换检测转尺度不变特征变SIFT是最经典的局部特征之一，由David Lowe于1999年提出SIFT具有尺度和旋不变关键为计图对转性的点，并每个点算方向梯度直方描述符SIFT特征尺度变化、旋、光照变化和视角变化具有良好鲁应图标识别的棒性，广泛用于像匹配、拼接和目检测关键赋骤维SIFT算法包括尺度空间极值、点定位、方向值和特征描述四个主要步每个SIFT描述符是128向量，计杂较时应尽为计觉算复度高，不适合实用管如此，SIFT的出色性能使其成算机视中的重要基准SURF特征稳过积图滤滤计加速健特征SURF是SIFT的快速近似版本，通分像和盒式波器近似高斯波器加速算SURF使用阵检测应维紧计显Hessian矩行列式兴趣点，采用Haar小波响构建描述符64的SURF描述符比SIFT更凑，算速度著提高转时计时应现标SURF保持了类似SIFT的尺度和旋不变性，同具有更好的算效率，适合需要实性能的用如增强实和目严稳专跟踪然而，在极端视角变化和重变形情况下，SURF的性能可能不如SIFT定SURF算法的一些变体和利限开制促使研究者发更自由的替代方案ORB特征转简报结检测进计面向FAST和旋ORB特征合了FAST角点器和改的BRIEF描述符，旨在提供算效率高且性能良好的计时应选择计资特征ORB特征算速度极快，是实用的理想，尤其适合算源有限的移动设备和嵌入式系统检测过应筛选计ORB使用修改的FAST算法角点，通Harris角点响最强特征，然后算特征点的主方向ORB描述符是进进转进二制字符串，基于改的BRIEF采样模式，支持旋不变性二制描述符使用汉明距离匹配，比浮点描述符更快计质专开软ORB在算效率和特征量之间取得了良好平衡，且不受利限制，在源件如OpenCV中广泛使用深度学习特征CNN特征迁移学习积络习级级习规数卷神经网CNN自动学从低到高的分迁移学利用在大模据（如ImageNet）上层计层积层预训练将识转特征表示，无需手工设低卷提取边的CNN模型，学到的特征知移到新缘纹层杂这别训练数场和理等基本特征，中捕捉复模式和部件，任务种方法特适合据有限的景，层则语别开训练高表示义概念和物体类避免从零始预训练冻结预训练络仅训练•CNN如VGG、ResNet通常用作特征•特征提取网，新的分提取器类器连层图调标数调预训练络•全接之前的特征映射常用作全局像描•微在目据集上整网的部数述符分或全部参传规领应标•CNN特征超越统特征的性能，尤其在大•域适减少源域与目域之间的特征分数模据集上布差异自监督特征学习监习标签过预测数习这标记数自督学无需人工，通构造任务从据本身学有用特征些方法能利用大量未对标数赖据，减少注据的依对习图•比学最大化同一像不同增强版本的特征相似性码图预测图区•掩像建模被掩盖的像域或特征编码将图压缩习紧•自器像到潜在空间再重建，学凑表示特征提取应用图像检索目标识别人脸识别内图检觉标识别过来识别图脸识别检测脸进识基于容的像索CBIR系统使用视特征而非文目系统通提取和分析特征像中的物体人系统首先人，然后提取面部特征行标签图图颜别传结别关键本查找相似像系统提取查询像的特征（如类统方法使用特征提取（如SIFT、HOG）合早期系统使用特征几何（眼睛、鼻子等点位置）图纹状习现则观脸现习色直方、理和形描述符），然后在特征空间中搜机器学分类器（如SVM、随机森林）代方法或外特征（特征、LBP）代系统采用深度学现习习积络习维脸脸过计索最近邻代CBIR系统通常使用深度学特征和高采用端到端深度学模型，如卷神经网，自动学模型提取高人特征向量（人嵌入），通算嵌结级图库进效索引构，可处理百万像特征和分类器入向量间的距离行匹配觉标识别监驾驶觉现脸识别验证访问CBIR系统在电子商务（视商品搜索）、医学影像目在安防控、自动、机器人视和增强人在身份、控制、照片管理和社交媒体检识产权权内检应关战应脸识别龄（类似病例索）、知保护（重复或侵容实等用中至重要挑包括视角变化、光照条件、中用广泛准确的人需要处理表情、年、姿测领应选择挡态战）等域有广泛用特征和相似性度量是影响部分遮和背景干扰等多尺度特征提取和注意力机制和光照变化等挑最新研究focus在公平性（不同检关键术识别鲁隐索性能的因素等技有助于提高棒性人口群体的性能一致性）和私保护等方面第八章图像识别与分类图像识别的概念图识别识别图场过计觉骤识别像是像中存在的物体、人、动作或景的程它是算机视的核心任务之一，涉及特征提取和分类两个主要步针对图识别图可以是整个像的分类，也可以是定位和像中的多个物体识别处理流程图识别图预归区别觉典型的像流程包括像处理（如一化、增强）、特征提取（提取分不同类的视特征）、特征选择维杂将别标签现习将这骤单/降（减少复性）和分类（特征映射到类）代深度学方法通常些步集成在一模型中识别的挑战图识别临战挡3像面多种挑，包括视角变化、光照条件、遮、形变、背景干扰和类内这观变化等些因素使得同一物体的外可能有很大差异，而不同物体可能看起来鲁识别对这相似棒的系统需要些变化具有不变性图图识别标将图预别为识别别像分类是像中最基本的任务，目是整个像分配到定义的类中根据任务特点，分类可分二分类（如是否含有特定物体）和多分类（多个类）单标签图仅别标签图时别另一种分类方式是分类（每个像属于一个类）和多分类（一个像可同属于多个类）习术图识别领过数现计这进现图识别应随着深度学技的发展，像的性能已在某些域超人类水平大型据集如ImageNet的出和GPU算能力的提升加速了一步代像系统广泛驾驶诊断监识别领为应用于自动、医学、安防控、商品等域，成人工智能最成功的用之一传统机器学习方法近邻算法支持向量机决策树和随机森林K简单寻树过断K近邻KNN是最的分类算法之一，支持向量机SVM找最大边界超平面分决策通一系列条件判构建分类模型，应该别别对线问题内节测试节基于相似的样本属于相同的类原隔不同类的样本于非性可分，每个部点代表一个特征，叶点则给测试过将数维别标签树定样本，KNN在特征空间中找SVM通核技巧据映射到高空间，代表类随机森林是多棵决策的训练过数线数线树数到K个最近的样本，通多投票确使其性可分常用的核函包括性核、集成，每棵在随机抽样的据子集和特别项径数训练终过数预定类多式核和向基函RBF核征子集上，最通多投票合并测现简单训练过KNN的优点是实，无需程，对线问题计杂习现对过释非性有效；缺点是算复度高，SVM在小样本学中表出色，拟合随机森林易于解，能处理混合类型特征，对缩维难维图对鲁特征放敏感，容易受度灾影响有良好控制，支持高特征在像分类噪声和离群值棒，且提供特征重要性图维术评图在像分类中，KNN通常与降技和有中，SVM常与手工特征（如SIFT、HOG）估在像分类中，随机森林常用于分结结结计杂数纹颜图效索引构合使用，以提高效率合使用缺点包括算复度高、参类理特征、色直方或局部特征的统调难计优困，以及原生不支持多分类（需使聚合其主要限制是模型尺寸可能很大，对对训练树数计贵用一一或一多策略）且深在大据集上算昂深度学习方法卷积神经网络积络图导别数组卷神经网CNN是像分类的主方法，其架构特适合处理具有网格拓扑的据CNN的核心积层层维连层综进件是卷（提取局部特征）、池化（减少空间度）和全接（合特征行分类）过权层习数数CNN通重共享和次特征学大幅减少参量基准架构如AlexNet、VGGNet和战赛证习规图GoogLeNet/Inception使CNN在ImageNet挑中取得突破，明了深度学在大模像分类中的图习开优越性CNN在像分类中的成功推动了深度学革命的始残差网络残络过连络问题训练差网ResNet通引入跳跃接（身份映射）解决了深度网的梯度消失，使非常深的络为习对残习简过网成可能ResNet块学相于输入的差，而不是直接学期望的输出，化了优化程习时现证对关ResNet架构在深度学代实了里程碑式的突破，明了深度确实分类性能至重要ResNet计觉残连为及其变体（如ResNeXt、DenseNet）在算机视任务中仍被广泛使用差接的思想已成几现络组乎所有代深度神经网的基本件注意力机制许关图觉选择关注意力机制允模型注像的重要部分，类似于人类视系统的性注在CNN中，通道注意力（如SENet）和空间注意力（如deformable convolution）增强了模型的表示能力，提高了分类准确率将计觉将图Transformer架构自注意力机制引入算机视，Vision TransformerViT像分成固定将为当赖关大小的补丁，其视序列处理，取得了与CNN相或更好的性能ViT更好地捕捉长距离依数则结当热系，但需要更多据或更强的正化合CNN和Transformer的混合模型是前研究点图像识别应用图识别术领应写识别编码拣档数办现结环像技在众多域有广泛用手字符（OCR）用于邮政自动分、支票处理和文字化，帮助提高公效率代OCR系统合CNN和循神经网络语标识别驾驶级驾驶辅关键组辆识别导驾驶，能够处理不同字体、风格和言的文字交通志是自动和高助系统（ADAS）的件，帮助车限速、警告和向信息，提高安全识别应习状纹爱识别进图识别辅植物用使用深度学模型分析叶片形、花朵特征和理模式，帮助普通用户、园艺好者和生物学家植物种类，促生物多样性研究和教育医学像扫图检测肿领脸识别过时频识别员应监执助医生分析X光片、CT描和病理像，瘤、骨折和其他异常安防域的人系统通实分析视流人身份，用于门禁控制、安全控和法律行这应图识别术们环所有些用展示了像技如何改变我与境互动和工作的方式第九章图像配准配准的应用场景图态医学像融合不同模成像（CT/MRI/PET）监测进术计导提供互补信息，疾病展，手划和航遥卫图检测图感星像拼接，变化，地更新，多图像配准的概念时相分析图将图对标计觉维计图创像配准是两幅或多幅像齐到同一坐系算机视三重建，运动估，全景像过换图现的程它找到一个空间变，使一幅像（移建，增强实图图图对应结动像）与另一幅像（参考像）的构遥计觉配准的挑战重叠配准在医学成像、感、算机视和增现领关强实等域至重要态图觉不同模的像（如CT与MRI）具有不同的视3特征图获过像取程中的几何和光度扭曲杂刚维换复的非性变形需要高变模型时应对计实用算效率的高要求配准方法分类基于特征的配准基于区域的配准基于深度学习的配准图显区习络习图基于特征的方法首先从像中提取著特基于域的方法直接使用像素强度值，通深度学方法利用神经网直接学像线寻过关换计征（如点、、轮廓），然后找特征间最大化相似性度量（如互相、互信息）间的变或相似性度量，无需人工设特对应关计换数这换数这这来的系，最后估变参类方优化变参类方法不需要特征提取，征或度量类方法近年发展迅速，在计对对纹传法算效率高，初始齐不敏感，适合利用所有像素信息，适合处理理丰富但速度和准确性上超越了统方法显图显图处理具有明特征的像缺乏明特征的像归换数常用的特征包括角点（Harris、FAST）、常用的相似性度量包括均方差MSE、互典型架构包括CNN回变参的直接方关归习不变特征描述符（SIFT、SURF）和几何相CC、互信息MI和一化互信息法，基于特征学的间接方法，和端到端线过换络这特征（轮廓、段）特征匹配通常采用NMI优化程通常采用梯度下降、的可微分空间变网些方法通常需结鲁计区标数训练监最近邻搜索合RANSAC等棒估方法Powell方法或演化算法基于域的方法要大量注据，但也有一些自督误对对较计杂较习轻标习剔除匹配基于特征的方法在处理大变初始齐敏感，算复度高，但学框架减了注需求深度学方法图时现对图态现别杂场态现形和部分重叠的像表良好，但特在医学像多模配准中表出色，特在复景和跨模配准中表优异，但赖时释进征提取的依性强是使用互信息度量泛化能力和可解性仍需改配准变换模型非刚性变换许软组允局部扭曲和形变，适合织和流体投影变换线质保持直性，适合视角变化仿射变换3许转缩允旋、放、平移和剪切，保持平行性刚体变换仅许转状允旋和平移，保持形和大小刚换称为欧换状许转刚脑刚换体变（也几里德变）保持物体的形和大小，只允旋和平移，有6个自由度（3D）或3个自由度（2D）它适用于性物体成像，如骨骼CT、部MRI等体变可为阵转阵组表示矩形式，使用旋矩和平移向量合换转还许缩线换线仿射变除了旋和平移外，允放和剪切，有12个自由度（3D）或6个自由度（2D）它保持的平行性，但不保持角度和距离仿射变适用于校正成像系统的性畸变，如卫图换单应线换线质星像的几何校正投影变（性）是更一般的性变，有8个自由度，保持直性但不保持平行性，适合处理透视投影刚换弹计刚数数非性变处理局部扭曲和形变，包括多种模型样条模型（如薄板样条、B样条）、物理模型（如性体、流体）和统模型（如主成分分析）非性配准通常有百至千个自由计杂软组结选择换应场度，算复但能精确描述织变形、器官运动和解剖构个体差异合适的变模型取决于实际用景和期望的变形自由度配准评价指标均方误差互信息误简单评标计论测图均方差MSE是最的价指，算配互信息MI源自信息，量两幅像灰度分对应计赖线关准后像素灰度值差异的平方和的平均值布的统依性MI不假设灰度值的性系，对单态图缘MSE值越小表示配准效果越好于模而是考察灰度值的联合分布与边分布的差异，评标别态图评像配准，MSE是有效的价指，但不适用于使其特适合多模像配准价MI值越大态图为多模像，因不同成像方式的灰度值可能表示配准效果越好质有本差异归过图一化互信息NMI通除以像熵的和减少归对区标对MSE的变体包括一化均方差NMSE和峰值重叠域大小的敏感性互信息指噪声计简单对鲁产信噪比PSNRMSE的算高效，但有一定棒性，能有效处理不同成像设备生对误虑觉图计较为杂局部齐差不敏感，且不考人类视感知的像然而，MI算复，且可能存在应为标难态图的特性在实际用中，MSE常作优化目局部极值，增加优化度MI是医学多模数评标标函和初步价指像配准中最广泛使用的指相关系数关数图线关围关相系CC度量两幅像灰度值的性相程度，范在[-1,1]之间，值越接近1表示正相性越强，归关对线缩场配准效果越好一化互相NCC灰度值的性放不敏感，常用于光照条件变化的景关数计简单对鲁单态图评线相系算，噪声有一定棒性，适合模像配准价然而，CC假设灰度值具有性关态图践计为单态系，不适合多模像在实中，CC常用于模板匹配、运动估等特定配准任务，或作模标数配准的目函图像配准应用医学图像融合遥感图像拼接计算机视觉中的姿态估计图将态图遥图将卫图组态计过图维医学像融合不同模的像（如CT、MRI、PET）感像拼接多幅星或航空像配准并合成无姿估通像配准确定物体在三空间的位置和缝镶图扩围创图这过现觉驾驶础配准并整合，提供互补信息，帮助医生全面了解患者嵌，大覆盖范，建大尺度地一方向，是增强实、机器人视和自动的基技图显结显时摄图术图图病情例如，CT像示骨骼构清晰，而MRI示程需要处理不同间、角度和光照条件下拍的像，它通常利用2D像与3D模型或多视角像之间的软组对时观虑计态织比度高，融合后能同察两种信息考地球曲率和地形变化的影响配准，算相机或物体的六自由度姿现遥杂传结代感拼接系统使用基于特征的配准方法和复的统方法使用PnP（透视-n-点）算法合特征匹配估图应肿脑调术创图产这产计态现则习归态像融合广泛用于瘤定位（PET/CT）、部疾病色平衡技，建高精度全球地品些品姿，而代方法采用深度学直接回姿参诊断结疗计规环监测挥数时态计现应将虚内（功能/构MRI）和放射治划（CT/MRI）在城市划、境、灾害管理和农业分析中发实姿估使增强实用能拟容准确进术仅结还显关键现趋现驾驶先的融合技不展示解剖构，能示功能信作用，帮助决策者了解大尺度地理象和变化叠加到实世界，机器人能精确操作物体，自动谢为诊断势环息，如血流、代活动和神经活动，精准和治系统能正确理解道路境疗提供支持第十章图像融合图像融合的概念融合的目标图获图集成多个像的互补信息得更全面的表示保留源像的重要信息,减少噪声和冗余融合的层次融合源类型级级级传时图像素、特征和决策融合方法多感器、多间、多焦点、多分辨率像图将图单图过创单图术许们结时像融合是多幅像的互补信息整合成一像的程，目的是建比任何一源像更具信息量和可靠性的表示融合技允我合不同成像设备、不同间或不获单图红图时显热细节纹时时则创同处理方法取的信息，弥补一像的局限性例如，外和可见光像融合可同示信息和理；多相融合可反映间变化；多焦点融合建全景深清晰图像图应满项图伪阶为层成功的像融合足多要求最大限度保留源像的重要信息；减少不确定性和冗余；最小化影和不一致性根据处理段和抽象程度，融合可分三个次像素级级级识别结层应场层带宽融合（直接处理像素值）、特征融合（融合提取的特征）和决策融合（整合多个果）不同次适用于不同用景，高融合通常需要更少的通信，但损可能失部分原始信息像素级融合1加权平均法2主成分分析法权级为将图为维加平均是最直接的像素融合方法，每个主成分分析PCA融合源像视多向量，图权计权权过换维源像分配重，然后算加和重可以通正交变降，然后在主成分空间融合后图态换识别图将是全局固定的，也可以根据局部像特性动反变PCA像中的主要变异方向，调应权对数弃整自适加平均根据像素的清晰度、大部分信息集中在少主成分中，丢噪声或标权区比度或方差等指确定重，使信息量大的冗余分量获权域得更高重数显图PCA融合能有效减少据量并保留最著的权现简单计负轻显细节加平均法实，算担，但容易引像特征，但可能丢失在主方向不明的信对细节损谱图图入比度降低和失它最适合处理噪声息PCA通常用于多光像和医学像融合，贡图进关图独水平和信息献相近的源像改的方法包能处理高度相的多源像其变体包括立选择进括最大值（保留高能量特征）和局部自适成分分析ICA和稀疏表示，一步改善了融应权加（保留局部最佳信息）合性能3金字塔融合将图为独终结金字塔融合像分解多尺度表示，在每个尺度立融合，然后重建最果常用的金字塔包括频规则频层权拉普拉斯金字塔（率分解）和梯度金字塔（方向信息分解）融合通常在低采用加平均，频层选择权在高采用最大或加策略伪图金字塔融合能保留多尺度特征，减少融合影，是处理具有多尺度特征像的有效方法它在医学成遥监领应现对像、感和控等域广泛用代变体包括比率金字塔和比度金字塔，能更好地处理照明差异图的像特征级融合边缘融合区域融合小波融合缘专图区将图为语区换图边融合注于保留和增强源像中的边域融合先像分割义域，然后小波融合利用离散小波变DWT分解缘为缘图对区应规则区为带带信息，因边是像中具有高信息量每个域用特定的融合域可像多尺度和多方向子，每个子包含结这图过语细节进的构特征种方法首先从源像中提通分水岭算法、均值漂移、超像素或特定尺度和方向的信息在小波域缘获区级虑区针对频取边，通常使用Sobel、Canny等算子，义分割得域融合考域特性行融合可不同率分量采用不同策略，缘标状为频数权频数选然后根据边强度、方向或清晰度等指（如平均强度、方差、形），不同类通常低系采用加平均，高系选择组缘区选择择绝对权或合最佳边特征型域最合适的融合策略最大值或基于局部能量的加方案缘别结应级区边融合特适合需要保留构轮廓的相比像素方法，域融合能更好地保持图标识别语伪势时频用，如医学像分析和目它保留义完整性和空间一致性，减少影它小波融合的优在于能同在空间和率纹图图图了物体边界的完整性，但可能丢失理等适合处理包含明确物体的像，如医学域分析像，提供更灵活的多分辨率表示缘缘遥图区选择非边信息常见的边融合策略包括边像中的器官和感像中的地物域融它比金字塔方法有更好的方向性，能缘检战区过缘纹进强度最大化、梯度方向一致性查和多合的挑在于准确分割和域间平滑渡更精确地保留边和理特征改的小缘树换换尺度边增强波融合包括双复小波变、曲波变和换进选非下采样小波变，一步提高了方向择性和平移不变性决策级融合Dempster-Shafer证据理论模糊集理论神经网络融合论数论数对络训练数习Dempster-Shafer理DST是处理不确定性的模糊集理使用隶属函表示象属于某集合的程神经网基于据学最优融合策略，无需明许组来证图图计规则级络学框架，允表示和合自多个源的据在度，适合处理像中的模糊性和不精确性模糊融确设融合在决策融合中，神经网接收为赋将结为过习识别像融合中，DST每个源的决策分配基本概率值合每个源的决策果表示模糊集，然后通模多个分类器或决策系统的输出，学每个源的对权组这势BPA，表示不同假设的支持度，然后使用糊操作符（如交、并、加合）融合些集合优和可靠性，输出融合决策组规则Dempster合合并多个源的BPA习杂线•自动学复的非性融合映射渐过区应训练数调•能明确表示不确定性和无知•处理变和渡域•适性强，能根据据整融合策略证数调•支持融合冲突据•适合不同源置信度不同的情况•端到端优化减少手动参整语专识级层•适合多分类器决策融合•支持言变量和家知•支持多次融合架构图•处理信息缺失和源可靠性不同的情况•能有效处理像分类的不确定性图像融合应用多焦点图像融合多模态医学图像融合可见光与红外图像融合图问题态图获红结图细多焦点像融合解决了光学成像系统景深有限的，多模医学像融合整合不同成像设备取的互补信息，可见光与外融合合可见光像的高空间分辨率和过组图创图这结软组谢节纹红图热监军侦通合不同焦距的像建全景深清晰像种技如CT（骨骼构）、MRI（织）、PET（代活动）理与外像的信息，在夜视、控和事察术观摄产检测档数别时态图综图应时纹在微影、品和文字化中特有用，因和超声（实动）融合像提供合视，展示解中广泛用可见光相机在光照良好提供色彩和理为这应观细节诊断疗规红环检测热辐些用常需要察不同深度的剖和功能信息，帮助医生更准确和治划信息，而外相机在低光或黑暗境中能射，显过频示温度差异融合程通常使用清晰度度量（如空间率、梯度幅值识别图区将这图临战态图纹细节红图或小波能量）每幅源像中的清晰域，然后医学像融合面多种挑，包括不同模间的强度差融合算法旨在保留可见光像的理和外像的区缝组现习错进标显对些域无合代算法采用多尺度分解和深度学异、空间分辨率不同和患者移动造成的位先的融目突出性，常采用多尺度分解、著性分析和比度伪创线应权术现对络方法，能有效减少融合影并保持空间一致性，建视合算法采用非性映射、互信息配准和自适加策略增强技代方法使用生成抗网GAN和深度学觉图这难图肿导习创红自然的全焦像克服些困医学融合像在瘤定位、神经外科建更自然的融合效果可见光-外融合系统能在疗计挥关键稳标检测航和放射治划中发作用各种气象和光照条件下提供定成像，增强目和识别能力第十一章图像处理新技术深度学习在图像处理中的应用习术别积络图领传赖计习数习深度学技，特是卷神经网CNN，已彻底改变像处理域统方法依手工设的特征和算法，而深度学能从据中自动学最优换许现特征和变，在多任务中实前所未有的性能深度学习解决的图像处理任务习图级图现级识别深度学在像增强、降噪、超分辨率、去模糊和着色等低像处理任务中表出色在中高任务如分割、和络为导习图习杂阶理解中，深度网已成主方法端到端学模型能直接从原始像学到期望输出，避免了复的多段处理管道常用的深度网络架构编码码结图应残络连U-Net等器-解器构在像分割和恢复中广泛用；差网ResNet和密集络过连层络训练问题接网DenseNet通跳跃接解决深网的；注意力机制和络赖关别图Transformer架构加强了网捕捉长距离依系的能力，特适合全局像处理任务对络来图领进别络创图别区图过对训练断生成抗网GAN是近年像处理域最激动人心的展之一GAN包含生成器和判器两个网生成器建逼真像，判器分真实与生成像通抗，生成器不进图质终产难图区结改像量，最生以与真实像分的果图区将图应图图转换图图GAN在像修复（填充缺失域）、风格迁移（一幅像的风格用到另一幅）、像到像（如黑白到彩色、素描到照片）和像合成（从文本描述或随机噪声生成像）中展现环渐进进进图质这术计摄虚现内创出惊人能力条件GANcGAN、循GANCycleGAN和式GANProGAN等改模型一步提高了生成像的量和控制能力些技正推动算影、拟实和容作的革命性发展图像处理前沿技术超分辨率重建图像去雾图像修复隐私保护图像处理术图图雾雾图称图内图超分辨率技从低分辨率像像去旨在从被、霾或烟像修复（也像补全或随着像采集和分析的普及，细节雾图术图图隐恢复高分辨率，大幅提升退化的像中恢复清晰可见容填充）技能移除像中不保护像中的私信息变得越图质传场损区来隐图像量统方法基于插值的景早期方法基于大气散需要的物体或修复坏域，越重要私保护像处理验约习验现内术脸隐和先束，而深度学方法射模型和暗通道先，而代自动填充合理容早期方法技包括人模糊、可逆性习习训练纹扩换习如SRCNN、ESRGAN等能学方法采用深度学端到端，主要基于理合成和散，而私保护变和联邦学等，允杂关习许数更复的映射系，生成更真如DehazeNet和AOD-Net去最新的深度学方法如上下文在不暴露原始据的情况下细节术雾术对驾驶监编码积进图这术实的超分辨率技在医技自动、智能控器、部分卷和GAN能生行像分析些技在智卫图监计觉关语连贯内图学成像、星像分析、控和户外算机视系统至重成义的容像修复慧城市、医学研究和社交媒体频旧恶维应编辑领隐视增强和媒体修复中有广要，能在劣天气条件下持广泛用于照片、文物修等域提供了私与功能间的应觉图泛用视系统性能复、影视后期制作和医学像平衡处理课程总结11+核心章节习图础应术系统学了像处理的基与用技50+关键技术掌握了从增强到融合的全面处理方法100+实际应用领图了解了各域中的像处理解决方案∞发展潜力图术断进应阔像处理技不步，用前景广课绍图论础关键术数图讲图压缩态识别内本程全面介了像处理的理基和技，从字像的基本概念出发，系统解了像增强、复原、分割、、形学处理、特征提取、分类、配准和融合等核心容们讨传图习们场我探了统像处理算法和新兴的深度学方法，分析了它的优缺点和适用景图术阶来趋势习传势态图觉缘计现资像处理技正处于快速发展段，未包括深度学与统方法的融合，充分利用两者优；多模像分析，整合不同源的视信息；边算和移动平台优化，实源受限环监习轻标数赖现虚现境下的高效处理；自督和少样本学，减注据依；以及与增强实、拟实和元宇宙的深度融合习议数础别线数计论结践项应识问题关进阅读顶级议论开项学建1打牢学基，特是性代、概率统和优化理；2合实目，用所学知解决实际；3注前沿展，定期会和期刊文；4参与源目，编协习将图领识遥术结图断进领续习践这术关键提升程和作能力；5跨学科学，像处理与域知（如医学、感、艺）合像处理是一个不演的域，持学和实是掌握一技的。