第五章影像匹配基础理论与算法课件.ppt

华北水利水电学院,数字摄影测量,Digital Photogrammetry,第五章 影像匹配基础理论与算法（1）,一 数字影像的内定向,内定向的数学模型及参数解算,二 核线几何关系解析与核线排列,确定同名核线有哪两种方法？,（重点）,分别简述确定同名核线的两种方法。,第四章 数字影像解析基础,The Analytical Foundation of Digital Image,二影像相关原理,三影像相关的谱分析,（重点）,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,一影像匹配的基本概念,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,一影像匹配的基本概念,1.匹配的定义,在摄影测量与遥感中，匹配可以定义为在不同的数据集合之间建立一种对应关系。,这些不同的数据集合可以是影像，也可以是地图，或者目标模型和GIS数据。,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,一影像匹配的基本概念,2.影像匹配的定义,如果这些数据集合是影像，就称为影像匹配。,影像匹配是在两幅(或多幅)影像之间识别同名元素(点),它是计算机视觉及数字摄影测量的核心问题。,Remote Image,Topographic Map,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,一影像匹配的基本概念,3.数字影像匹配的定义,自动地在由数字立体像对中提取的元素之间建立对应关系的过程，称为数字影像匹配。,共轭实体是比共轭点更一般的概念，它是目标空间特征的影像，包括点，线，面等。,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,一影像匹配的基本概念,4.共轭实体,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,一影像匹配的基本概念,5.匹配实体,是一种要素，通过比较不同影像上的这些要素来寻找共轭实体。这些要素包括影像的灰度值，从影像上提出的特征，以及其他的符号描述。,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,一影像匹配的基本概念,6.相似性测度,是评价匹配实体之间相似性程度的一种定量指标。一般来说，相似性程度由代价函数（即目标函数，用于获取目标量而构造的函数，如可由点的圆度、边缘的梯度、方向、长度来表示）来度量。,差绝对值和,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,一影像匹配的基本概念,7.匹配方法,匹配方法一般按照匹配实体来命名，如基于灰度的匹配，基于特征的匹配(以及关系匹配等。,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,一影像匹配的基本概念,8.匹配策略,匹配策略是指求解影像匹配问题的概念或整体方案，它包括匹配环境分析，匹配方法选择，以及匹配质量控制。,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,二影像相关原理,最初的影像匹配是利用相关技术实现的。 影像相关是利用两个信号的相关函数，评价它们的相似性以确定同名点。 由于原始像片中的灰度信息可转换为电子、光学或数字等不同形式的信号，因而可构成电子相关、光学相关或数字相关等不同的相关方式。影像相关分为电子相关、光学相关和数字相关三类。,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,二影像相关原理,1.相关函数,两个随机信号x(t)和y(t)的互相关函数定义为,均值,估计值,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,二影像相关原理,1.相关函数,当x(t)=y(t)时,自相关函数,均值,估计值,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,二影像相关原理,1.相关函数,自相关函数主要性质：,自相关函数是偶函数,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,二影像相关原理,1.相关函数,自相关函数主要性质：,自相关函数在=0处取得最大值,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,二影像相关原理,1.相关函数,自相关函数主要性质：,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,二影像相关原理,2.电子相关,电子相关就是采用电子线路构成的相关器来实现影像相关的功能。,乘法器,AB,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,二影像相关原理,3.光学相关,理论基础：光的干涉和衍射傅立叶变换特性 光学相关就是用光学系统解求影像相关的过程。优点：装置结构简单，可处理的数据量大。,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,二影像相关原理,4.数字相关,数字相关是根据数字影像的灰度特性，利用计算机对数字影像进行数值计算的方式完成影像的相关。,1）二维相关,目标区,搜索区,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,二影像相关原理,4.数字相关,2）一维相关,在核线影像上，只需要进行一维搜索,目标区,搜索区,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,三影像相关的谱分析,1.相关函数的谱分析,1）影像功率谱,两个随机信号x(t)和y(t)的傅立叶变换为X(f)与Y(f)，则x(t)的自功率谱为,x(t)与y(t)的互功率谱为,其中X*(f)为X(f)的复共轭。,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,三影像相关的谱分析,1.相关函数的谱分析,2）维纳-辛钦（Wiener-Khintchine）定理,随机信号的相关函数与其功率谱是一傅立叶变换对，即相关函数的傅立叶变换即功率谱，而功率谱的逆傅立叶变换即相关函数。,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,三影像相关的谱分析,1.相关函数的谱分析,3）影像功率谱的估计,对一些有代表性的航空影像进行功率谱估计，航空影像功率谱近似呈指数曲线状。,标准化,功率谱的估计函数,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,三影像相关的谱分析,1.相关函数的谱分析,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,三影像相关的谱分析,1.相关函数的谱分析,4）相关函数的估计,标准化功率谱估计为,影像的相关函数估计,使R(0)=1,得,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,三影像相关的谱分析,1.相关函数的谱分析,当a较小时，S(f)比较平缓，高频信息丰富。当a较大时，S(f)比较陡峭，低频信息占优势。,三影像相关的谱分析,1.相关函数的谱分析,当a较小时， R()比较陡峭，相关精度高，但拉入范围较小。当a较大时， R()比较平缓，相关精度较差，但拉入范围较大。,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,当a较小时，S（f）较平缓，高频信息较丰富，此时相关函数R（）较陡峭，相关精度高，但由可能的近似位置到正确相关的点间距离（称拉入范围）较小，但相关结果出错率高。这就要通过低通滤波获得较大的拉入范围。,当a较大时，功率谱S（f）较陡峭，低频信息占优势，因而相关函数R（）较平缓，相关精度较差，但拉入范围较大，相关结果出错的概率较小。,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,三影像相关的谱分析,1.相关函数的谱分析,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,三影像相关的谱分析,2.金字塔影像相关（多频道相关）,从粗到精的相关策略。即先通过低通滤波，进行初相关，找到同名点的粗略位置，然后利用高频信息进行精确相关。,对于二维影像逐次进行低通滤波，并增大采样间隔，得到一个像元素总数逐渐变小的影像序列，将这些影像叠置起来颇像一座金字塔，因而称之为金字塔影像结构 .,从粗到精的相关策略,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,三影像相关的谱分析,2.金字塔影像相关（多频道相关）,分频道相关（多级相关）,分频道可采用两像元平均、三像元平均、四像元平均等等分若干频道的方法,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,三影像相关的谱分析,2.金字塔影像相关（多频道相关）,金字塔影像建立,每2X24个像元平均为一个像元构成第二级影像，在第二级影像的基础上构成第三级影像,四像元平均,九像元平均,一 影像匹配的基本概念,匹配、影像匹配、数字影像匹配,二 影像相关原理,影像相关（电子、光学、数字）,相关函数定义,共轭实体、匹配实体、相似性测度、匹配方法、策略,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,三 影像相关的谱分析（重点）,自相关函数是偶函数、=0处取得最大值,数字相关（二维相关、一维相关）,影像功率谱,维纳-辛钦定理,功率谱估计,相关函数估计及谱分析结果,金字塔影像结构及其建立,1.相关函数是怎样定义的？证明：自相关函数的两个性质。2.试述影像相关函数的谱分析结果。3.什么是金字塔影像结构？基于金字塔影像进行相关有什么好处？,第五章 影像匹配基础理论与算法（2）,作 业 题,预习,第五章 影像匹配基础理论与算法（1）,The Fundamental Theory and Algorithm of Image Matching,