多源图像融合技术及其遥感应用：02 图像融合技术(彩色 实时)课件.pptx

图像融合技术,多源图像融合技术及其遥感应用,课程内容,CONTENTS,03,彩色图像融合技术,（伪）彩色图像融合的意义,人眼对颜色的分辨力远远超过对灰度等级的分辨力，而且颜色会直接使人产生心理和生理的反映。彩色融合可以充分利用人眼彩色视觉的高分辨力和高灵敏度的特性，提高目视系统探测和目标识别能力。战场上受传感器的限制，摄取的图像（特别是微光图像和热图像）都是低信噪比的单色图像，缺乏体视感（深度感），不利于目标的探测，可以利用伪彩色融合技术将蕴藏在各原始图像灰度等级中的信息用彩色的方式表征出来。多光谱、高光谱成像系统波段愈分愈细，可达200个以上。拍摄的源图像带有丰富的光谱信息，充分利用目标的光谱或波谱信息进行融合可以使融合图像的彩色表现更有针对性。,双通道伪彩色融合算法T&W算法,彩色融合不但要用色彩表征图像信息，而且要尽量保证彩色显示符合人眼的视觉习惯，利用生物视觉模型指导图像彩色融合，在生理物理学的基础上提高融合的视觉效果。T&W假彩色融合算法（Toet，Walraven，1996）是一种根据人眼的视觉开发的一种融合红外和可见光图像的假彩色融合算法，该算法将红外图像和可见光图像经过一定的交互处理后，分别送到R、G、B三通道，使融合图像呈现一定自然性的颜色。,T&W算法,具体步骤如下：首先取两路图像对应像素的较小值作为图像的公共部分再提取各自图像的特征部分，表示可见光的特征部分，表示红外图像的特征部分，则有：最后采用交叉相减的处理来实现，并将处理结果直接送至R、G、B三通道进行显示，即：,T&W算法验证,红外图像,可见光图像,T&W伪彩色融合效果,在以可见光图像与热红外图像之间的差异形成的蓝色背景上，以不同的颜色差异突出表征可见光图像与热红外图像间的细节差异。,基于生物视觉模型的融合算法,图像彩色融合算法不但要利用色彩突显目标，还要保证颜色符合人眼的观察习惯。而对生理视觉神经系统性质的研究，可以从生理物理学和心理物理学研究的基础上指导图像彩色融合算法的研究1981年，T.Wiesel给出了受域中心-环绕结构的电生理学描述神经节细胞从功能上的受域可以分为两个系统：ON-center/OFF-surround通道OFF-center/ON-surround通道，受域是中心-环绕结构,基于生物视觉模型的融合算法,ON-center/OFF-surround系统中心细胞的兴奋刺激导致的细胞响应将被周围环绕细胞所产生响应所抑制。OFF-center/ON-surround系统，细胞响应相反。研究表明，ON、OFF系统分别由视网膜内的各个部分的ON细胞和OFF细胞构成，两个系统的生理作用是视网膜受域内细胞之间通过水平细胞的侧向并联所产生的综合效应,基于生物视觉模型的融合算法,对于抑制细胞受到刺激的瞬态响应，可以使用中心-环绕的对抗被动膜方程进行模拟：x(i,j)：抑制细胞的响应；A：衰减常数；H：可选参数；C(i,j)：受域的兴奋中心；S(i,j)：侧向抑制环绕区域。,基于生物视觉模型的融合算法,对于增强细胞，设可引起兴奋的触点总数为b，细胞激活触点总数在时间 t 时为 z(t)，模型由三方面因素决定：1)细胞自发衰减细胞活性触点以固定速率衰减，并且与触点数目成正比，即Az(t)，A 是常数2)活性触点并联增强激活触点被外界随机分布的刺激信号 增强，强度正比于z(t)S(t)3)非活性触点并联激活细胞非活性触点被刺激信号 C(t)激活，强度正比于b-z(t)C(t),基于生物视觉模型的融合算法,对于增强细胞受到刺激的瞬态响应，可以使用中心-环绕的对抗被动膜方程进行模拟：x(t)：增强细胞的响应；A：衰减常数；D：细胞基底活性；E、F：极化常数，或者称作 Nernst 电势。,侧向并联中心-环绕受域的神经网络动力学方程,ON对抗系统细胞响应,OFF对抗系统细胞响应,S.Grossberg建立了类似形式的受域侧向并联中心-环绕神经网络。该网络在抑制噪声和计算出图像的对比度的同时补偿了光照变化，消除光照的影响。在ON通道，中心是兴奋、环绕是抑制；而在OFF通道，中心抑制、环绕兴奋,细胞自发衰减,非活性触点并联激活,活性触点并联激活,侧向并联中心-环绕受域的神经网络动力学方程,当系统平衡时，ON、OFF细胞的输出为：,ON对抗细胞输出 简化形式OFF对抗细胞输出 简化形式,其中，整流函数,受域兴奋中心响应,侧向抑制环绕区域响应,神经网络动力学方程简化形式,稳态响应,ON对抗细胞：,OFF对抗细胞：,空间常数 c、s 影响着细胞对细节的探测能力空间常数大，对细节的探测性能低，但全局颜色表现能力提高空间常数小，可以提供更好的细节探测能力,神经网络动力学方程的理解,当中心和环绕区域输入信号相同时，上式的分子包含DoG形式而分母包含SoG形式，因此在适当参数下视觉模型对输入信号有增强反差、突出边缘和压缩动态范围的能力，称此过程为信号的增强当中心和环绕区域输入信号不同时，根据在ON、OFF区域的位置相互作用。在适当参数下，视觉模型能保留并增强两信号中的相同信息，并且一定程度上增强两信号间不同信息，从而改善两信号间的对比度，称此过程为信号的组合,基于神经动力学的图像融合算法,响尾蛇一般视觉都不发达，只能感觉光亮黑暗，但它却在头部两侧长着一套特殊的红外线探测结构的眼睛，对波长为1015m的红外线特别敏感。响尾蛇的特点是在夜间也能准确地攻击那些即使伪装得很好的猎物。研究表明，这种攻击能力的“视觉”引导是热制导的，它能察觉热血动物所发出的红外辐射。,基于神经动力学的图像融合算法,响尾蛇的颊窝器官，是一对位于头部的空腔。腔体很深，在头部两侧眼睛的前下方。有许多与脑相联的热敏感神经纤维。脑部有一群神经细胞集合而成的特化核。其作用是接收、处理来自颊窝器官的感觉信息，并将它传送到中脑的视顶盖。视顶盖则把来自颊窝器官的红外线信号和来自眼睛的视觉信号加以综合，确定攻击对象的精确位置。即使有0.003的变化也能使响尾蛇神经纤维的生物电发放速率产生显著变化。,基于神经动力学的图像融合算法,1981年E.A.Newman和P.H.Hartline通过特征交叉（Cross-modality Interactions）方法揭示了响尾蛇视顶盖双模式细胞的生理作用能够同时接收来自可见光和红外的信息输入，红外图像并且能够自动同可见光图像配准由于双模式细胞的协同作用，可见光和红外图像共同构成了响尾蛇对外界环境的感知，包括两者之间的“与”、“或”、红外抑制、可见光抑制、红外增强、可见光增强六种协同关系。,基于神经动力学的图像融合算法,“或”神经元分别对两种刺激响应,并对两种信号的联合刺激响应红外增强型可见神经元单独给予刺激时仅对可见光刺激响应,两种刺激同时呈现时放电反应加强可见增强型红外神经元单独给予刺激时仅对红外刺激响应,两种刺激同时呈现时放电反应加强“和”神经元对单独的红外或可见刺激响应都较弱,仅对联合刺激有明显响应红外抑制型可见神经元只对单独的可见光刺激响应,同时伴有红外刺激时放电显著减弱可见抑制型红外神经元只对单独的红外刺激响应,同时伴有红外刺激时放电显著减弱,基于神经动力学的图像融合算法,六种双模式细胞发挥着不同的作用，例如“或”细胞和增强细胞，可以有助于响尾蛇感知在可见光波段清晰可见同时具有较高热辐射的目标，比如温血动物抑制细胞，则是对热中性或者冷视觉物体产生最佳响应，例如池塘边的蛙类等冷血生物。,基于神经动力学的图像融合算法,为了讨论增强细胞和抑制细胞，限于生理学研究现状，需要进行一些假设和简化：响尾蛇视顶盖受域具有中心-环绕结构受域细胞连接是侧向并联的这两条假设与灵长类视觉受域动力学方程的建立假设一致。,基于神经动力学的图像融合算法,模拟响尾蛇增强与抑制细胞对红外和可见光图像同时感知的功能，并考虑到空间常数对探测能力和颜色显现的影响，可以实现基于生物视觉模型的多尺度（不同空间常数）图像融合，重点考虑双通道交互作用的增强细胞和抑制模式的细胞融合的基本架构包含两个阶段第一阶段：用ON系统进行两个通道图像的动态范围压缩匹配、对比度增强第二阶段的融合：需要实现双通道之间的非线性组合,基于神经动力学的图像融合算法,第一阶段分子为高斯差分（DoG:Differential of Gaussian）用于探测景物亮度差异分母为高斯和（SoG:Sum of Gaussian），随亮度增加而增加ON对抗系统，提供了对输入图像动态范围一种非线性压缩变换，可以补偿亮度的绝对数量级，从而将输入图像的动态范围控制在需要的区间内。,ON对抗细胞：,基于神经动力学的图像融合算法,ON对抗细胞：,OFF对抗细胞：,Waxman融合神经网络结构（林肯实验室，MIT，1997）,BIT提出的融合系统基本结构,基于神经动力学的图像融合算法,基于神经动力学的图像融合算法,融合阶段表达式,基于神经动力学融合算法结果,(a)红外图像,(b)可见光图像,(c)BIT的结构,(d)Waxman结构,BIT提出的多尺度融合系统结构,基于神经动力学的图像融合算法,多尺度与生物视觉模型的结合对于可见光图像，第一阶段使用了不同尺度的抑制细胞模型（细胞模型大小代表尺度不同）保证后期融合全局和细节表现的均衡,HIS变换融合法,低分辨率彩色图像与高分辨率灰度图像的融合,PCA（Principal Component Analysis）融合法,低分辨率光谱图像与高分辨率灰度图像的融合,融合结果展示原图,R G B,RGB,融合结果展示HIS融合,融合结果展示PCA融合,双波段红外伪彩色融合,双波段红外伪彩色融合,双波段红外伪彩色融合,双波段红外伪彩色融合,（a）Waxman算法（b）Toet算法,（c）神经视觉算法（自研）（d）神经视觉算法（改进）,03,实时图像融合系统,设计流程,算法评估：运算量、缓存量、可并行性处理架构（平台）选择核心处理芯片选型硬件电路设计算法移植测试（仿真、硬件在环、系统测试）,技术指标,双波段输入图像：可见光、中波红外（35m）或长波红外（812m）；图像尺寸：输出灰度图像时，输入、输出图像512512；输出彩色图像时，输入图像256256，输出图像256256；输入图像信号频带宽度6MHz，灰度等级256；输入图像；输入、输出为标准CVBS信号，使用标准RCA接口；单帧图像处理及融合、显示时间40ms；在一定范围内具有图像水平与垂直平移（10线以内）配准功能；可响应外界输入，缩放单路图像，在双通道图像共轴情况下提供视场配准功能。,融合系统设计算法选择,融合算法选择基于神经动力学的融合算法实时化方面还有困难。假彩色图像融合效果的自然性仍然是有待解决的问题。这类算法的融合结果对观察员的经验是较大考验。图像调制融合算法比较简单，是实现可见光和红外图像融合的一种实用技术。基于金字塔结构的多分辨图像融合处理算法具有较好的处理视觉效果，算法改进空间大。在综合考虑到研究应用的普适性、实现的难易程度和可扩展升级性等因素基础上，这里选择Laplacian金字塔算法作为双通道图像融合处理的核心算法。,图像处理的性能需求分析,MAC运算量估算 待融合图像的大小为 MM 像素，低通滤波器模板大小为 nn，则完成一帧图像的融合总共消耗的MAC运算总量约为：5/3 M 2 n 2 设数字图像大小为512512，选用55的Gaussian模板进行运算，实时处理要求为每秒25帧，可推知该处理过程每秒将消耗高达2.8亿次的MAC运算,DSP器件的MAC,DSP 的所有功能都与乘法和累加/加法(MAC)有关。随着本课程的逐步深入，我们将会发现大部分应用算法都使用数字滤波器，自适应滤波器，傅立叶变换等。这些算法都需要乘法和加法(注意除法或者平方根在 DSP 中应用很少)。因此 DSP 算法或问题经常根据它的 MAC 需求来确定。特别是当比较两种算法时,如果它们都能完成相同的工作但其中一个使用了较少的 MAC,显然这种“便宜的”算法就是最佳选择。然而这必须是在一定的假设前提下，其中之一为所需的 MAC 是相同的。这种条件在我们常用的传统 DSP 处理器中是满足的，比方说，一个 16 位的器件能处理 16 位的输入并使用 16 位的数字滤波器系数等等。使用 FPGA 可消除这种限制-我们可根据要求使用各种位数的系数。因此我们能用完全不同的方法选择一个优化和确定的 DSP 算法。,实时图像融合系统硬件平台分类,（1）单DSP或多DSP并行处理通过单个或多个高性能的DSP器件来实现预处理与融合算法。设计简单，易于实现。在实现复杂算法时较为困难，特别是在多DSP处理中，如何合理地分配各DSP的处理任务，更好地实现处理的并行性，对算法的最终实现起关键作用。比较成熟，是目前应用较多的方案。（2）DSP+FPGA处理通过FPGA来完成预处理部分和相应的逻辑控制，而DSP主要来完成核心算法部分。该方式有较好的灵活性，充分发挥了FPGA和DSP各自的优势。需要解决的问题是：如何协调DSP和FPGA之间的通信和数据传输，以保证整个处理流程可以快速有效地进行。（3）大规模FPGA处理通过FPGA器件内部所带的丰富的逻辑、加法器和乘法器等资源，来实现预处理与融合算法。易于实现并行处理，提高系统的处理速度，同时为将来SoPC设计提供了技术支持。难点在于如何合理的利用FPGA内部资源实现相应的算法。,专用集成电路ASIC,随着微电子技术的发展，系统设计师们更愿意自己设计专用集成电路(ASIC)芯片，而且希望ASIC的设计周期尽可能短,可编程处理器件概览,嵌入式系统的Roadmap,DSP器件的发展历程,DSP器件的发展历程,DSP器件适合的算法类型,线性滤波例如，基于频率/相位鉴别，移除噪声和不希望的干扰信号分量 信号变换 例如，频率域/变换域信号分析。非线性信号增强/滤波例如，通过中值/阶型滤波移除冲激噪声 信号分析/解释/分类例如，信号特性的自动特征分类 压缩/编码例如，减少信号的带宽和存储需求 记录/复原例如，CD、CD-R、硬盘记录等,DSP器件的结构特点（vs CPU）,1）内核基于改进的 Harvard 结构，内部存在一条或多条分离的数据总线和程序总线；程序空间和数据空间分开，各自有独立的地址总线和数据总线，取数和读数可以同时进行。2)独立的硬件乘法器，使得乘法指令可以在单周期内完成。3)一个处理器内含有多个乘加处理单元，使得指令并行执行成为可能。事实上，如果程序优化得当，其性能几乎接近理论加速比。4)低功耗。相比于通用 CPU 家族的动辄几十W而言，其功耗一般在数W甚至mW量级，这在各种功耗敏感场合显示出独特的优势，同时省去了繁杂的散热系统。,TMS320C6416 DSP的性能,C6416芯片600MHz的主频，4800MIPS（Instructions Per Second）的运算能力，完全满足金字塔融合算法所需的运算量。丰富的外设接口，以及其为影像应用所作的结构和指令集的优化C6416 DSP主要特点可概括如下：高速定点DSP1.67ns指令周期（600MHz时钟）每指令周期可并行执行8条32bit指令VelociTI.2TM扩展甚长指令字结构6个32/40-bit ALU2个硬件乘法器，每时钟周期可进行4个1616bit或8个88bit乘法运算,TMS320C6416 DSP的核心结构,融合系统设计系统结构及硬件实现,图像融合子系统,融合系统分为图像融合处理DSP子系统和图像输入输出子系统,系统结构及硬件实现,采集输出子系统,数字视频采集系统用于实现双通道输入图像的数字化采集、图像间配准、融合处理系统工作流程控制等工作同步控制信号提取与输出双路专用视频ADC具有X-Y方向像素平移配准功能的帧存读写控制器使用大规模可编程逻辑器件CPLD实现系统复杂的时序与逻辑控制。,视频信号采集系统,数据拼接（1路）,帧存控制器设计,视频信号采集系统,PCB电路设计,地线设计融合系统的融合处理电路板采用了10层板层结构，采集/输出电路板采用了8层板层结构，其中都设计了独立的电源层和地线层，视频端还设计了专门的模拟地，通过磁珠与系统数字地连接。设计原则电路中的电流回路应保持最小；信号线和回线应尽可能接近；使用较大的地平面以减小导线阻抗；电源线和地线应相互接近；在多层电路板中，应把电源层和地线层分开。,PCB电路设计,可测试性设计为主要信号设置测试点，以便于调试时使用示波器和逻辑分析仪捕捉波形，测试电路的工作状态和信号特征。设置拨码开关，以根据调试的需要灵活地改变电路的工作状态。对于一些难以预先决定的连接，设置0电阻，当需要断开连接或需要导通时，只需要取下或焊上0 电阻即可，避免了飞线。,图像融合系统软件设计,中断处理程序流程,DSP软件优化策略,（1）优化高速缓存Cache结构，合理地划分两级Cache的大小，以及代码段、数据段在内存中的布局；（2）合理安排流水操作和程序分支，提高指令的并行度；（3）使用const关键字、restrict关键字，通过限定的指针指向该指针指向的对象，避免存储器相关；（4）内联函数（intrinsic）是汇编指令直接映射的在线函数，使用内联函数使程序中函数更加紧凑，增加函数之间调用数据的相关性等；（5）利用数据打包处理技术，用字、双字访问短型数据进行数据存取；,DSP软件优化策略,（6）用逻辑运算、加/减/乘运算代替除运算；（7）合理设置CCS编译器参数和各种优化选项，如使用优化选项-o1、-o2、-o3、-pm、-mt等；（8）代码中关键部分是循环。利用软件流水优化循环，解开多重循环嵌套，变函数操作为指令操作，把循环内复杂的条件判断尽量移到循环体的外部，循环内代码尺寸不要太大；（9）使用Profiler工具查找效率低的部分，分析相关图，用线性汇编改写耗时长的部分。,DSP 6416的内存1MByte，不能完成一场图像的融合。DSP访问片外存储器的时间比访问片内存储器慢得多，为了达到实时效果便不能将数据放在片外存储器处理。充分利用DSP EMIF口的EDMA在无需CPU参与的情况下便能完成DSP存储空间之间的数据搬移的功能。,SDRAM配置图,内存管理与DMA,同步双缓冲策略,同步双缓冲是指在SDRAM中使用乒乓结构，用以存放相邻两场的数据。在DSP片内存储器中也开辟乒乓结构用以存放一场中每个半场的数据。处理上半场时，EDMA搬运下半场的数据，处理下半场时，EDMA搬运上半场的数据。,实时处理过程的时-空图,多分辨图像融合算法的实现流程,金字塔结构的多分辨融合算法基本思想来自于人眼视觉系统对于局部对比度变化的敏感性，因此可直接将融合图像作为一种融合多尺度边缘的描述。多分辨融合能较好地保留图像的细节部分，并具有较好的目视效果。,Laplacian金字塔结构图像融合算法,融合系统实验效果,（长波红外图像）,（3层Laplacian金字塔融合效果）,（可见光图像）,（处理板）,（实验现场照片）,融合系统实验效果,（长波红外图像）,（3层Laplacian金字塔融合效果）,（可见光图像）,（处理板）,（实验现场照片）,基于4DSP实时融合系统,基于4DSP实时融合系统,同步四口 SRAM 通道划分,图像,基于DM642的微小型化实时融合系统,基于DM642的微小型化实时融合系统,DM642是TI公司多媒体处理器TMS320DM64x系列外设最完备的一款，它建立在高性能C64xDSP核的基础上，芯片总体性能比C62x约提高了10倍。DM642最大的特色是具有三个可灵活配置的视频口（Video Port），使它很适合用于视频采集和处理。主要特点：（1）最高720MHz主频的高性能定点处理器（2）VelociTI.2第二代先进的超长指令字结构（3）具有配置灵活的256KB二级缓存以及64通道EMDA（4）丰富的片上外设，主要包括64bit扩展内存接口（EMIF）、多通道缓冲串口（McBSP）、多通道音频串行端口（McASP）、66MHz 32bit PCI接口、10/100Mbps以太网口（EMAC）等。,图像融合系统硬件系列平台,C62 DSP融合板,C64 DSP融合板,DM642 DSP融合板,FPGA器件,早期的门阵列,FPGA器件,FPGA属于可编程ASIC，由逻辑功能块排列成阵列组成，并由可编程的内部连线连接这些逻辑功能块来实现不同的设计，并通过可编程互连接到所要求的输入、输出,FPGA 适合应用在低级的 DSP 算法的数据流场合，而不适合应用在if-then-else 判断型编程需求的场合。,FPGA器件,Altera公司FPGA,FPGA器件,Xilinx公司FPGA,为什么用FPGA开发DSP,Algorithms beats Moore beats Chemists,为什么用FPGA开发DSP,Xilinx DSP Performance Leadership,FPGA与DSP对比,FPGA的优势以超高并行性实现更高性能灵活的I/O，可支持多种高速模拟接口低固定成本设计周期短，硬件更改快FPGA的不足冗余逻辑功耗较高量产成本高,DSP的优势编程较简单有许多库和第三方支持公司直通处理速度更快DSP的不足硬件结构固定并行处理量程有限,DSP器件的优势（V.S.FPGA）,前面所述的DSP是可编程的通用DSP，主要依靠编制的软件来完成算法的实现。DSP适合于顺序算法FPGA的优势是较低系统时钟的并行运算（当然也可以实现顺序的算法）DSP在浮点运算方面有优势目前FPGA对浮点运算的支持效率不高DSP编程开发过程比较简单DSP只需要编译，FPGA需要编译、综合、布局布线DSP开发板和驱动程序较丰富，外围电路完善DSP有丰富的应用范例和库（FPGA各种IP核也越来越多）,DSP器件的不足（V.S.FPGA）,DSP处理器并行性有限只有几个乘加单元；TI最好的DSP：8个处理核心处理可变宽度数据的效率较低处理多采样速率的系统效率较低主要靠提高系统时钟频率来提高运算速度1 GHz高频电路设计困难功耗和散热问题严重,通用DSP单引擎乘法累加,顺序处理限制数据的流量分时共享的乘法累加器单元高的时钟频率产生难以满足的系统要求256抽头FIR滤波器每个数据采样运行256次乘法和累加（MAC）每256个时钟周期产生一个输出,顺序处理限制系统性能,FPGA-多引擎乘法累加,并行处理使数据流量最大化支持任意程度的并行性最佳的性能/成本取舍256FIR滤波器每个数据采样运行256次乘法和累加（MAC）每个时钟周期一个输出灵活的结构分布的DSP资源（LUT，寄存器，乘法器，存储器）,FPGA适合于DSP应用,传统的 DSP 器件(Von Neumann 架构),Data Out,Reg,Data In,MAC unit,.,C0,Data Out,C1,C2,C255,FPGA,Reg0,Reg1,Reg2,Reg255,Data In,在1个时钟周期内同时处理 256次 MAC,需要256 次循环来处理采样点数据,256 Tap FIR Filter Example,Reason 1:FPGAs 可以处理运算密集型任务,FPGA适合于DSP应用,FPGAs are also ideally suited for multi-channel DSP designsMany low sample rate channels can be multiplexed(e.g.TDM)and processed in the FPGA,at a high rateInterpolation(using zeros)can also drive sample rates higher,FPGA适合于DSP应用,Q=(A x B)+(C x D)+(E x F)+(G x H)can be implemented in parallel,A,B,C,D,E,F,G,H,Q,Reason 2:巨大的灵活性,But is this the only way in the FPGA?,FPGA适合于DSP应用,Customize Architectures to Suit Your Ideal Algorithms,FPGA适合于DSP应用,性能比较：Altera vs.TI,性能比较：Xilinx vs.TI,性能比较：Xilinx vs.TI,性能比较：Xilinx vs.TI,性能比较：Xilinx vs.TI,性能比较：Xilinx vs.TI,性能比较：Xilinx vs.TI,性能比较：Xilinx vs.TI,性能比较：Xilinx vs.TI,Xilinx FPGA产品介绍,XC4000：5/3.3/2.5V，容量从648464个CLBSPARTAN：XC4000的简化版Virtex II：1.5V，拥有25646592个逻辑片（Slice）、1818乘法器、嵌入式RAM块SPARTAN III：90nm工艺的新一代低成本FPGA，Virtex II的简化版Virtex II Pro：Virtex II的升级版，内部集成了Power PC 405核、高速接口Rocket I/O和数字时钟管理模块（DCM）,Xilinx FPGA产品介绍,Virtex IV：新一代基于组合模块架构(ASMBL)的FPGA平台，拥有LX（侧重于逻辑应用）SX（DSP处理）FX（嵌入式系统和高速收发模块）3个系列,FPGA开发流程,FPGA开发流程,增量的设计方法,常规的设计方法（如果块E发生改变）,增量设计的好处：减少了开发时间,基于Virtex 4的双通道融合系统架构,使用FPGA算法总体实现,联合调试实物图,图像融合结果,可见光源图像,红外源图像,融合图像,基于Virtex-5的图像融合硬件平台设计,Virtex-5 FPGA的优势65nm铜工艺第二代高级硅片组合模块（ASMBL）列式架构强大的 36Kbit Block RAM/FIFO第二代 25x18 DSP Slice带有内置数控阻抗的Select IO技术ChipSync源同步接口模块系统监视器功能增强型时钟管理模块,基于Virtex-5的图像融合硬件平台设计,基于Virtex-5的图像融合硬件平台设计,基于Virtex-5的图像融合硬件平台设计,基于Virtex-5的图像融合硬件平台设计,大容量存储器模块设计NoBL SRAM：CY7C1372D（1M18bit）DDR2 SDRAM：MT47H64M16HR-3（8M16bit8banks）利用MIG工具生成存储器控制器单元,基于Virtex-5的图像融合硬件平台设计,电源模块设计XPE（XPower Estimator）估算FPGA大致的功耗,基于Virtex-5的图像融合硬件平台设计,电源模块设计,基于Virtex-5的图像融合硬件平台设计,融合系统PCB顶层原件布局图,基于Virtex-5的图像融合硬件平台设计,基于Virtex-5 FPGA的SoPC实时图像融合系统实物图,Xilinx SoPC架构,MBBUSIP,基于XtremeDSP的高层次设计方法,XtremeDSP设计套件包括System Generator和Accel DSP两个工具。,SoPC设计流程,基于FPGA的SoPC设计流程,基于SoPC的伪彩色融合处理架构,基于SoPC的伪彩色融合处理实现架构,图像采集与输出模块设计,图像采集模块,图像采集与输出模块设计,图像输出模块,伪彩色融合算法模块设计,将融合算法模块作为MicroBlaze的协处理器，其间用高速FSL总线连接。,伪彩色融合算法模块设计,首先将融合算法算法在Accel DSP中实现。查看RTL报告，获取数据运算时间协处理器每次计算1个像素融合结果：单次运算耗时340ns，总耗时141ms；利用面积换速度原则，使协处理器每次计算25个像素融合结果，单次运算耗时1.42ms，总耗时23.47ms。算法协处理器IP核的生成及使用,伪彩色融合算法模块设计,伪彩色融合算法模块设计,融合算法协处理器与MicroBlaze接口,其他接口模块的设计,本系统存储器由三部分组成，FPGA内部Block RAM（BRAM）、18Mbit NoBL SRAM以及1Gbit DDR2 SDRAM，分别使用不同的总线和接口；I2C接口、UART接口、GPIO接口模块，以及DMA控制器、存储器控制器模块；系统中断控制器的使用：,SoPC融合系统综合结果,系统所用IP核连接图,SoPC融合系统综合结果,在XPS默认设置和约束下，XST综合得到的系统时钟周期为4.663ns，即最高为214.452MHz，因此系统工作在200MHz时钟下是安全的。根据综合报告系统资源占用情况,SoPC系统软件流程,系统软件流程,SoPC实时融合系统调试,基于ChipScope的数据流调试,SoPC实时融合系统调试,基于ImageInsideViewer工具的二维图像数据查看,实时融合系统演示及测试平台,可见光CCD敏通MTC-63K80AHP型1/3彩色CCDPAL制式，图像大小为720576长波红外热像仪高德Guide IR 210非致冷型红外热像仪焦平面探测器尺寸320240，像素尺寸45m45m，工作波长：812m，输出为PAL/NTSC标准复合视频（CVBS）输出中波红外热像仪法国Cedip公司的Jade III低温致冷型中波红外热像仪焦平面探测器尺寸320240，像素尺寸30m30m，工作波长：3.74.8m，输出为PAL/NTSC标准复合视频（CVBS）输出，带外同步输入接口。,实时融合系统演示及测试平台,实时图像融合系统室内实验场景,实时融合系统演示及测试平台,三旋转自由度工作台,SoPC融合系统实验结果,实验一：可见光与长波红外图像融合实验,（a）可见光图像（b）长波红外图像,SoPC融合系统实验结果,实验二：中波红外和长波红外图像融合实验,（a）长波红外图像（b）中波红外图像,SoPC融合系统性能测评,输入通道数量：2通道；输入图像类型：中波红外/长波红外，或可见光/长波红外；输入/输出视频格式：PAL、NTSC、SECAM制式CVBS/VGA；处理画面尺寸：720576；输入输出图像量化指标：10bit；处理算法：视觉模型伪彩色融合算法；实时处理能力：25fps；实测Virtex-5 FPGA芯片功耗：约1.6W；通信接口：RS232、RS422、CAN、Enthernet。,SoPC融合系统性能测评,SoPC融合系统与同类产品性能比较,图像融合在国外一些装备应用 光电桅杆/光电浮标,（AN/BVS-1光电桅杆头部）,（AN/BVS-1光电桅杆利用信息融合技术进行多光谱图像融合，提高了图像分辨率）,在光电桅杆等装备中采用图像融合技术，可以在可见光（白光和微光夜视）、红外等多个波段同时成像，或采用多帧融合的方法来提高图像分辨力，使图像更加逼真、清晰，更有利于确定目标的特征。,装备应用 光电吊舱,图像融合技术在海上直升机、舰载机的光电吊舱系统中能大大改善驾驶员目视效果，提高发现目标的能力，扩大搜索范围和搜索能力。在遥感图像、医学影像、计算机视觉、安防监控等其它各个图像应用领域也有广泛应用前景。,（“LANTIRN”“吊舱将红外前视、激光测距、可见光摄像机等多种传感器信息迭加在飞机的平显上，以提高驾驶员目视效果右：AV-8B+“鹞”式战斗机座舱平显）,部分国外图像融合产品,英国OCTEC公司的ADEPT60 图像处理模块,美国Equinox公司的DVP-4000双通道图像融合SoPC模块,MIT林肯实验室红外/可见光实时融合系统,部分国外图像融合产品,美国Advanced Information Technologies公司的图像融合演示系统）,（直升机辅助导航效果）,谢谢！,