浙江大学CADCG国家重点实验室博士论文.ppt
浙江大学CAD&CG国家重点实验室博士论文,虚拟内窥镜关键技术研究,答 辩 人：彭 延 军指导教师：石教英 教授,浙江大学CAD&CG国家重点实验室博士论文,内容,前言图像的组织分割路径规划实时处理场景绘制总结,浙江大学CAD&CG国家重点实验室博士论文,前言,虚拟内窥镜系统的发展及其应用虚拟内窥镜系统的主要技术组成虚拟内窥镜系统的研究现状和难点,浙江大学CAD&CG国家重点实验室博士论文,虚拟内窥镜系统的发展及其应用（1）,发展 虚拟内窥镜（Virtual Endoscopy)：,第二代,几何建模,高分辨率医学图像,人体器官、组织,虚拟内窥镜系统,第一代,生物、物理特性,第三代,浙江大学CAD&CG国家重点实验室博士论文,光学内窥镜图像,虚拟结肠内窥镜图像,结肠对应的CT图像,浙江大学CAD&CG国家重点实验室博士论文,虚拟内窥镜系统的发展及其应用（2）,应用 空腔结构器官医学培训医疗检查辅助诊断,浙江大学CAD&CG国家重点实验室博士论文,虚拟内窥镜系统的主要技术组成处理过程,虚拟内窥镜系统的处理过程数据采集、图像的组织分割、三维重建、路径规划、实时绘制,浙江大学CAD&CG国家重点实验室博士论文,虚拟内窥镜系统的主要技术组成硬件组成,输入设备（控制摄像机在人体组织的位置和运动方向）,实时绘制,主计算机,重建对象模型,图像预处理,计算漫游路径,抽取对象,表面模型,体素,路径规划,碰撞检测,显示设备,真实感显示,实时绘制,显示设备,真实感显示,扫描设备（CT、MRI等获取医学图像数据）,浙江大学CAD&CG国家重点实验室博士论文,虚拟内窥镜系统的主要技术组成软件组成（1）,N,Y,实时,录像方式,基于面绘制的虚拟内窥镜技术,浙江大学CAD&CG国家重点实验室博士论文,虚拟内窥镜系统的主要技术组成软件组成（2）,N,Y,实时,录像方式,位置,方向,原始图像,预处理,滤波,插值,分割,透视体绘制,接受,路径,路径规划,模拟器,显示,动画,基于体绘制的虚拟内窥镜技术,浙江大学CAD&CG国家重点实验室博士论文,虚拟内窥镜系统的研究现状和难点（1）,虚拟内窥镜医学应用系统（Virtual Endoscopy Medical Application）：美国GE Research&Development Center开发了一套医学虚拟内窥镜系统（VEMA）。,浙江大学CAD&CG国家重点实验室博士论文,虚拟内窥镜系统的研究现状和难点（2）,虚拟结肠内窥镜（Virtual Colonoscopy）：Imatron Inc采用虚拟人（VHD）数据，模拟橡皮管、病人结肠CT图像数据,使用3D体可视化技术，对人体结肠的内表面进行虚拟成像和检查。,浙江大学CAD&CG国家重点实验室博士论文,虚拟内窥镜系统的研究现状和难点（3）,虚拟耳窥镜（Virtual Otoscopy）:美国Boston Surgical Planning Lab.建立了一种虚拟耳窥镜系统，以三维形式显示耳的解剖结构，通过CT和MRI图像数据重建耳的内表面，来模拟传统内窥镜对内耳的检查过程。,浙江大学CAD&CG国家重点实验室博士论文,虚拟内窥镜系统的研究现状和难点（4）,虚拟食管支气管内窥镜（Virtual Tracheo-Bronchial Endoscopy）：法国Laennec Hopital的研发小组开发的这套虚拟系统，采用喉部CT图像，重建高质量的3D视图，并且在视图中提供解剖结构的三维提示功能。,浙江大学CAD&CG国家重点实验室博士论文,虚拟内窥镜系统的研究现状和难点（5）,冠状动脉虚拟内窥镜（Virtual Endoscopy of the Coronary Arteries）:Imatron Inc在Imatron图形工作站上实现冠状动脉内虚拟飞行观察，模拟冠状动脉内窥镜检查或心脏超声波检查，能估算出冠状动脉的内腔横截面直径。,浙江大学CAD&CG国家重点实验室博士论文,虚拟内窥镜系统的研究现状和难点（6）,虚拟内窥镜系统还远远未达到临床应用要求，有许多技术尚未解决，主要的难点有：组织分割路径规划 实时处理 场景绘制 硬件平台,浙江大学CAD&CG国家重点实验室博士论文,虚拟内窥镜中图像的组织分割,一般的图像组织分割技术基于边界模型与局部特征结构的半自动组织分割,浙江大学CAD&CG国家重点实验室博士论文,一般的图像组织分割技术,贝叶斯（Bayes）概率分割模糊分割法局部特征结构分割法,浙江大学CAD&CG国家重点实验室博士论文,基于边界模型与局部特征结构的半自动组织分割（1）,边界体素：一个体素的6邻点中既有属于OB的体素点又有属于NOB的体素点，则它就是边界体素。,特定组织体素集合：属于该特定组织内的全体体素。包括所有的边界体素和内部体素。,浙江大学CAD&CG国家重点实验室博士论文,基于边界模型与局部特征结构的半自动组织分割（2）,边界模型及其计算,浙江大学CAD&CG国家重点实验室博士论文,基于边界模型与局部特征结构的半自动组织分割（3）,（近似）确定组织集合T删除不属于特定组织集合T的多余体素边界体素集B：跨度最大的体素：删除过程：,浙江大学CAD&CG国家重点实验室博士论文,基于边界模型与局部特征结构的半自动组织分割（4）,局部区域的特征结构,局部特征结构所需的基本条件,浙江大学CAD&CG国家重点实验室博士论文,基于边界模型与局部特征结构的半自动组织分割（6）,实验结果,浙江大学CAD&CG国家重点实验室博士论文,基于边界模型与局部特征结构的半自动组织分割（7）,实验数据,浙江大学CAD&CG国家重点实验室博士论文,虚拟内窥镜中的路径规划,主要的路径规划技术单分支对象的中心路径生成多分支对象的中心路径生成,浙江大学CAD&CG国家重点实验室博士论文,主要的路径规划技术,模型法腐蚀法距离变换法,浙江大学CAD&CG国家重点实验室博士论文,单分支对象的中心路径生成（1）,中心路径：是从空腔对象的一端到另一端，所能通过的最大球球心的运动轨迹，是由对象内部体素点的集合（Center path）。,浙江大学CAD&CG国家重点实验室博士论文,单分支对象的中心路径生成（2）,Ci,S,Ci-1,Ci+1,E,Si+1,X,O,Y,切平面,中心点的计算,dPm=min,，|,PB,PmPIB dCi+1=max dP1,dP2,dPm,|P1,P2,Pm,PIBCenter path=,浙江大学CAD&CG国家重点实验室博士论文,单分支对象的中心路径生成（3）,简化计算:在确定当前中心路径上体素点的过程中，如果使用欧拉距离计算dPm则计算量比较大，使用类似于在平面上“剥皮”的方法，在边界体素逐步向中心扩散的过程中，距离值不断加大。,浙江大学CAD&CG国家重点实验室博士论文,单分支对象的中心路径生成（4）,中心路径的平滑处理：实际生成的中心路径上的体素点可能会出现：两两之间的位置方向变化较大、分布稀疏不均两种情况。对此进行平滑处理，可以消除漫游过程中出现的“急转”现象，使漫游“照相机”平稳、等间隔地移动。,Ci-1,Ci,Ci+1,Ci-1,Ci,Ci+1,浙江大学CAD&CG国家重点实验室博士论文,单分支对象的中心路径生成（5）,实验结果,浙江大学CAD&CG国家重点实验室博士论文,单分支对象的中心路径生成（6）,实验数据,浙江大学CAD&CG国家重点实验室博士论文,多分支对象的中心路径生成（1）,中心点的确定：寻找局部最大值dCi+1,m dCi+1,m dP:(PCi+1的邻点集)(P,Ci+1PIB)Cpt=/Cpt是临时存放中心点的集合,浙江大学CAD&CG国家重点实验室博士论文,多分支对象的中心路径生成（2）,确定唯一的中心路径：Ctemp=：=min|CiCpt/Ctemp 是临时存放中心点的集合 newdSCjnewdSCj：Cj Ctemp;/newdSCj 是对dSCj重新编码的结果 Center path：=min|CnCpt：newdSCm=min newdSCq|=CqCpt,浙江大学CAD&CG国家重点实验室博士论文,多分支对象的中心路径生成（3）,例：,浙江大学CAD&CG国家重点实验室博士论文,多分支对象的中心路径生成（4）,中心路径的优化处理：连接Center path中的点生成的中心路径很可能是一条较弯曲的曲线，在某个位置以及相应的视线方向下观察，存在着遮挡关系。考虑到后续绘制处理的实时性要求，我们将中心路径进行分割，以便在一定位置和视线方向下，只绘制不存在遮挡关系的对象。,浙江大学CAD&CG国家重点实验室博士论文,多分支对象的中心路径生成（6）,实验结果,浙江大学CAD&CG国家重点实验室博士论文,虚拟内窥镜中的实时处理,实时处理概述 两步实时处理技术,浙江大学CAD&CG国家重点实验室博士论文,实时处理概述,改进的平行投影技术空间跳跃重采样相邻帧的连贯性关系,浙江大学CAD&CG国家重点实验室博士论文,两步实时处理技术（1）,原理：沿着经过平滑处理的中心路径进行漫游时，相邻帧的视点和视线变化较小，在特定的视域中，通常只对近景的变化较敏感，而对远景的变化不敏感。空腔结构器官的医学切片图像数据中大部分都是空体素，非空体素主要集中在较薄的器官壁附近。,远景部分,近景部分,视点Vi,近景投影图像,焦距f,视 域,视线,远景投影图象,视线,远景投影中间图象,远景投影图象,变形,视点Vi,近景投影图象,浙江大学CAD&CG国家重点实验室博士论文,两步实时处理技术（2）,两阶段光线投射实时处理近景：透视投影从视点发出投射光线穿过视平面的对应象素，沿着每条光线反复采样、从后向前（或从前向后）组合、计算对应的颜色信息。这种光线投射过程分成两个阶段。第一阶段将光线分成一段段光线段，每段光线段单独采样、组合、计算、保存，用以第二阶段的处理。各层在第二阶段可以简单地通过混合得到最终的结果。,浙江大学CAD&CG国家重点实验室博士论文,两步实时处理技术（3）,近景相邻帧的连贯性处理：在漫游过程中，当视点的位置和视线的方向发生变化后，第一阶段的分层处理能够被充分利用到下一帧的处理中。如果下一帧的一段区域，以当前帧的视点位置为中心，半径为，与当前的视线夹角为的，则这段区域内的各层需要按第一阶段重新计算，剩余的L层（Si（p，v），iL）在原来结果的基础上，进行增加或减少采样。,浙江大学CAD&CG国家重点实验室博士论文,两步实时处理技术（4）,视点的平移：如果每次移动的距离为p，则共有f/p帧场景Si（p，v）（iL）在原来的基础上变换，在漫游向后移动的过程中，后一帧的场景会比前一帧的场景范围宽一些，因此在实际处理中，S的定义通常比近景场景要宽和长。预计算Si（p，v），经过f步后交换Si（p，v）与Si（p，v），重复此过程，依次向前漫游。,浙江大学CAD&CG国家重点实验室博士论文,两步实时处理技术（5）,视线的旋转：每次旋转的步长角度为v，在范围内共有f/v帧，为了方便计算旋转后的Si（p，v），我们需要计算的近景比实际宽度，将这宽出的区域划分成f段，每次旋转后变化v。在旋转的情况下，由于视点的位置不变，分层数据不变，各层之间的相对位置以及距离也没有发生变化，因此不需要重新计算S0S1，只要计算增加或减少的v区域就可以了。,浙江大学CAD&CG国家重点实验室博士论文,两步实时处理技术（6）,实时处理远景：在Shear-Warp的基础上，针对splatting算法，重新设计了计算对应象素权值的简单方法，绘制速度大为提高。远景相邻帧的连贯性：在焦距f和投影图像的大小不变的情况下，前、后两帧所包含的体数据经观察变换M后，视域的大小规模不变。进行视点位置的平移和视线方向的旋转后，只是视域所包含的切片数据的起始位置发生了较小的变化。,浙江大学CAD&CG国家重点实验室博士论文,两步实时处理技术（7）,实验结果,浙江大学CAD&CG国家重点实验室博士论文,浙江大学CAD&CG国家重点实验室博士论文,实验数据：,浙江大学CAD&CG国家重点实验室博士论文,虚拟内窥镜中的场景绘制,基于边界体素的光线投射技术 基于边界体素的Shear-warp Splatting技术,浙江大学CAD&CG国家重点实验室博士论文,基于边界体素的光线投射技术（1）,算法描述：先找出给定对象的边界体素，然后对投影区域中的象素产生投射光线。从遇到的第一个边界体素（内边界）开始采样到另一个边界体素（外边界），只组合计算这两个边界体素之间的非空体素值。,浙江大学CAD&CG国家重点实验室博士论文,基于边界体素的光线投射技术（2）,标识边界体素，生成统计表T和线性表S,Z,Y,0,j,k,Nz-1,Ny-1,T(j,k),Z,0,Nz-1,k,S(k)=T(j,k),浙江大学CAD&CG国家重点实验室博士论文,基于边界体素的光线投射技术（3）,Cnow,Cin,Cout,in,now,out,C,由前向后组合,Coutout=Cinin+Cnownow(1-in)out=in+now(1-in),浙江大学CAD&CG国家重点实验室博士论文,基于边界体素的光线投射技术（4）,实验结果,浙江大学CAD&CG国家重点实验室博士论文,基于边界体素的光线投射技术（5）,实验数据,浙江大学CAD&CG国家重点实验室博士论文,基于边界体素的Shear-warp Splatting技术(1),算法的主要思想,浙江大学CAD&CG国家重点实验室博士论文,基于边界体素的Shear-warp Splatting技术(2),权值的简化计算,Hm，n=h=,若子象素的位置(m，n)介于(i,j)，(i+a,j+b)，(i,j+1)，(i+a,j+1)所围成的区域内，,若(m，n)介于(i,j)，(i+a,j+b)，(i+1,j)，(i+1,j+b)所围成的区域内，Hm，n=,浙江大学CAD&CG国家重点实验室博士论文,如果对于结果图像的质量要求不是很高，我们可以用体素在象素中的投影面积比来替代上述过程。,A1=(1-a)*b，A2=a*b，A3=(1-a)*(1-b)，A4=a*(1-b)。A1、A2、A3、A4分别是对应阴影部分的面积。,浙江大学CAD&CG国家重点实验室博士论文,基于边界体素的Shear-warp Splatting技术(3),错切-变形的应用：将体数据进行如下坐标变换P：原点与视点Vi重合，记为T(-Vix,-Viy,-Viz)，绕X轴旋转，记为Rx()，使得ViE落入平面XOZ内；绕Y轴旋转，记为 Ry()，最终使得ViE与Z轴重合,PT(-Vix,-Viy,-Viz)Rx()Ry(),错切变换S将体数据变换到错切空间，M是观察变换,MPSMwarp,浙江大学CAD&CG国家重点实验室博士论文,基于边界体素的Shear-warp Splatting技术(4),实验结果,浙江大学CAD&CG国家重点实验室博士论文,浙江大学CAD&CG国家重点实验室博士论文,总结,在图像的组织分割方面，提出了一种运用边界模型来半自动实现组织分割的算法。在路径规划方面，基于距离变换的基础上，设计了一种新的快速、高效地抽取中心路径的算法，不但能处理单分支结构的对象，还能处理多分支结构的对象。在实时处理方面，针对虚拟内窥镜技术中空体素较多和近景因素对视觉影响较大的特点，设计了一种实时处理算法，将一帧场景的绘制分为近景和远景两个部分。在场景绘制方面，在系统分析了基于图像空间和对象空间加速实现体绘制的各种方法的基础上，充分考虑实时处理的要求和虚拟内窥镜的特点，提出了基于边界体素的光线投射方法和基于边界体素的Shear-Warp Splatting两种技术实现虚拟内窥镜的场景绘制。,浙江大学CAD&CG国家重点实验室博士论文,展望,引入器官、组织的生物、物理等参数，使虚拟表现更逼真、更实用。引入相应病变部位对应的切片（横向、纵向、轴向）分析，是虚拟内窥镜系统超越常规内窥镜性能的一个重要体现。如何全自动、快速、准确地实现组织分割，是非常迫切解决的问题。如何开发出快速规划复杂器官、组织的中心路径的算法是一个急需解决的问题。,浙江大学CAD&CG国家重点实验室博士论文,谢谢！,
