课程设计（论文）基于各向异性扩散的深度图像增强.doc

目录摘要11 引言22 相关工作32.1 指导深度上采样32.2 引导深度图像修复32.3 各向异性扩散33 方法论43.1 问题制定43.2 数值方案44 实验54.1 实验在Middlebury数据集上64.2 实验在Kinect数据集上64.3 实验在雷达数据上8结论10参考文献10基于各向异性扩散的深度图像增强摘要：在本文中，当对准的彩色图像被给出时我们对有缺陷的深度图像进行修复，并进行采样。这些任务被称为引导深度增强。我们基于热扩散模型拟订该问题。已知深度值的像素被视为热源并且深度增强是指通过将深度值从这些热源扩散到深度缺失的区域这个过程。根据引导彩色图像我们设计扩散传导率，从而可以形成线性各向异性扩散的问题。我们进一步将此扩散的稳态问题放到著名的随机游走模型中考虑，在这个模型中深度增强可以通过求解稀疏线性系统来有效地实现。该算法在米德尔伯里立体数据集上被定量的评估，并应用于修复Kinect的数据同时也可以应用于对由雷达获得的距离数据进行采样。与常用的双边滤波器和马尔可夫基于随机场的方法的比较也被提出，通过比较表明我们的算法是可以成功的。关键词：深度修复，深度上采样，各向异性扩散。(Next) Section 11 引言虽然最新的距离传感技术的革命发展在许多计算机视觉应用领域获得了快速发展，但是通过最新的距离传感器捕获的数据仍然有缺陷。例如，微软的kinect16，一种室内测距传感器，产生的深度图中含有大量由于遮挡和其他方面因素导致的深度信息缺失区域。 Velodyne HDL-64E激光雷达25适用于室内和室外环境中，提供的距离信息比普通图像的分辨率低得多。这些缺陷现在导致各种对深度图像修复和采样研究方面的问题。本文目的是当对准彩色图被给出的情况下解决对深度图像的修复和采样问题。在这项工作中这些任务被称为引导深度增强，该彩色图像被当作引导9。以前在引导深度增强方面的工作主要采用的是滤波器的方法7 26 1210或依靠马尔可夫随机场（MRFs）182831 6。在本篇论文中，我们提出基于各向异性扩散的引导深度增强。将已知深度值的像素视为热源。通过参考图像提供的颜色信息的引导，深度可以从源扩散到深度缺失的区域。尽管基于偏微分方程的各向异性扩散在图像平滑和修补204 2 3中被广泛使用但是据我们所知，他们没有为引导集成其他的图像。此外，我们将引导向异性扩散的稳态问题放到著名的随机游走模型8 30 11中考虑而不是反复进行深度扩散。该模型在图像分割8 30 11是普遍存在的，但它很少用于图像增强的应用程序。通过这个模型，引导深度增强问题能够通过求解一个稀疏线性系统来解决。Equation Chapter (Next) Section 12 相关工作2.1 指导深度上采样它的目的是通过融合高分辨率视觉图像和低分辨率深度数据 来 生成高清晰度深度图。为此，马尔可夫随机域（回收设施）被首先使用6。它通过优化一个能量函数来推断深度，这个能量函数是由对已知测量结果的长期合理的评估和对深度平滑的长期正交化组成。之后，提出了几个MRF的基础方法，这个方法通过进一步考虑新的正交化来拓展这份先进的工作，例如，非局部平滑约束2818和时间相干性31。另一组有关这个问题的方法是基于滤波技术。他们大多使用联合双边滤波器或它们的变化1 29 7来整合深度采样的颜色信息。2.2 引导深度图像修复引导深度图像修复这个问题对于Kinect-like传感器的发展很感兴趣。在过去的两年中，我们提出各种方法来填充深度图中的无效区域，这些深度图是有着参考视觉图像对准的。有研究将传统的修补算法2 5 23拓展到引导案例中。具体地讲，新的修补模式1421和扩展命令14 15被设计用以归纳引导信息。这些方法仅限于其中无效区域被有效区域包围的情况下，以至于他们不适用于引导采样。与他们相反，另一组研究中采用滤波器19 10，这为采样工作的同时，也为引导深度进行修补。2.3 各向异性扩散各向异性扩散各向异性扩散此处主要指的是热扩散框架，该框架通过偏微分方程（PDEs）来表示。基于偏微分方程的各向异性扩散被广泛用于在图像或表面平滑204，图像修复2 3，分割2411，以及其他图像处理应用27。最相关的工作是滤波和图像修复技术。就我们所知，这些技术没有集成高分辨率参考图像来引导这个扩散过程。在这项工作中，我们将引导深度增强，包括修补和采样，表述为一个线性各向异性扩散问题。我们的扩散是通过一个大的从稳态中衍生出来的稀疏线性系统来进行的，而不是像传统技术一样反复的解决问题。3 方法论3.1 问题制定假设我们事先已经给出了一个对准的深度图和彩色图对。深度图要么是包含无效的区域要么是分辨率比配对彩色图像低。彩色图像假定为无缺陷的。我们将一个像素p=（X，Y）中的深度和颜色，分别由D（P）和I（P）来表示。 p在一个图像区域。已知深度值的像素被称为种子像素，其点集表示S.如果我们将种子像素作为热源，那么深度增强就可以像热源扩散一样，在这些图上是从热源开始的。扩散过程由以下偏微分方程表示： （1） 其中W（P; t）是点P在时间t的扩散系数并且D0（p）为初始状态的深度值。扩散系数的空间变化取决于所给的彩色引导图，从而使式（1）变成各向异性扩散。上述偏微分方程是一个初值问题13。在该方程所代表的扩散系统中，我们感兴趣的只是深度值趋于稳定的状态8 30 11。因此，毫不犹豫，我们在式中舍弃t符号，并获得下面的等式： （2） 方程（2）的解对应于我们期待实现的深度图增强。当初始深度图给出，大幅度的增强质量依赖于W（P）的选择。因此，我们探讨的扩散系数的设计将表现在如下求解稳态问题的方法中。3.2 数值方案我们已经将深度图像的增强问题制定成各向异性扩散的过程。扩散传导系数是一个条件，它依赖于彩色引导图像，但独立于深度值。因此，我们引导的深度增强是一个线性各向异性扩散问题11。线性意味着W不是D或D的函数。现在，让我们把线性各向异性扩散的稳定状态看成式（2）所描述的那样。我们首先将离散的深度图以图形G =（V，E）来表示，其中V是一组顶点，即象素，并且E包含四邻域。两个顶点之间的扩散系数由高斯设计在颜色上相似。得到 （3）这个传导性意味着，当两点的颜色相似时，深度扩散就快。当我们构建完图形后，离散的扩散过程就会退化为随机游走模型8 30 11 （4） （5）如果我们把深度图作为一列向量，方程（4）可以变为以下公式： ( 6 )其中，L是单位矩阵并且w是一个N×N的对称矩阵， N是整个图像的像素的总数。给定的始深度图D0，D的非0解可以通过求解线性系统AD= B来计算。 （7） （8）这里，列向量D中的第p个和第q个元素对应于像素p和q。请注意，A是一个稀疏正定矩阵。因此，引导深度增强可以转变为是一个能够有效求解的稀疏线性系统。4 实验为了验证所提出的方法，我们进行了一系列的实验。定量评价并且与使用双边过滤器以及MRF方法进行比较首先在米德尔伯里数据集22上进行。然后，我们将算法运用在一个Kinect传感器的修补应用上，以及用于Velodyne64E雷达的上采样应用上。实验的详细情况如下。4.1 实验在Middlebury数据集上该实验的目的是定量地评价我们的算法的性能。一组深度图像对取自米德尔伯里数据集。数据集中的深度图被用作实际值。这些图使用不同的采样因子，5×，10×，15×，20×，分别的去创造低分辨率深度图。该彩色图像被作为深度上采样的引导。在所有的实验中，我们将扩散电导率设定为10。在不牺牲速度性能的情况下我们靠自己执行原始双边滤波器。在双边滤波器中，邻域的大小是41×41，D= 2，且强度s= 10。MRF方法也被用于实现比较，其中，所述加权系数为1，规范数据和平滑之间的权重。每个算法在每个采样系数下所获得的结果进行评价取决于根均方误差（RMSE），这个根均方误差是相对于实际值而言的。表1总结的结果，从中我们得到几个观察结果。当上采样因子小的时候，我们所提出的方法和双边滤波器是相当的。当系数上升，我们的方法效果最好。并且在所有情况下，MRF由于其过平滑影响，具有最大的错误。图 1也呈现了在间隔为10的采样结果。从图像中可以看出，双边滤波器得到的是尖锐边界。我们提出的方法和MRF方法都会得到模糊的边界。 但大多数情况下MRF会模糊。此外，我们提出的方法和MRF方法在薄结构的区域都比双边滤波器执行地更好。表1 在Middlebury数据集上的定量评价结果。将偏差值定义为RMSE4.2 实验在Kinect数据集上在这个实验中，我们应用算法以修复Kinect传感器捕获的深度图。 Kinect的传感器以高帧速率产生对准的深度和图像对。图1 为在Middlebury数据集上进行引导深度上采样，其中（a）为高分辨率彩色图像，（b）为真实深度图，(c)(d)(e)分别为使用双边滤波器，MRF,和我们提出的方法以10为间隔进行上采样得出的结果然而，所产生的深度图由于遮挡，反射性的或黑的表面，或区域的深度限制等原因通常含有大量无效区域，这些区域中测量的距离会丢失。同时，从这些深度图到发生移位的彩色图的对准导致了大量无效区域，这些无效区域沿着图的边界。在图二中我们给出了一些修补结果。数据要么自己采取要么选择从已建立好的Kinect数据集10中选择。 从结果中，我们看到我们设置的固定窗口大小导致了双边滤波器不能填满所有的未知区域，。它表明一个自适应方案应设计成在所有情况下都能有效的使用。另一种看法与我们从以前的实验中看到的不太一样，双边滤波器得到清晰的边缘并且其他两个方法得到模糊边界。MRF和我们提出的方法在视觉上获得的结果几乎是相同的。图2 为在Kinect数据集上进行引导深度修复，(a)为彩色图，(b)为包含大量缺失区域的深度图(c)(d)(e)分别为使用双边滤波器，MRF，和我们提出的方法得出的结果4.3 实验在雷达数据上在最后的实验中，我们应用算法来上采样由Velodyne64E激光雷达得到的距离数据，这个雷达用于与相机结合。摄像机拍摄的图像作为引导。与在米德尔伯里数据集上的采样实验不同，我们此处得到的是具有不均匀的分辨率的距离数据。图3 为在Velodyne 64E数据上进行引导深度上采样的结果。第一行给出的是彩色图像，第二行的图中包含距离数据，最下三行分别为使用双边滤波器，MRF，和我们提出的方法得到的上采样结果。Equation Chapter (Next) Section 15 结论在本文中，我们提出了一种新的方法引导深度增强。该方法是基于热扩散结构，并通过使用随机游走模型来有效地解决。因此，它可以被应用于修补由Kinect传感器产生的有缺陷的深度图，也可以用于上采样由激光雷达获得的一系列距离数据。上述两个应用都是时下流行的。另一方面，为了研究从我们的算法到双边滤波器和MRF方法的基本关系，我们不考虑复杂的扩散电导率和在这个工作的BF和MRFs的变体。更好的设计传导率会改善边界周围的扩散。这将是我们未来的工作。参考文献1. Barash, D.: Bilateral Filtering and Anisotropic Diffusion: Towards a Unified Viewpoint, HPLaboratories Israel, HPL-2000-18(R.1) (2000)2. Bertalmio, M., Sapiro, G.: Image Inpainting. SIGGRAPH (2000)3. Chan, T., Shen, J.: Mathematical Models for Local Non-texture Inpaintings. UCLA CAMTR 00-11 (2001)4. Clarenz, U., Diewald, U., Rumpf, M.: Anisotropic Geometric Diffusion in Surface Processing.In: IEEE Conference on Visualization (2000)5. Criminisi, A., Perez, P., Toyama, K.: Region filling and object removal by exemplar-basedimage inpainting. IEEE Transactions on Image Processing 13(9), 113 (2004)6. Diebel, J., Thrun, S.: An Application of Markov Random Fields to Range Sensing. In: NIPS(2005)7. Dolson, J., Baek, J., Plagemann, C., Thrun, S.: Upsampling Range Data in Dynamic Environments.In: CVPR (2010)8. Grady, L.: Random Walks for Image Segmentation. IEEE Transactions on Pattern Analysisand Machine Intelligence 28(11), 117 (2006)9. He, K., Sun, J., Tang, X.: Guided Image Filtering. In: Daniilidis, K., Maragos, P., Paragios,N. (eds.) ECCV 2010, Part I. LNCS, vol. 6311, pp. 114. Springer, Heidelberg (2010)10. Janoch, A., Karayev, S., Jia, Y., Barron, J.T., Fritz, M., Saenko, K., Darrell, T.: A categorylevel3-d object dataset: Putting the kinect to work. In: ICCV Workshops (2011)11. Kim, G., Xing, E.P., Fei-Fei, L., Kanade, T.: Distributed Cosegmentation via SubmodularOptimization on Anisotropic Diffusion. In: ICCV (2011)12. Kim, S.-Y., Cho, J.-H., Koschan, A., Abidi, M.A.: Spatial and temporal enhancement ofdepth images captured by a time-of-flight depth sensor. In: ICPR (2010)13. Larsson, S., Thomee, V.: Partial Differential Equations with Numerical Methods. Springer,Heidelberg (2003)14. Liu, J., Gong, X., Liu, J.: Guided Inpainting and Filtering for Kinect Depth Maps. In: ICPR(2012)15. Gong, X., Liu, J., Zhou, W., Liu, J.: Guided Depth Enhancement via A Fast MarchingMethod. Image and Vision Computing 31, 695703 (2013)16. Microsoft (2010), 17. Paris, S., Durand, F.: A fast approximation of the bilateral filter using a signal processingapproach. International Journal of Computer Vision 99(3), 2452 (2009)18. Park, J., Kim, H., Tai, Y.-W., Brown, M.S., Kweon, I.: High Quality Depth Map Upsamplingfor 3DTOF Cameras. In: ICCV (2011)19. Parker, R.: Kinect depth inpainting and filtering (2011),20. Perona, P., Malik, J.: Scale-Space and Edge Detection Using Anisotropic Diffusion. IEEETransactions on Pattern Analysis and Machine Intelligence 12(7), 629639 (1990)21. Qi, F., Han, J., Wang, P., Shi, G., Li, F.: Structure Guided Fusion for Depth Map Inpainting.In: Pattern Recognition Letters (2012) (in press)22. Scharstein, D., Pal, C.: On Learning conditional random fields for stereo. International Journalof Computer Vision 99(3), 319337 (2007)23. Telea, A.: An image inpainting technique based on the fast marching method. Journal ofGraphics Tools 9(1), 2536 (2004)24. Tschumperle, D., Deriche, R.: Anisotropic Diffusion PDEs for Multi-Channel Image Regularization:Framework and Applications. In: Advances in Imaging and Electron Physics, pp.147 (2007)25. Velodyne. Velodyne HDL-64E (2012), Guided Depth Enhancement via Anisotropic Diffusion 41726. Wasza, J., Bauer, S., Hornegger, J.: Real-time Preprocessing for Dense 3D Range Imagingon the GPU: Defect Interpolation, Bilateral Temporal Averaging and Guided Filtering. In:Workshop in ICCV (2011)27. Weickert, J.: Anisotropic Diffusion in Image Processing. ECMI Series. Teubner-Verlag(1998)28. Wong, U., Garney, B., Whittaker, W., Whittaker, R.: Camera and lidar fusion for mappingof actively illuminated subterranean voids. In: Howard, A., Iagnemma, K., Kelly, A. (eds.)Field and Service Robotics. STAR, vol. 62, pp. 421430. Springer, Heidelberg (2010)29. Yang, Q., Yang, R., Davis, J., Nister, D.: Spatial-Depth Super Resolution for Range Images.In: CVPR (2007)30. Zhang, J., Zheng, J., Cai, J.: A Diffusion Approach to Seeded Image Segmentation. In: CVPR(2010)31. Zhu, J.,Wang, L., Gao, J., Yang, R.: Spatial-Temporal Fusion for High Accuracy DepthMapsUsing Dynamic MRFs. IEEE Transactions on Pattern Analysis and Machine Intelligence 32(5), 899909 (2010)