毕业设计（论文）-智能数码相机的设计.doc

数码相机的设计毕业设计（论文）报告 第 27 页 共 30 页智能数码相机的设计摘要：数码相机也称为数字相机，它融光学技术、传感技术、微电子技术以及计算机技术和机械技术于一体，集成了影响信息的转换，存储和传输等部件，将光信息转换成电信息，再加以特定处理 并进行存储，具有数字化存取模式，与电脑交互处理和实时拍摄等特点。随着计算机技术的发展，数码相机已经风靡了整个世界成为最热门的数字化产品之一。介绍了一种基于DSP的智能数码相机的设计方案。提出了一种整机采用DSP+FPGA+AVR结构，基于低级算法和高级算法相结合的智能相机，设计制作了实验用样机。并用其对钢珠缺陷进行了检测，对该相机的性能进行了较为系统的测试和研究，提出了如何改进结构和算法以提高性能。实验证明该相机的正确识别率 ，相机的设计方案有广泛的适应性，对软件的结构和算法稍作修改即可应用于不同的工作场合。关键字：智能相机 现场可编程门阵列（FPGA） 嵌入式系统(AVR) 数字信号处理器(DSP)Intelligent design of digital camerasAbstract: Digital cameras, also known as digital cameras, which financial optical technology, sensor technology, microelectronics and computer technology and mechanical technology, and integrates the impact of information conversion, storage and transmission components, the optical information into electrical information, coupled with specific processing and for storage, with digital access mode, and computer interactive processing and real-time shooting and so on. With the development of computer technology, digital cameras have swept the whole world to become the most popular digital products.Introduced a DSP-based intelligent digital camera design. A machine with DSP + FPGA + AVR structure, low-level algorithms and advanced algorithms based on the combination of smart cameras, designed the experimental prototype. Ball with its defects were detected, the camera's performance was more systematic testing and research, the question of how to improve the structure and algorithms to improve performance. Experiments show that the correct identification rate of the camera, the camera's design has a wide range of adaptability of the software structures and algorithms make some modifications can be applied to different work situations.Keywords: Smart Camera Field Programmable Gate Array AVR Digital Signal Processor 目录前言1第1章 数码相机发展概况2第2章数码相机的基本工作原理及组成72.1基本工作原理72.2数码相机的组成72.2.1 镜头82.2.2 图像传感器82.2.3存储器92.2.4 微处理器92.2.5 数码相机的其他组成成分10第3章 数码相机的光电成像原理123.1 CCD器件的基本组成单元123.2 由CCD器件实现信号的传输133.3 CCD的基本功能133.4 数码相机的数据处理17第4章 基于智能数码相机的设计204.1系统功能204.2 智能数码相机的总体设计过程214.2.1硬件设计214.2.2软件设计234.3智能数码相机的工作过程244.4钢珠缺陷检测实验25谢辞27参考文献28前言智能相机作为工业控制系统和监控系统的关键执行部件，因其具有广泛的应用前景，对其进行的研究正方为艾。基于采用成像器件的不同，可分为CCD(Charge Coupled Device)相机和CMOS(Complementary Metal-oxide Semi-conductor)相机。采用CCD成像器件的相机成像质量较好，但外围电路相对较复杂，调试不太方便，成本较高；采用CMOS成像器件的相机，电路设计简单，调试方便，成像质量可以满足工作需要，成本低廉，因此广泛用于交通监控，工业控制等领域。基本设计所采用的器件不同，主要以下几种结构：DSP阵列；DSP+CPLD/FPGA；单独由CPLD/FPGA器件构成。其中基于DSP阵列的图像处理系统软件可以灵活的修改，以适应不同的任务要求，但通常体积和能耗较大：基于CPLD/FPGA的系统硬件实现上比较灵活，但采用较复杂的算法是设计复杂性较高，要求设计人员对结构规划，采用CPLD/FPGA器件结构有较为透彻的研究：而采用DSP+CPLD/FPGA的系统则能够在复杂性和灵活性上有一个较好的折中，其结构灵活，有较强的通用性，适于模块化设计，能够提高运输处理的效率，开发周期短，易于维护和扩展，对不同的算法也有较好的适应能力，因此通常的智能相机系统都采用这种结构。然而无论采用何种硬件结构，算法的设计始终是智能相机设计中的重要组成部分。良好的算法设计可以使用相机有较高的正确识别率，设置方便，控制简单。本文提出的智能相机就是采用基于DSP+CPLD/FPGA这种结构来实现的。设计制作出了实验样机，并对相机的性能进行了测试和分析，提出了优化改进方案。第1章 数码相机发展概况照相机自1839年由法国人发明以来，已经走过了将近200年的发展道路。在这200年里，照相机走过了从黑白到彩色，从纯光学、机械架构演变为光学、机械、电子三位一体。笑看浮云遮望眼，瞬间沧海变桑田，数码相机的出现正式标志着相机产业向数字化新纪元的跨越式发展，人们的影像生活也由此得到了彻底改变。人们在享受科技所带来的便利的同时，仍会不由得念起数码相机诞生之初所走过的坎坷道路，通常把这个道路分为三个阶段：第一阶段 （公元前400-1839）宋代，在沈括所著的梦溪笔谈一书中，还详细叙述了“小孔成像匣”的原理。在欧洲16世纪文艺复兴时期，欧洲出现了绘画用的“成像暗箱”。第二阶段（1839年2007年）现在通过一些照片来反映照相机发展的第二阶段：1839年8月19日，法国公布了“达盖尔银版摄影术” 。于是世纪上诞生了第一台可携式木箱相机，如图1-1所示。图1-1 可携式木箱相机1861年，世界第一幅加色法彩色照片是英国人麦克斯韦尔摄制的格子图案的缎带，如图1-2所示。图1-2 格子图案的缎带1877年，美国人穆布里奇埃德沃德成功地拍摄了动体连续摄影作品奔马，如图1-3所示。图1-3 奔马1899年，法国人迪奥隆和勒旭额尔制造出世界第一台彩色照相机，如图1-4所示。图1-4 第一台彩色照相机1939年，美国艾加顿发明了电子快速闪光灯，如图1-5所示。图1-5 电子快速闪光灯1969年，美国宇航员”阿波罗11号“飞船登上月球，并用哈苏500L相机进行了摄影，如图1-6所示。图1-6 哈苏500L相机1969年，美国贝尔实验室的博伊勒和史密斯开发了后来用于数码相机的CCD，如图1-7所示。这种感光元件在经过进一步完善之后，终于在今天得到了广泛应用。 图1-7 数码相机的CCD1975年，柯达公司用CCD制造了可以操作的电子相机，如图1-8所示。世界上第一款数码相机早在1975年就已经出现，这款由柯达公司制造的准数码相机虽然体积有些大，但是已经具备了现存的数码相机的一些特点。当然，想要观看这部相机拍摄的照片，你首先得把这部相机和电视连接起来。原因很简单，显示器并没有普及。图1-8 可操作的电子相机1981年，索尼推出了全球第一台不用感胶片的电子相机索尼马维卡，如图1-9所示。图1-9 索尼马维卡1973年11月，索尼公司正式开始了"电子眼"CCD的研究工作，在不断技术积累的基础上它于1981年推出了全球第一台不用感光胶片的电子相机-静态视频"马维卡（MABIKA）"。该相机使用了10 mm×12 mm的CCD薄片，分辨率仅为570× 490（27.9万）像素，首次将光信号改为电子信号传输。1995年，卡西欧QV-10成为第一个装有LCD监视器能够实时取景的数码相机。2003年佳能推出了采用塑料机身的EOS 300D，它整合了前辈EOS-10D惯用的CMOS感光器件，售价首次低于1000美元，从而彻底改变了数码相机市场原有的竞争格局。第三阶段 （从2009年至今）我国数码相机市场可谓是百花争艳、百舸争流，形成了一个全面发展的时期。现代相机是微电子技术、光学技术、计算机技术以及人工智能技术的结合物，在结构、功能、性能等方面都发生了翻天覆地的变化。但是现代数码相机的发展具有以下几个特点。1、200万像素DC淡出市场，千万像素数码相机渐成起步产品近年来各个品牌的DC像素不断攀升。2008年，索尼和尼康、三星等厂商纷纷推出了千万像素消费级DC，使消费数码相机的拍摄质量再次大幅提升。而索尼刚刚发布的W300更是达到了惊人的1360万高像素，甚至超过了入门级数码单反的像素水平。2、长焦机型越来越受重视消费数码相机拥有了高ISO的拍摄能力。在今年上市的新品中，索尼、尼康等品牌的产品都拥有高达ISO3200的感光度，而且索尼的部分产品更是达到了单反相机的水平，拥有高达6400的ISO感光度。3、触摸屏的应用。触摸屏技术在消费级数码相机中得到进一步的发展，带有触摸屏的机型可以让越来越多的普通用户体验到更加人性化的互动式菜单体系，更加直观便捷的进行设定。索尼T300独有的触摸屏还能同时实现涂鸦、音乐串烧等一系列相机的拓展功能，带给用户全新的视觉、听觉盛宴。第2章数码相机的基本工作原理及组成2.1基本工作原理数码相机是由镜头、图像传感器、A/D（模/数转换器）、MPU（微处理器）、内置存储器、LCD（液晶显示器）、PC卡（可移动存储器）和接口（计算机接口、电视机接口）等部分组成，图2-1所示为数码相机的工作原理。镜头将被摄景物的光学影像成像在图像传感器（CCD或CMOS）的表面上，图像传感器的主要功能是把光信号转变为电信号，它代替了普通相机中胶卷的位置，这样就得到了对应于拍摄景物的电信息图像。图像信号经过A/D转换器转换成数字图像信号，通过MPU（微处理器）可对数字信号进行压缩并转化和相应的处理，再转换成特定的图像格式。最后，图像以文件的形式存储在内置存储器中或可移动存储卡中。从LCD（液晶显示器）显示屏上可以观察到拍摄的图像。经过数码相机的输出接口，如USB接口，可将数字图像文件传送到计算机中，由显示器显示，也可以经过图像处理软件处理，最后用打印机打印成图片。 图像传感器 内置存储器 液晶显示器A/DMPULCD存储卡接口内存接口镜头 模/数转换器 微处理器图2-1 数码相机结构示意图2.2数码相机的组成数码相机的系统框图如图2-2所示。微处理器图像传感器和控制电路程序存储器系统DRAM存储设备计算机接口电视监视器显示液晶扩展控制器状态液晶用户IO口电池组闪光灯变焦、对焦电机控制电路RS232USB等通讯接口视频输出拾音器图2-2 数码相机系统框图2.2.1 镜头 数码相机有变焦镜头和定焦镜头之分，在数码相机应用的镜头中，其电子控制电路已经完全和数码相机的核心处理单元（微处理器）紧密地联系起来。镜头的作用是将光线及聚集到感光器件上来。数码相机的感光器件很小，而且外部的光线有时无法产生足够的强度来使感光器件获得足够的光源信息。镜头就将外部的目标物体反射回来的光线通过其特定的形状，令光线折射到感光器件上。类似的工作状态有点像我们小时候在太阳光下用放大镜来烧蚂蚁。 镜头是由许多块镜片组成的，这些镜片的形状大都不相同，所以每一块镜片在镜头中的作用也不一定一样。一般来说，在不使镜头的透过率降低的情况下，采用多组的镜片可以使镜头的成像更接近现实世界。 2.2.2 图像传感器数码相机的核心部件是图像传感器，其质量决定了数码相机的成像质量。图像传感器的体积通常很小，但却包含了几十万乃至上千万个具有感光特性的光电二极管，每个光电二极管即为一个像素。当有光线照射时，这些光电二极管就会产生电荷积累，光线越多，电荷积累的就越多，然后这些积累的电荷就会被转换成相应的图像数据。目前用于数码相机的图像传感器有两种：一种为电荷耦合器件CCD；另一种为互补金属氧化物半导体CMOS。CCD/CMOS传感器是数码相机最重要的器件之一，也是数码相机根本区别于传统胶片相机的特征。 CCD传感器有一个重要的工作特征：CCD传感器输出的是连续的电流信号。CCD设计时没有像CMOS那样在周围设置信号放大器，而是设置一个缓冲器，将一行的信号按一定的时钟周期连接成连续变化的电流信号输出。在输出端由图像处理器依照时钟信号的周期来确定信号的物理位置。 2.2.3存储器 数码相机的存储器是用于保存数字图像数据。存储器可以分为内置存储器和可移动存储器（或成为外置存储器），内置存储器为半导体存储器（芯片），用于临时存储图像。早期数码相机多采用内置存储器，而新近开发的数码相机更多地使用了可移动存储器。存储器在数码相机一般是外设，其内部一般只会安装很小容量的FLASH芯片，这对拍摄高分辨率的照片来说是远远不够的。一般的存储器有CF（Compact Flash）、SM（Smart Media）、MMC（Multi Media Card）、SDC（Secure Digital Card）、MSD（Memory Stick Duo）、IBM的微型硬盘等。但就一般而言，这些存储器除了IBM的产品以外，其他的都是采用闪存FLASH来作为存储部件的。我们就从FLASH的内部微观结构来看它是怎么保存数据的。 2.2.4 微处理器数码相机要实现测光、运算、曝光、闪光控制、拍摄逻辑控制以及图像的压缩处理等操作必须有一套完整的控制体系，数码相机通过MPU实现对各个操作的统一协调和控制。MPU一般数码相机采用的微处理器模块的系统结构如图2-3所示。它包括图像传感器数据处理DSP（Digital Signal Processing 数字信号处理）、SRAM控制器、显示控制器、JPEG编码器、USB等接口控制器、运算处理单音频接口（非通用模块）和图像传感器时钟生成器等功能模块。数码相机的MPU在外围或其内部，有一个小容量的FLASH，负责存放一些程序语句。中央控制器按照这些程序语句对相机的各种操作做出反应，例如对环境的光线强度做出判断、调节感光二极管放大器的放大率、用不用闪光灯、采用何种快门速度和光圈等。DSP图像传感器数据处理处理单元显示控制器音频接口PLLFlash memory interfaceJPEG编码器USB等接口控制器DRAM控制器图像传感器数据图像传感器控制音频数据图像传感器时钟XINXOUTTVNTSC/PALUSBRS232UBSRS232 程序存储器 Flash memory 图2-3 微处理器模块的系统结构2.2.5 数码相机的其他组成成分1、 A/D转换器A/D转换器有两个重要指标，转换速度和量化精度。由于数码相机系统高分辨率图像的像素数庞大，因此对转换速度要求很高。同时，量化精度对应于A/D转换器将每一个像素的亮度或色彩值量化为若干个等级，这个等级就是数码相机的色彩深度。对于具有数字化传输接口的图像传感器（如CMOS），则不需要A/D转换器。2、LCD（液晶显示器）LCD有三个作用：电子取景器、图片显示和功能菜单显示。LCD分为两类：即DSTNLCD（双扫扭曲向列液晶显示器）和TFT LCD(薄膜晶体管液晶显示器)。数码相机中多数采用TFT LCD。3、输入输出接口数码相机的输入输出接口主要有图像数据存储扩展设备接口、计算机通讯接口和连接电视机的视频接口。图像数据存储扩展设备接口主要用于如前所述的存储设备的数据交互。常用的计算机通讯接口有串行接口、并行接口、USB接口和SCSI接口。第3章 数码相机的光电成像原理光电转换器件是数码相机的核心部件，目前数码相机的图像传感器主要有CCD和CMOS两类。CCD芯片又分为线型和面型两大类，线型CCD芯片的最大特点是分辨率很高，可拍摄1000万以上像素水平影像的数码相机都采用线型CCD芯片。3.1 CCD器件的基本组成单元CCD器件的基本组成单元式金属氧化物半导体（MOS）电容。如图3-1所示。在P型硅衬底上覆盖二氧化硅绝缘层，在二氧化硅上装配金属电极，就构成了金属氧化物半导体（MOS）电容。 P型硅衬底UG势阱金属电极二氧化硅图3-1 光子入射下的MOS电容在MOS单元中，当加在半导体上的电压U0=0时，P型半导体中的多数载流子（空穴）是均匀分布的；当0<U0<Uth(Uth是半导体的阀值电压)时，空穴被排斥的同时产生了“耗尽层”（即此部分空穴减少）；随着Ug的增大，“耗尽层”向内部延伸，当Ug> Uth时，在半导体与氧化物界面的电势差的作用下，半导体内少数载流子（电子）聚集形成电荷密度很高、厚度大约210um的“反型层”（此部分载流子已成为电子），说明MOS单元能够积累电荷；当在MOS单元的金属栅与硅底之间加电压Ug时能够形成“势阱”（在MOS单元中可以积累电荷的部分），如果光照射到硅片时，光子的入射形成电子空穴对，多数载流子（空穴）被栅极排斥，而少数载流子（电子）则积累于“势阱”中，积累的电荷量正比于光的照射强度，光入射引起的电荷积累总量正比于入射光子流速率、受光面积入射时间。即对选定的受光面积，由光入射引起的电荷积累和入射光强与照射时间的乘积成正比。3.2 由CCD器件实现信号的传输由基本MOS单元构成CCD器件。根据构成方式的不同，CCD器件可分为线阵和面阵两类。线阵CCD是由一维排列的MOS单元构成，常见的有256，512，1024，2048等，而面阵CCD是由矩阵排列的MOS单元构成，如512*512，1024*1024等。图3-2所示为三相驱动的电荷传输过程。当U1所连接的电极下积累有电荷，此时U2、U3均为“负”极性。首先U2由负跳变为正，原先积累于U1下的电荷部分向U2下势阱转移，为两个MOS单元所共有。随之U1的极性变为负，电荷全部转移到U2下的势阱中。接着U3由负变为正，此时电荷变为U2、U3下的MOS单元所共有。如此不断地进行直到阵列的边缘，馈送至输出电路形成输出信号。面阵CCD器件的电荷读出将按一列列的顺序进行，将输出信号再经过放大、A/D转换等处理，最后得到数字信号，即可进行存储或直接传输至计算机。U3U2U1U1U2U3I1+-I2+-I3I4图3-2 电荷在相邻的单MOS元中的迁移示意3.3 CCD的基本功能CCD是一种能将光转变为电的半导体器件，它在数码相机中具有光电转换、电荷储存以及电荷转移三个基本功能。1、电荷储存功能CCD的一个基本单元如图3-3所示，在P型半导体衬底制作一层二氧化硅绝缘层，在绝缘层上再制作一层金属（铝）电极。当我们在电极上加上正偏压时，金属极板带正电荷，P型半导体中带正电的多数载流子空穴受到极板上正电荷的排斥而远离金属极板，从而在金属极板的下方形成了一个无空穴区，这个区中只有少数载流子电子而带负电，这个区域称为耗尽层。金属极板、绝缘层和半导体层，它们看起来很像一个平行板电容器，它具有电容器，它具有电容器储存电荷的基本功能，而且极板上所加偏压越高，它储存的电荷越多，所以CCD具有储存电荷的功能。P型衬底半导体衬底二氧化硅绝缘层金属电极图3-3 CCD的基本单元2、光电转换功能普通电容器的两个电极都是金属导体，而CCD的电容有一个极板是半导体。与金属导体内部存在大量自由电子不同，半导体在常温和黑暗环境中基本上是绝缘的，即它的内部可以导电的载流子非常少。但若用光照射半导体衬底时，半导体就会产生大量的电子空穴对，可大大增强其导电性。所以当光折射时，加有偏压的CCD电容就能储存许多电荷。实验表明，CCD的电容在一定偏压下所存储的电荷量与入射光强度成正比，光线越强，存储的电荷就越多。这就实现了CCD的光电转换功能。通常CCD的单元电容也被称为光电二极管。3、电荷转移功能CCD实现电荷的转移功能是把CCD上的一个个电容按一定的方式连接起来。图3-4表示的是一种连接方式。为获得电荷转移功能，在每组电容器的电极上分别加上V1、V2、V3时钟驱动脉冲，其波形如图3-5所示。123456V1V2V3图3-4 CCD的一种连接方式 V1V2V3ttt图3-5 时钟驱动脉冲波形假定将CCD曝光，产生 的电荷图像如图9.9所示：1号电容有4单位电荷，4号电容有2单位电荷，其余的电容没有电荷，此时处于t=t1时刻。这时V1为高电平，V2、V3为低电平，1号和4号电容接高电平，电极下形成耗尽区，也可以形象的称为势阱，电荷就落入势阱中。如果我们把电荷比作水，那么势阱就相当于一个水盆。在t2时刻，V1、V2都是高电平，此时1号、2号及4号、5号电极下都形成势阱，且1、2号电容和4、5号电容的势阱分别连通到一起，电荷数量未变，电荷在势阱中均匀分布。这与水在水盆中的情况相似，如图3-6中（b）图所示。在t3时刻，V1、V3为低电平，V2为高电平。1号、4号电容因处于低电平。所以它们的势阱消失，只有2号、5号电容处于高电平，其势阱仍然保留，所以电荷就保留到2号、5号电容的势阱中了，电荷数量仍然不变，如图3-6中(c)图所示。为了存储电荷和转移电荷，CCD必须有金属电极和连线。但是因为它们的阻光作用又会降低光电转移效率。解决这个矛盾的方法有两种：一是将电极和连线作成透明的；另一个方法是将衬底作薄一点，从背面进行光照。123456V1V2V3t1t2t3图3-6 电荷在CCD中的转移3.4 数码相机的数据处理数码相机各部分的有机连接，还需要一个针对数据的处理机制。这一数据处理的过程以微处理器MPU为中心，通过针对数码相机数据的处理，使得数码相机的各个部分有效的结合在一起。如图3-7所示，数码相机的数据流向从图像传感器开始，止于图像数据的存储和传输。根据数码相机系统中采用图像传感器类型的不同（CCD或CMOS），数据流的处理有一些差异。在采用CCD的数码相机系统中，CCD数据是模拟数据输出，需要经过模数转换和光学黑电平钳位等处理过程。在采用CMOS的数码相机系统中，由于CMOS器件采用了数字数据接口，处理CCD模拟接口的电路被省略，直接进行数据读出。图像传感器的图像数据被读出后，系统将对其进行针对镜头的边缘畸变图像的运算修正，然后经过坏像素处理后，被系统送去进行白平衡处理。由于图像传感器在制造和使用；老化过程中会出现一些个别的像素点性能偏离或不能正常感光的现象，这些像素点被称为坏像素。为了不对图像产影响，数码相机的核心处理器通常通过相应的数字算法（例如插值）进行修正，但这修正过程是有限的。镜头和闪光灯控制器R G R GG B G BR G R GG B G B图像传感器数字信号读出模拟信号处理和模数转换黑电平钳位镜头畸变校正CCD图像传感器CMOS图像传感器自动曝光控制器彩色图像合成处罚伽马校正白平衡坏像素处理自动聚焦边缘检测伪色彩抑制系统状态检测和I/O控制JPEG压缩处理图像比例缩放图3-7 数码相机的处理流程伽马校正和色彩合成处理是使数码相机获得良好的色彩图像的必要的图像处理过程。在没有进行色彩合成以前，数码相机获得的图像数据是由红色、绿色和蓝色三通道的图像数据构成，经过色彩合成处理后，将获得色彩的混合图像。为了能够进行针对镜头的自动对焦控制，在色彩合成处理后，需要针对图像进行边缘检测（锐度检测）和伪色彩检测（伪色彩抑制）。之后，用于浏览是图像数据流被送至LCD控制器，需要存储的图像数据被进行JPEG压缩后存入存储器中。至此，整个数码相机的图像数据处理完成。为了让数码相机系统稳定的工作，在整个系统中还需要具有一个系统状态的检测电路，其主要用于检测供电系统的运行状态和部分用户接口的运行状态。第4章 基于智能数码相机的设计DSP（Diginal Signal Processor 数字信号处理器）的数码相机以TI公司的TM S320VC5509-144定点DSP为核心，采用CMOS图像传感器以逐行扫描方式采集数据，使用CPLD进行逻辑控制，配合高速SDRAM和大容量FLASH，使用USB通信接口，采用JPEG，实现了数码相机的基本功能。基本实现步骤是：首先由CMOS图像传感器采集数据，并进行光电转换；然后由DSP对数据进行预处理和JPEG压缩；最后将压缩的数据存入外部存储器或者通过USB接口传输到计算机。4.1系统功能本设计是基于数字信号处理器（DSP）的数码相机（DSC）设计方案，采用CMOS传感器作为成像器件和DSP+FPGA+AVR结构的智能相机，采用低级算法和高级算法的图像处理处理算法。同时在实验检测速度的瓶颈取决于DSP的处理能力，高速的DSP能够提高检测速度；简单的算法可以用硬件来实现，可以进一步提高运算的速度；算法设计上如果考虑DSP的并行性，将算法设计为可以并行执行能进一步提高算法效率。其系统功能框图如图4-1所示。CMOS数据采集结果输出DSP数据处理存储器数据存储图4-1 数码相机的系统功能框图数码相机主要功能组成有三部分：数据采集、数据处理和逻辑控制。数据采集 光电转换可以用两种方式实现，一是采用CCD，并加以通用视频A/D转换器实现采集功能，另一种是使用CMOS图像传感器直接采集，该CMOS图像传感器自带A/D转换功能。本设计采用的是CMOS图像传感器，其主要功能是采集景物的亮度（Y）和色差（CB、CR）信号，把光信号转变为电信号。数据处理 数据处理主要是数据预处理和JPEG数据压缩。预处理包括黑电平相位、透镜畸变补偿、缺损像素内插、彩色滤波阵列、R-矫正和色彩空间转换等，此功能由DSP完成。对于一副800*600分辨率（48万像素）的彩色照片，数据量大约为11.52MB，如果直接将这些数据寄存到存储器中，需要非常大容量的存储器。我们从CMOS传感器得到了对应于拍摄景物的电子图像，但是不能马上被送去计算机处理，DSP对数据流进行JPEG压缩处理。压缩的目的是减少图像的数据量，从而降低存储的储存量，或在一定的存储容量下存放更多的照片。逻辑控制 前面两个部分，需要进行一定的逻辑控制和转换，才能达到预期的效果，本设计采用CPLD实现。4.2 智能数码相机的总体设计过程通常设计智能数码相机分为以下几步：（1）图像的获取：一般采用CCD或CMOS传感器来获得需要的图像数据。（2）图像的处理：图像处理系统的任务是接受来自图像传感器的图像信息和同步信号，进行图像采集，并根据不同要求执行相应的算法处理。（3）检测结果的控制信号的传输：根据处理结果给出相应的控制信号，以控制执行部件采用相应的处理方案。（4）能够提供较为灵活的升级方案：能够根据工作环境的要求改进软件，并能够很容易的对软件进行升级，一适应不同的应用场合。4.2.1硬件设计图1所示为智能相机的结构框生产的图：其中的传感器采用了国家半导体公司CMOS图像传感器LM9617来获取图像，该传感器支持多种控制方式，具有较高的信噪比，支持最多每秒30帧图像采样；FPGA采用了赛灵思公司的SpartanII，SpartanII是采用了6层金属连接、0.22/0.18umCMOS工艺制造的高速FPGA器件，其含有集成于芯片的模块存储器，支持多种I/O标准，带有锁定延时回路该器件实现的功能包括多路开关转换，SRMA控制器。以及对SRAM进行控制的地址发生器；存储器由四片SRAM单元和一个FLASH单元构成，SRAM单元由DSP和FPGA共享。数字信号处理器采用的是TI公司的TMS320VC5402，TMS320VC5402具有较高的处理速度，频率最高可达到100MHZ。该DSP是TI公司的低功耗DSP，它基于先进的哈佛结构，专门硬件逻辑的CPU，片内存储器，片内外设和专用的指令集。SRAM采用的是SST公司的，该SRAM用来暂存传感器获得的图像信息和进行图像处理是的暂存数据。AVR单元采用ATMEL公司的atmega2560，采用HPI方式和DSP连接，DSP运行的程序就存储在AVR中，上电后采用BOOTLODER将程序加载到DSP中，如图4-2所示。CMOS Sensor IntetfaceMemoryMemoryFPGADSPSerialEthernet.AVR图4-2智能相机的结构（1）图像传感器CCD（电荷耦合器件）由于灵敏度高、噪音小，逐步发展成为图像传感器的主导产品。但由于工艺上的原因，敏感元件和信号处理电路不能集成在同一芯片上，造成了由CCD器件制成的摄像机体积大、功耗大的局限、CMOS图像传感器以其体积小、功耗低、价格低在图像传感器市场上独树一帜。最近，CMOS图像传感器的光照灵敏度提高了至少5倍。用它制作的摄像机达到了目前CCD器件同等的水平。本设计选用Omnivision公司色彩CMOS图像传感器OV8600.OV8600单电源+3.3工作，分辨率像素800*600，成像速度最大可达120帧/秒，信噪比大于48db,有逐行和隔行两种扫描方式并内置伽马校正功能，输出为16bit色彩信号。VSYNC为垂直同步信号，即场同步信号，HREF为行同步信号，PCLK为像素输出时钟。当DSP接收到VSYN信号时，表示芯片开始采集第一帧图像数据，随后接收到HREF信号，芯片开始进行第一行的数据采集，每来一个PCLK信号，芯片就采集，直到采集600行的数据，芯片停止采集。当DSP收到一个VSYN信号时，芯片采集下一帧的数据，数据采集完毕后关闭中断。（2）复杂可编程器件（CPLD）整个系统的逻辑控制由一片XC9572XL,它单电源+3.3V工作，有72个宏单元，72个用户I/O引脚。将VC5509的数据程序空间、IO空间寻址的控制信号连入CPLD，有CPLD来完成译码，选通相应的器件。使用CPLD可以给硬件实现带来极大便利，我们可以将扩展按键、LCD等外围设备，有CPLD接入DSP，并由CPLD实现基本的控制功能，这样简化了DSP的软件设计并增强了系统的扩展性。（3）DSP芯片相关参数如表4-3所示。表4-3芯片相关参数频率(MHZ)144每秒执行指令速度MIPS288总共可寻址空间(WORDS)16KBROM(WORKS)64KBRAM(WORKS)128KB直接存储访问DMA6通道 int/extMISCADC,RTC,DPLL,WD计时器TIMER2个串口USB2.0全速,3个MCBSP,IIC,MMC/SD主机接口HPI(bit)增强型主机接口EHPI(16)bootloader可用核心电压(V)1.6电压(V)2.7-3.64.2.2软件设计软件部分包括系统软件框架和各个软件处理模块，中断服务程序等。DSP作为整个系统的主控制器，程序的执行和数据的处理都是由DSP来实现的。开始工作时，DSP进行芯片的设置，控制和配置所有的硬件和软件资源，相机的控制参数的传递。为了保证图像数据的实时处理，采用中断方式传感图像数据，只要获得一帧图像数据，就会产生一次中断时DSP获得控制权对捕获的图像进行处理。系统初始化结束后，进行任务查询，根据查询结构进行相应得到任务处理（CMOS标定，自测试，图像数据处理），进入图像处理模块后，开始执行图像处理算法。对该相机性能测试是所有实验都是基于对钢珠的检测来实现的。图像处理算法：图像处理算法分为低级的处理算法与高级的处理算法：低级的处理算法完成产品是否存在缺陷的检测，高级算法完成对检测结果的分类。低级检测算法包括图像预处理，二值化，图像相减，边缘检测等。具体算法的实现如下：图像预处理：考虑到拍摄到的钢珠图像中的噪声大多是椒盐噪声和一些孤立的噪声点，并要克制图像平滑后的细节模糊，预处理采用了中值滤波器来对图像进行预处理，考虑到算法的执行速度，并没有采用通用的9点中值滤波算法，而是采用了5点中值滤波，这样可以提高算法的执行速度。二值化：二值化处理的阈值的选择极为重要，无论阈值选的过大或者过小，都易产生前景和背景的混淆，实验中采用了基本的全局门限法莱自动的得到阈值T。图像相减：DSP读取位于SRAM中经过滤波与二值化后的图像数据与存储在FLASH中的标准模板图像进行相