多媒体数据库与基于内容检索ver.ppt

2023/11/12,1,6.1 多媒体数据库一、多媒体数据库二、多媒体数据库的关键技术三、多媒体数据库管理系统MDBMS四、面向对象数据库6.2 基于内容的检索(CBR)一、概述二、基于内容检索的体系结构三、基于内容检索的工作过程四、基于内容的图像检索五、多媒体数据库的发展及应用,第六章 多媒体数据库与基于内容检索,2023/11/12,2,第六章 多媒体数据库与基于内容检索,6.1 多媒体数据库数据库技术：研究如何科学地组织和存储数据，如何高效地 检索数据和进行数据处理。数据库技术的发展历程：60年代末：层次/网状数据库70年代：关系数据库80年代：以面向对象为特征的数据库系统目前：客户机/服务器结构的数据库技术 分布式数据库技术、并行数据库技术 多媒体数据库技术：多媒体技术、Internet技术、网络技术、传统数据库技术相结合的产物,2023/11/12,3,第六章 多媒体数据库与基于内容检索,一、多媒体数据库MDB（Multimedia Database）多媒体数据库是数据库技术的新兴领域。它研究的对象已 从传统的单一的字符类型的信息媒体发展为包括图形、图像、声音和字符的多种类型的信息媒体。由于研究对象的多样化，因而多媒体数据库技术提出了很多比传统数据库技术更为复杂和更为新颖的研究课题。多媒体数据库技术的出现和形成，一方面是由于有实际的应用需求，而另一方面也基于现代计算技术发展的新成果。,2023/11/12,4,第六章 多媒体数据库与基于内容检索,1、多媒体数据库的发展历程 数据管理方法的三个发展阶段：文件直接存储、关系型数据库管理系统和多媒体数据库。多媒体数据管理方法：第一种是扩充关系型数据库，如NF2模型、二进制大对象BLOB等第二种是面向对象数据库，被认为能较好的适应多媒体数据管理，然而，目前纯粹的面向对象数据库应用实例不多，仍未成熟第三种是采用超媒体的机制，超媒体被认为是“天然”的多媒体信息组织和管理技术。,2023/11/12,5,第六章 多媒体数据库与基于内容检索,传统的数据库管理系统是以关系模型为代表，以层次、网状、关系模型构成的数据管理形式。关系模型的方法基本上是把世界上的对象都看成二维表。显然，这种处理方式不适应多媒体数据类型。80年代面向对象技术以自然、直观和科学的思维模式去看待、描述定义和处理现实世界，把世界看成是由对象组成的大系统，通过引进封装、继承、对象和消息超类、子类等概念，科学的描述各种对象及其内在结构和联系，从而使许多复杂问题变简单。,2023/11/12,6,第六章 多媒体数据库与基于内容检索,90年代超文本与超媒体多媒体信息管理的一种自然实用的新型技术，也是一种多媒体数据库技术。而窗口系统则是它提供美好直观的用户界面的实现方法。这种技术的最大成功在于它提出了以计算机进行思考利传播信息的媒介，并使符合人类的“联想”式思维习惯付诸实践。,2023/11/12,7,第六章 多媒体数据库与基于内容检索,2.多媒体数据的特点 格式化数据：结构简单，处理方便（关系数据库中）非格式化数据：图像、音频、视频等 数据量大复合性：由各种形式的数据组合而成分散性：可以分布在不同的机器，不同的设备上时序性：多媒体信息实体之间的联系和时序有关，在表现 时，要保证它们之间的同步关系,2023/11/12,8,第六章 多媒体数据库与基于内容检索,多媒体数据的特点：数据量大 数据长度不定 数据类型和格式丰富 数据关系复杂 实时性强 存储介质多样化,2023/11/12,9,第六章 多媒体数据库与基于内容检索,3.多媒体数据库的特征 复杂的多媒体数据的特点对数据库技术提出了很多新的要求，相对于传统的数据库系统来说，多媒体数据库有着其自身的特征，主要表现在以下几方面：数据模型的多样化 传统关系数据库：关系模型，二维表，描述实体属性之间以及实体与实体之间的联系。多媒体数据库：关系更为复杂，仅采用二维表示难以描述，引入其它一些数据模型，如层次，网络，面向对象的模型等。,2023/11/12,10,第六章 多媒体数据库与基于内容检索,更强的数据查询和操纵功能 提供比传统数据库管理系统更强的适合非格式化数据查询的搜索（search）功能：允许对 Image等非格式化数据做整体和部分搜索；允许同时搜索多个数据库中的数据；允许通过对非格式化数据的分析建立图示等索引来搜索数据；提供浏览（Browse）功能：允许浏览数据库信息的目录结构；允许对某一具体题目，浏览与此题目有关的一般信息；允许浏览数据库去寻找用户假设的信息支持。,2023/11/12,11,第六章 多媒体数据库与基于内容检索,具有媒体格式的独立性 在数据库技术中，数据独立性的概念非常重要。在独立性的思想下，用户对数据的任何操纵(如查询、修改)必须通过向数据库管理系统发请求来实现，数据库管理系统统一实施对数据的管理，包括存储、查询、处理和故障恢复等。数据库管理系统一般按层次划分为三种模式：物理模式、概念模式、外部模式(即视图)。物理模式涉及到数据的存储组织方法 概念模式定义抽象现实世界的方法，通过数据模型来描述 外部模式则是概念模式中对用户有用的那一部分。,2023/11/12,12,第六章 多媒体数据库与基于内容检索,传统数据库：数据独立性逻辑数据独立性 即对概念模式的修改尽量不影响外部模式和应用程序。物理数据独立性 即改变内部模式时无需改变概念或外部模式，数据库物理存储的变动不会影响访问数据的应用程序；多媒体数据库系统：除必须满足物理数据独立性和逻辑数据独立性外，还应满足媒体数据独立性。,2023/11/12,13,第六章 多媒体数据库与基于内容检索,媒体数据独立性 用户数据和逻辑数据独立于具体的存储介质和格式。是指在MDBMS设计和实现时，要求系统能保持各种媒体的独立性和透明性，即用户的操作可最大限度地忽视各种媒体的差别，而不受具体媒体的影响和约束；同时要求它不受媒体变换的影响，实现复杂数据的统一管理。由于多媒体数据库的数据种类繁多，语义关联丰富，内部结构表示各异，故各种模式及映像比传统数据库复杂得多，涉及的数据量也大得多，要真正做到物理数据独立性、逻辑数据独立性和媒体数据独立性并非易事。,2023/11/12,14,第六章 多媒体数据库与基于内容检索,（）重视数据的表现特征 丰富的表现是多媒体的数据区别于数值、文本数据的重要特征，传统的数据库的数据建模包含数据的内容和结构，数据的表现通过报表工具等应用工具来实现，而多媒体数据的表现形式和具体内容是密不可分的，这就要求多媒体数据库系统能够支持对多媒体表现的定义和操作。,2023/11/12,15,第六章 多媒体数据库与基于内容检索,4.多媒体数据库的实现 在关系数据库的基础上构造多媒体数据库 虽然关系数据模型抽象能力较差，不适于用来表示复杂的多媒体对象，但它比较成熟、应用广泛，对于某些应用而言，在关系数据库的基础上构造多媒体数据库还是可行的。在面向对象数据库的基础上构造多媒体数据库 面向对象数据模型具有很强的抽象能力，可以很好地满足复杂的多媒体对象的各种表示需求，能够为多媒体数据库的构造提供理想的基础，而面向对象技术在多媒体数据存储及管理中的应用也成为重要研究课题。,2023/11/12,16,第六章 多媒体数据库与基于内容检索,二、多媒体数据库的关键技术1、数据模型技术 数据模型是用形式化的方法来描述数据的逻辑结构和各种操作，多媒体数据模型是多媒体数据库管理系统的核心，是研究多媒体数据库的关键技术之一。传统数据库的数据模型 层次模型用树形结构表示实体之间联系的模型，它能描述一对多的关系。,2023/11/12,17,第六章 多媒体数据库与基于内容检索,网状模型 网状模型必须满足两个条件：可以有两个以上结点无父点。至少有一个结点有多于一个父结点。,2023/11/12,18,第六章 多媒体数据库与基于内容检索,关系模型 用二维表结构表示实体之间联系，能描述多对多的关系。一个二维表就成为一个关系。,2023/11/12,19,第六章 多媒体数据库与基于内容检索,多媒体数据模型基本任务：支持结构化数据和非结构化数据的表示及其属性的描述；支持多媒体的表现建模，即多媒体数据模型能表示各媒体对象间的语义关系、时态关系和空间关系。面向对象(OO-Object Oriented)的数据模型 面向对象数据模型提供了对复杂对象的描述能力和对象间关系的表示能力。,2023/11/12,20,第六章 多媒体数据库与基于内容检索,非第一范式(NF2-Non First Normal Form)模型 NF2是一种扩充的关系模型，采用扩充关系数据库的模型方法，将常规数据用关系数据库的常规字段实现，而对多媒体数据则用通用字段表示，它可存放可变长的视频、声频及文本信息。(表中有表）超媒体(Hypermedia)模型 从本质上讲，超媒体模型等价于一种语义网络加上浏览机制。在超媒体模型中，节点是信息的基本单位，可以存放文字、图形、声音、视频信息；在信息组织方面，则是通过链把节点联接成一个网状结构。,2023/11/12,21,第六章 多媒体数据库与基于内容检索,2、多媒体数据的存储和检索 巨大数据量及不定长数据格式 多媒体数据的存储需要考虑新的问题：诸如巨大的存储空间、大型对象、多个相关对象、以及对检索时间的要求等。编码后的音频和视频数据往往是不定长的，因此数据库系统需要具备处理大字段的能力。常用：分页存储、B+树、Hash算法等 物理介质的存取速度 为了满足视频等连续媒体的时域约束，必须设法提高磁盘的读写速度，减小读写的延时及抖动。,2023/11/12,22,第六章 多媒体数据库与基于内容检索,存储技术：光存储系统、高速磁存储 多媒体对象存储 光媒体中的多媒体对象：快速自动地定位 关键：对超媒体文档或超媒体数据库记录进行随机存取。检索技术 标识对象：多媒体对象分组后存在数据库夹中（类似于纸文档存在文件夹中），或存在显示超媒体文档的复合对象中。这是在大多数多媒体系统中标识图像的基本方法。访问对象：用标识符访问存放在数据库中的对象 检索对象：基于内容的检索技术,2023/11/12,23,第六章 多媒体数据库与基于内容检索,3、数据的压缩和解压缩 由于音频信息和视频信息数据量巨大，不对其进行有效压缩是无法达到实用要求的。数据压缩可采用专用软件实时压缩，也可将软件刻写在专用芯片上实施压缩，其速度更快。一般地，现在多采用标准算法制成压缩卡，对多媒体数据进行压缩。然后进行存贮和传递，而使用时用解压卡复原数据。4、分布式技术5、特征的提取和索引,2023/11/12,24,第六章 多媒体数据库与基于内容检索,三、多媒体数据库管理系统 MDBMS（Multimedia Database Management System，）1、概念 多媒体数据库管理系统，是一个以多媒体数据库为基础的多媒体应用，该应用能够完成对多媒体数据库的各种操作及管理功能，如对多媒体数据库的定义、创建、查询、访问、删除等。2、基本功能 能表示和处理各种媒体的数据 格式化数据：文本、字符，Field表示 非格式化数据：图形、图像、声音，根据媒体特点决定表示方法,2023/11/12,25,第六章 多媒体数据库与基于内容检索,能反映和管理各种媒体数据的特性，或各种媒体数据之间的空间或时间的关联 图像数据：包括图像的大小、图像中各像素点的灰度等级或颜色级别等等，这些特性不但是图像显示的必要参数，也是图像查询的依据。除必须满足物理数据独立性和逻辑数据独立性外，还应满足媒体数据独立性MDBMS在设计和实现时，要求系统能保持各种媒体的独立性和透明性，即用户的操作可最大限度地忽视各种媒体的差别，而不受具体媒体的影响相约束。,2023/11/12,26,第六章 多媒体数据库与基于内容检索,新的数据操作功能 提供比传统数据管理系统更强的适合非格式化数据查询搜索(search)约功能 对图像等非格式化数据作整体和部分搜索；同时搜索多个数据库中的数据；等 提供浏览(Browse)功能 浏览数据库信息的目录结构；浏览某一具体题目和与此题目有关的一般信息；等,2023/11/12,27,第六章 多媒体数据库与基于内容检索,提供构造解(Construct solutions)功能 使用一系列的应用约束和触发条件，解决要求访问大容量数据问题和数据库的一致性问题 对非格式数据还应视不同多媒体提供不同的操作 图类数据：覆盖(overlay)，邻接(aboutment)，镶嵌(mosaic)，交接(overlap)，比例(scale)，剪裁(crop)，颜色转换、定位等；声音数据：声音合成、声音信号的调度、声调和声音强度的增减调整等。,2023/11/12,28,第六章 多媒体数据库与基于内容检索,网络功能 多媒体数据库由于它的数据来源、应用、数据量等原因，往往被分布于网络的不同结点上。对于此种情况，应解决分布在网络上的多媒体数据库中数据的定义、存储、操作问题，并对数据的一致性、安全性、并发性进行管理。具有开放功能，提供多媒体数据库的应用程序接口API 提供事务(transaction)和版本(version)管理功能,2023/11/12,29,第六章 多媒体数据库与基于内容检索,3、多媒体数据库管理系统的实现方法 文件系统管理方式 多媒体资料以文件的形式在计算机上存储，用各种操作系统的文件管理功能就可以实现存储管理。多媒体资料：很多图形、图象浏览工具软件 特点：存储简单，用于小的项目管理或较特殊的数据对象，所表示的对象及相互之间逻辑关系比较简单，如管理单一媒体信息，象图片、动画等。,2023/11/12,30,第六章 多媒体数据库与基于内容检索,扩充关系数据库的方式 关系数据库(RDB)具有成熟的理论基础、成熟的技术，并有广泛的应用。但关系模型只能描述字符、数字这些常规数据，无法描述图像、视频、动画、声音等多媒体信息。对现有关系数据库管理系统（RDBMS）进行扩展，用二进制对象的方式支持各种多媒体对象在RDBMS中扩展数据类型，用来描述多媒体数据，并应用新技术使传统数据库具有多媒体管理功能。扩充嵌套语义，采用NF2数据模型,2023/11/12,31,第六章 多媒体数据库与基于内容检索,在RDBMS中扩展数据类型 常规数据用关系数据库的传统字段实现 多媒体数据用通用字段（general）表示 general字段实际上是用指针引向相应文件的，它可以存放可变长的视频、声频、文本信息和任何形式的二进制信息，大小可以达到GB字节。例如：Windows的OLE，使FoxPro、Oracle具有了一定的多媒体管理功能。,2023/11/12,32,第六章 多媒体数据库与基于内容检索,扩充嵌套语义，采用NF2数据模型 传统数据库中采用1NF，表中不能有表，无法处理复杂对象。采用NF2（嵌套关系数据模型）可打破这种限制。举例：MDMS，南京师范大学研制一个在微机上使用的多媒体数据库管理系统，该系统采用扩充关系数据模型，在中文Windows3.2 环境下，用VB开发工具实现。它能方便地管理字符型、数值型、逻辑型、日期型、文本型、图像型、声音型等多媒体数据。,2023/11/12,33,第六章 多媒体数据库与基于内容检索,面向对象数据库的方式面向对象数据库(OODB)涉及对象(Object)、类(Class)、继承(Inheritance)、封装(Encapsulation)等概念，OODB和当前广泛使用的关系数据库是互补的，它主要应用领域是CAD、CAM、OA、GIS。基于面向对象模型开发多媒体数据库主要有以下两种实现途径：,2023/11/12,34,第六章 多媒体数据库与基于内容检索,RDB与OODB集成 RDB已积累了相当成功的经验，将成熟的RDBMS的功能特性和面向对象的建模能力结合起来，从而提供对复杂数据进行查询的支持，成为关系对象模型。优点：既保留了传统数据库的优点，又扩展了数据库的面向对象风范；缺点：有一些面向对象的语义仍不能支持，而且由于保留关系数据库的存储结构而牺牲了一些面向对象的特征。,2023/11/12,35,第六章 多媒体数据库与基于内容检索,开发全新的OODB OODB的研究始于1980年。早期的研究主要集中在建造复杂对象的模型方面。在形式化描述和语言标准、嵌套关系、复杂对象演算方面的研究取得了相应成果，为构造复杂对象模型方面，建立了形式化的理论框架。在实现方面，OODB也从原型走向产品。优点：系统结构清晰、效率高。缺点：难度大，一方面是缺乏统一的数据模型和形式化理论形式化珲论，另一方面是在查询优化视图及数据库工具方面仍为空白。,2023/11/12,36,第六章 多媒体数据库与基于内容检索,超文本（或超媒体）数据库 超媒体是将多媒体技术与数据库技术结合，实现对以多媒体为基础的数据库的管理和操作。它的基本结构是非线性的网状结构。这种非线性技术可以按照人脑的联想思维方式把相关信息联系起来，供读者浏览。结点(node)和链(link)是超媒体的两个核心概念。,2023/11/12,37,第六章 多媒体数据库与基于内容检索,四、面向对象数据库1、概述面向对象数据库源于计算机编程语言中的面向对象技术。同以往的结构化编程语言相比，面向对象技术提供了一种同现实世界更加贴切的表达方式。它利用封装技术将属性和方法集成于对象之中，并且借助继承和派生的概念将对象及其子对象紧紧联系在一起。面向对象技术体现了人类对生存于其中的世界的认知过程，而同数据库技术的结合，则又是一种在计算机应用领域的进步。,2023/11/12,38,第六章 多媒体数据库与基于内容检索,面向对象数据库是指对象的集合、对象的行为、状态和联系是以面向数据模型来定义的。面向对象的概念是新一代数据库应用所需的强有力的数据模型的良好基础。面向对象的方法最适合描述复杂对象，通过引入封装、继承、对象、类等概念，来有效地描述各种对象及其内部结构和联系。,2023/11/12,39,第六章 多媒体数据库与基于内容检索,面向对象数据库管理系统与关系数据库有何不同？面向对象数据库管理系统（OODBMS）使得文本、图像、视频和空间数据可以存储在数据库中。在关系数据库中，数据仅仅是数据，它不包含层次结构信息；面向对象数据库可以将数据视为对象，数据作为一个整体，包含了属性和方法，并能体现数据间的继承关系。,2023/11/12,40,第六章 多媒体数据库与基于内容检索,例如：到超市想买一瓶“大明牌”辣酱。传统的关系数据库方法是在超市的几万种商品目录中搜索关键字“大明牌”辣酱，借助现代强大的计算机处理能力，这只是小菜一碟。如果用面向对象数据库方法，要按类查找，即“食品”-“调味品”-“酱类”-“辣酱”，最后是“辣酱”类的一个实例“大明牌”辣酱，也称为对象。,2023/11/12,41,第六章 多媒体数据库与基于内容检索,2、面向对象数据库的核心概念 对象标识现实世界中的任何实体都被用对象唯一标识。就像商品都有唯一的条形码一样，这在关系型数据库中也有。封装每一对象是其状态和行为的封装。面向对象技术把数据和行为封装在一起，使得数据应用更灵活，如果数据库里只存放着静态数据而不把与之相关的操作放在一起，那么你得到的就只是数据本身，它们只是一些毫无意义的编码，事实上更需要的与之相关的动作。,2023/11/12,42,第六章 多媒体数据库与基于内容检索,类和类层次所有具有相同属性和方法的对象抽象出类。你对辣酱的理解首先它是一种食品，那么它就一定有如下的静态属性（状态）：生产日期，口感，味道，形状等；动态属性（行为）：能吃，会过期。继承 一个类可以继承类层次中其直接或间接祖先的所有属性和方法。有关继承、类和层次的概念完全出自面向对象程序设计方法。,2023/11/12,43,第六章 多媒体数据库与基于内容检索,3、面向对象数据库系统（OODBS）的实现方式 在面向对象的设计环境中加入数据库功能 这是纯种的OODBS技术，但是因为两者支持概念差异较大，OODBS支持的对象标识符、类属联系、分属联系、方法等概念，而在关系型数据库中无对应物存在，数据共享难以实现；对传统数据库进行改进，使其支持面向对象数据模型。,2023/11/12,44,第六章 多媒体数据库与基于内容检索,对传统数据库进行改进，使其支持面向对象数据模型。,2023/11/12,45,第六章 多媒体数据库与基于内容检索,4、面向对象数据库的两个准则 面向对象数据库系统应该是一个数据库系统，应具有数据库系统的特征；面向对象数据库系统应该是一个面向对象系统，应当尽可能与当前面向对象程序设计语言的特点一致。,2023/11/12,46,第六章 多媒体数据库与基于内容检索,5、面向对象数据库存在的问题 标准化问题如何分类、类中应包括哪些内容。这个问题如果不能解决，那么各厂家的OODBs系统，甚至是各应用企业间的OODB无法通用。通用性正是关系数据库成熟的一个标志，目前主流关系的数据库几乎都可以实现数据共享。数据模型的数学基础完善OODB要想和关系数据库一样有一个统一标准似乎不太可能，但是关系数据库之所以能做到，是因为它放弃了现实世界的多样性。,2023/11/12,47,第六章 多媒体数据库与基于内容的检索,6.2 基于内容的检索（CBR，ContentBased Retrieval）一、概述1、概念传统基于关键字的检索通过SQL语句来实现（图像数据库），例如：Select*from IMAGEDB Where Caption=ImageName通过文件名来查找图像文件（磁盘上或网络上的文件）优点：检索过程实现简单，结果“精确”缺点：为图像加上关键字费时费力，常常不能准确反映图 像的内容，主观性强，不同的人会有不同的理解。,2023/11/12,48,第六章 多媒体数据库与基于内容的检索,基于内容（图像）的检索：从“图像”中提取线索，直接对图像进行分析，抽取特征；提取特征方法多种多样；检索过程是一个人机交互的过程，借助人机交互可以提高检索效率；采用一种近似的匹配技术，逐步定位。,2023/11/12,49,第六章 多媒体数据库与基于内容的检索,基于内容的检索:包含信息内容和检索两方面内容信息内容与信息的理解有关，如图像理解、视频理解等；检索与采用的搜索方法和匹配的判断准则有关 通常情况下，基于内容的信息检索首先要对媒体信息进行分割，使其成为单独的检索对象，然后再对每个媒体对象进行特征提取，特征的集合就构成了它的内容描述。接下来，就可以根据要求从多媒体信息库中返回一组与检索要求的内容描述最接近的对象。,2023/11/12,50,第六章 多媒体数据库与基于内容的检索,基于内容的检索方法 用检索对象相应的特征描述和内容表示各种多媒体数据，根据不同信息的特点，建立索引，进行相似性的匹配。优点：符合人类认识特点，因为人们总是通过一定的特征记忆信息。容易达到混合媒体检索的统一。如今较为成熟的文本、数值数据的检索，一般是基于主题词的，本质上都是基于内容或特征的。容易找到信息的本质特点，满足模糊查询的需要。将特征数值化，规定一定的范同，便可进行简单的模糊查询。,2023/11/12,51,第六章 多媒体数据库与基于内容检索,存在的问题：增加了冗余信息，多媒体信息本身存储量就十分庞大，增添许多特征信息，无疑是雪上加霜；特征信息难以提取，多媒体的复杂性，加大了信息提取的难度，成为基于内容检索的瓶颈问题；检索时间和难度加大，基于内容的信息查询，决非简单的比较可以完成。需要复杂的模式匹配过程，因而大大增加了检索时间。,2023/11/12,52,第六章 多媒体数据库与基于内容检索,2、基于内容的检索的特点(1)从媒体内容中提取信息线索。基于内容的检索突破了传统的基于表达式检索的局限，它直接对图像、视频、音频进行分析，抽取特征，利用这些内容特征建立索引，进行检索。(2)是一种近似匹配。CBR采用相似匹配的方法逐步求精，以获得查询结果。这一点与常规数据库检索的精确匹配方法明显不同。,2023/11/12,53,第六章 多媒体数据库与基于内容检索,(3)大型数据库的快速检索。多媒体数据库不仅数据库巨大，而且种类和数量繁多，要求CBR技术能快速实现对大型库的检索。(4)多种检索手段。除了利用多媒体内容的特征来进行检索外，CBR还提供了许多其它检索手段，如可通过提供样本图像进行相似性检索，也可通过人机交互进行浏览检索。,2023/11/12,54,第六章 多媒体数据库与基于内容检索,3、应用领域艺术画廊和博物馆管理建筑与工程设计地理资源遥感与管理地理信息系统商标及版权数据库管理房地产信息系统及面部检索系统数字视频图书馆信息浏览多媒体CAI应用多媒体出版,2023/11/12,55,二、基于内容检索的体系结构,2023/11/12,56,第六章 多媒体数据库与基于内容检索,各模块主要功能：1、目标标识 为用户提供一种工具，以全自动或半自动方式对静态图像、视频镜头的代表帧等媒体中用户感兴趣的区域及视频序列中的动态对象进行标识，以便针对对象来进行特征提取、描述和查询。如果进行整体内容的检索，则利用全局特征，而不用对象标识功能。,2023/11/12,57,第六章 多媒体数据库与基于内容检索,2、特征提取 对多媒体数据进行特征提取，提取用户感兴趣的、适合检索要求的特征，如颜色分布情况、颜色的组成情况、纹理结构、方向对称关系、轮廓形状大小等。特征提取可以是全局性的，如整幅图象的视频镜头，也可以是针对某个目标的，如图象中的子区域，视频中的镜头和运动对象等。,2023/11/12,58,第六章 多媒体数据库与基于内容检索,3、数据库 由媒体库、特征库（文件）和知识库组成。媒体库包含多媒体数据，如图象、视频、音频、文本等。特征库包含用户输入的特征和预处理自动提取的内容特征。知识库中知识表达可以更换以适应各种不同的应用领域。,2023/11/12,59,第六章 多媒体数据库与基于内容检索,4、查询接口 主要以示例查询(QBE)和模糊描述等可视查询形式向用户提供查询接口。查询允许针对对象、整体图像、视频镜头以及任意特征的组合形式来进行。由于多媒体数据的视觉和听觉特性，不仅查询时需要通过浏览确定查询要求，而且查询后返回的结果也需要浏览，尤其是视频浏览。三种输入方式：交互输入方式、模板选择输入方式、用户提交特征样板输入方式。,2023/11/12,60,第六章 多媒体数据库与基于内容检索,5、搜索引擎 检索是利用特征之间的距离函数来进行相似性检索。对于不同类型的多媒体数据有各自不同的相似性测度算法，检索引擎系统中包括一个较为有效可靠的相似性测度函数集。6、索引/过滤器 搜索引擎通过索引/过滤机制来达到快速搜索的目的，从而可以应用于大型多媒体数据集中。把全部的数据通过过滤器变成新的集合，过滤出的数据集合再用高维特征匹配来检索。索引用于低维特征，可以利用R树，以加快检索。,2023/11/12,61,第六章 多媒体数据库与基于内容检索,三、基于内容检索的工作过程（逐步求精）(1)初始化检索说明：用户检索时，利用系统人机交互界面输入方式形成一个主查询条件。最初可用基于示例的查询或查询语言来形成检索格式。系统提取示例的特征或把查询描述映射为具体的特征。(2)相似性匹配：将查询特征与特征库中的资料按照一定的匹配算法进行形似性匹配，满足一定相似性的一组候选结果按相似度大小排列返回给用户。,2023/11/12,62,第六章 多媒体数据库与基于内容检索,(3)返回侯选结果：满足一定相似性的一组侯选结果按相似度大小排列返回给用户。(4)特征调整：对系统返回的一组初始特征的查询结果，用户通过浏览选择满意的结果，或进行特征调整，形成新的查询，直到查询结果满意为止。媒体特征：颜色(Color)、纹理(Texture)、轮廓(Sketch)、形状(Shape)、空间约束(SpatialConstraints)、动态(Motion)、领域概念(DomainConcepts)等。,2023/11/12,63,第六章 多媒体数据库与基于内容检索,四、媒体的内容语义 1、文本 对字符、词、词组检索 基于上下文的内容检索检索关键关键词,2023/11/12,64,第六章 多媒体数据库与基于内容检索,2、图像 图像媒体的常用检索内容主要包括以下项目：(1)颜色：图像颜色的分布、颜色的相互关系、颜色的组成等。(2)纹理：图像的纹理结构、方向、组合及对称关系等。(3)轮廓：图像轮廓的组成、形状、大小等。(4)对象：图像中子对象的关系、数量、属性、旋转等。(5)领域内容：某一领域下的图像内容，例如：头像中嘴与眼的相对位置等。,2023/11/12,65,第六章 多媒体数据库与基于内容检索,3、视频 视频建立在图像的基础上，先有图像的内容才可以得到视频的内容。检索主要有以下项目：(1)镜头：镜头是视频的基本单位，包括切换、渐变等的划分。(2)摄像动作：对各种摄像动作的提取，如摇、推、拉、追踪 等。(3)运动对象：查找视频序列中的某一运动对象。(4)场景：寻找和组合相同的镜头等。,2023/11/12,66,第六章 多媒体数据库与基于内容检索,4、声音 声音的内容检索包括特定模式的查找，特定词、短语、音乐旋律和特定声音的查找等。早期的研究语音内容的识别，但对数据库来说查找非语音信号可能会更有效。例如：讲话人的性别、声音的间隔、特殊的背景声与前景声的组合等。由于声音常常伴随其他媒体存在，所以，寻找这些特征有利于对其他媒体的检索。例如，在足球比赛时，一阵大声的喧哗可能意味着进了球，只要能够检索出这段声音，也就可以基本确定对视频的索引。,2023/11/12,67,第六章 多媒体数据库与基于内容检索,五、基于内容的图像检索(Content-Based Image Retrieval，CBIR)1、概述 基于内容的图象检索技术是一门交叉学科，其研究涉及计算机图形学、图象处理、图象分析、图象理解、模式识别、人工智能、神经网络及数据库技术等多种学科。该领域具有真正意义的研究起步于二十世纪80年代，到了网络技术逐渐普及的90年代其研究才取得较大的突破，多种成果开始转化为应用技术，而日益增长的应用需求反过来推动其研究向更高的层次发展。,2023/11/12,68,第六章 多媒体数据库与基于内容检索,基于内容的图象检索的研究分为三层：下层基于颜色、纹理、形状等反映图象基本物理特征的检索，是最直接也是最基本的层面，用到图象信息处理、图象分析和相似性匹配技术；中间层基于图象对象层语义，如图象中实体及实体之间的空间关系的检索，对象级检索技术建立在下层特征基础上，并引入了对象模型库、对象识别和人工智能等图象理解技术；最上层基于图象概念级语义的检索，其技术建立在对象层语义特征提取的基础上，引入了对象和场景之间的逻辑、情感等高层语义的描述及识别，需要用到知识库和更加有效的人工智能和神经网络技术。,2023/11/12,69,第六章 多媒体数据库与基于内容检索,“内容”主要包括：(1)颜色：图像颜色的分布、颜色的相互关系、颜色的组成等。(2)纹理：纹理特征主要包括粗糙度、方向性、对比度和规则性等。(3)轮廓：图像轮廓的组成、形状、大小等。(4)对象：图像中子对象的关系、数量、属性、旋转等。(5)领域内容：某一领域下的图像内容，例如：头像中嘴与眼的相对位置等。,2023/11/12,70,第六章 多媒体数据库与基于内容检索,2、图像存储与检索流程(1)存储部分：使用扫描仪等装置将图像等输入计算机，进行图像分析，提取有关媒体特征，并实现图像及特征的存储，形成图像数据库；(2)检索部分：将要查询的图像使用扫描仪输入计算机，进行图像分析并提取媒体特征，然后利用这些特征与图像数据库中媒体特征进行相似性匹配，最后输出符合条件的图像。,2023/11/12,71,第六章 多媒体数据库与基于内容检索,3、基于内容的图像表示和检索方法 颜色特征提取 颜色直方图方法(color histogram method)是表示图像中颜色分布的一种方法。横轴颜色等级 纵轴在某一个颜色等级上具有该颜色的像素在整幅图像中所占的比例。直方图颜色空间中的每一个刻度表示颜色空间中的一种颜色。特点：适用于图像的粗略查询，较细致的查询要用颜色对方法。,2023/11/12,72,第六章 多媒体数据库与基于内容检索,颜色对方法(color pair method)借助图像子块之间颜色的邻接关系，通过颜色进行组对建模。如果两幅图像具有相同的颜色对，那么这两幅图像就是相似的。说明：颜色相似性特征的基于内容检索的最大困难是用户的检索要求并非只有颜色条件，还伴随纹理、形状、空间等限定条件。,2023/11/12,73,第六章 多媒体数据库与基于内容检索,纹理特征提取 纹理：图像局部不规则，而宏观有规律的特性。纹理特征包括：粗糙性、规则性、线条相似性、凹凸性、方向性和对比度，这些特征都可作为检索项。根据纹理特征进行检索主要考虑粗糙性、方向性和对比性三种特征。由于纹理描述比较困难，一般对纹理的检索都采用示例查询(Query By Example)方式。用户给出示例的全部或部分区域特征，从而找到类似图像。说明：纹理特征可使用统计方法和结构方法进行分析。,2023/11/12,74,第六章 多媒体数据库与基于内容检索,形状特征提取 采用该特征进行检索时，用户通过勾勒图像的形状或轮廓（区域、主轴方向、矩、偏心率、圆形率、正切角等），从图像库中检出形状类似的图像。方法：(1)分割图像经过边缘提取后，得到目标图像的轮廓线，针对这种轮廓线进行的形状特征检索。(2)直接针对图形寻找适当的矢量特征用于检索算法。但处理这种结构化检索更为复杂，需做更多的预处理。,2023/11/12,75,第六章 多媒体数据库与基于内容检索,相关反馈 问题：仅仅基于图像低层特征很难给出令人满意的结果，主要原因是图像低层特征和高层语义间存在着很大的差距。解决：需要研究出更好更有效的图像表示方法 通过人机交互方式捕捉和建立低层特征和高层语义之间的关联，这就是相关反馈技术。,2023/11/12,76,第六章 多媒体数据库与基于内容检索,六、基于内容的检索技术应用举例1.QBIC系统 QBIC(Query By lmage Content)图像检索系统是IBM公司90年代研制开发的图像和动态影像检索系统，英文原意是“依靠图像的内容进行查询”。它主要为IBM的DB2大型数据库提供图像检索功能，并支持于Web的图像检索服务。,2023/11/12,77,第六章 多媒体数据库与基于内容检索,QBIC系统提供了静止图像和视频信号的检索手段：静止图像检索：QBIC通过友好的图形界面，为使用者提供了颜色、纹理、草图、形状、多物体等多种检索方法，并提供了根据样本进行相似性检索的方法。视频检索：包括了分镜头检测、主运动估计、建立层描述、通过拼接完成代表帧生成等多种视频处理手段，并在此基础上提供了通过物质运动、摄像机运动的附加视频检索手段。提供了将多种检索特征相融合的手段，用户可以定义各检索特征在检索中的权重，从而可根据自己的需要控制检索方向。系统还提供了浏览检索手段。,2023/11/12,78,第六章 多媒体数据库与基于内容检索,2.VisualSeek 系统 美国哥伦比亚大学图像和高级电视实验室开发的。它实现了互联网上的“基于内容”的图像/视频检索系统，提供了一套工具供人们在Web上搜索和检索图像和视频。优点：高效率的WEB图像信息检索，采用了先进的特征抽取技术，用户界面强大，操作简单，查询途径丰富，结果输出画 面生动，支持用户直接下载信息。,