第7章多媒体数据的分布式处理.ppt

第7章 多媒体数据的分布式处理,7.1 分布式多媒体系统（DMS）,7.1.1 分布式多媒体系统的概念分布式多媒体系统（DMS）是一种融合了通信、计算机和信息技术的综合系统。在物理结构上，它是通过网络将若干多媒体通信终端、多媒体服务器以及交换设备连接而成的系统，该系统能够实现同步的多媒体信息的处理、管理和传播，同时又拥有QoS保证。在通信领域，通常称该系统为多媒体通信系统，而在计算机领域，则被称为分布式多媒体系统。,多媒体的继承性、交互性与通信结合起来，可以发挥更大的作用，但需要分布处理能力；分布式处理使通信和计算机两个领域都发生深刻变化，并产生了一批新的应用领域，如实时会议系统、计算机协同工作系统、电子报纸共编和发行系统、家庭信息服务和娱乐等；,分布式多媒体系统DMS图中展示出该系统的输入和输出部分。所谓输入指的是分布式多媒体系统从概念到实现所需的多个重要的因素，而输出则表示分布式多媒体系统的应用。从图中可以看出，系统的输入部分由三部分组成。,第一部分是与DMS相关的产业，包括远程通信、有线电视、娱乐、计算机以及电子购物等；第二部分为开发一个DMS所涉及的问题，包括相关技术、标准、规则、版权、市场、社会及人的因素；第三部分为三个子系统：信息子系统、通信子系统和计算子系统。系统的输出部分可以划分成三种不同类型的分布式多媒体应用，分别是ITV（电视导航）、多媒体远程协作以及超媒体。,7.1.2 分布式多媒体系统的结构,根据不同的分布式多媒体应用，分布式多媒体系统具有不同的结构。通常分布式多媒体系统的收、发两端是分离的,7.1.3 分布式多媒体系统的服务模型,目前在分布式多媒体系统中广泛采用的是客户/服务器（Client/Server）模型，其中服务器可为其它计算机提供各种网络服务，如数据、文件的共享，压缩编码和解码等，那些用于访问服务器资料的计算机则被称为客户端。从用户观点，客户机/服务器模型就是客户机首先提出服务请求(RPC)，系统根据资源分配来决定访问相应的服务器，服务器执行所需的功能，完成一个远程调用过程后，将结果返回客户机。客户机和服务器是通过网络或分布式低层网络互连而实现这样一个完整的请求和服务过程。客户机/服务器实质是指分布式系统中两个进程之间的关系，更确切地说，客户机和服务器都是进程，两个进程要互相通讯并建立合作关系。,7.1.4 分布式多媒体系统的特征,分布式多媒体系统中对多媒体信息的处理形式采用了分布式处理方式。所谓分布式处理就是通过统一控制对纳入分布处理过程中的对象进行处理及通信。可见合作活动中要求进行有效地协调，这样才能正常完成所有的任务。DMS所具有的特征如下：1技术综合性（Technology Integration）2实时多媒体综合性（Real-time Multimedia Integration）3提供系统内的QoS支持4交互性（Interactivity）5多媒体同步支持（Multimedia synchronization support）6标准化支持（Standardization support）,7.2 DMS的操作及管理,DMS综合了信息、计算、通信子系统中的各项技术，以实现多媒体应用。它所采用的技术包括：确保端到端QoS服务质量的资源管理技术；用于正确表现多媒体数据所采用的多媒体同步技术既能减少存储量又能降低传输时对带宽的要求所采用的数据压缩技术；为了处理多媒体数据所使用的多媒体操作系统支持多媒体通信的网络技术用于存储、捕获并发布多媒体信息的媒体服务器,7.2.1 分布式多媒体系统的QoS管理1基本概念（1）服务质量（QoS）将QoS定义为：“QoS描述了关于一个服务的某些性能特点，这些性能特点是用户可见的，它以用户可理解的语言表述为一组参数。这些参数具有客观值或主观值。”其中客观值可以是抖动时延和峰值速率等，它们是描述系统行为性能的参数，而主观值可以是优先级和访问权限，这些是描述系统服务性能的参数。通常不同网络根据各自的特点所提出的描述QoS的参数不同。,（2）服务质量（QoS）的保证一般可以分为如下三种等级。确定型（Deterministic）QoS保证：它是指在通信过程中通信各方已商定的QoS参数值不发生改变，例如远程医疗中的医学影像和数据都应提供这种级别的QoS保证。统计型（Statistical）QoS保证：它是指在通信过程中允许通信各方已商定的QoS参数值发生一定程度的改变，VOD视频点播就属于这类典型服务。尽力而为型（Best-effort）QoS保证：它是指不提供任何QoS保证，IP网中的大量多媒体应用就属于这类服务。,2服务质量（QoS）的分层人们采用分层的方法以便更好的研究端到端的QoS,（1）用户层用户层的QoS是由用户根据自身的主观感觉提出的，但是如果用户提出过高的要求就会占用大量的系统资源，因此应该通过计费的方式限制用户的这种行为，使用户得到最佳的性价比。（2）应用层 应用层的QoS是通过用户层的QoS映射而来的，用户通过设置相关的参数值来指定所需QoS的应用服务，应用层的QoS参数可以从两个方面来描述：一个是根据各种媒体，例如音频、视频、数据等自身的特点确定信息速率、最大抖动等QoS参数；另一方面是根据各媒体间的关系提出同步质量与实时性的QoS要求。（3）系统层系统层的QoS是通过应用层的QoS映射而来，它描述了对系统工作的要求，例如对操作系统的要求。其QoS参数可以从吞吐量、缓冲区大小、流间的同步等方面来描述。（4）网络/设备层网络层的QoS参数可以从比特率、网络连接的响应时间等网络流量和丢包率、网络层端到端延迟等网络性能方面来描述。,3服务质量（QoS）的管理,QoS管理是指系统按照一定的管理策略，通过对系统资源进行调整与管理，从而得到通信过程中的QoS保证。可见QoS管理的目的就是充分利用各种资源，以实现用户要求的QoS。,建立连接 QoS协商和QoS映射 接入测试和资源预留/分配 通知连接已建立,保持连接 QoS维护 QoS监测 QoS自适应,断开连接,4.IP网络的QoS保证传统的IP网络是一个“尽力而为”型的网络，不适合实时的多媒体信息的传输，需要建立一定的QoS保证机制来满足多媒体业务的传输。几种服务模型和机制如下：综合服务模型（IntServ）和资源预留协议（RSVP）区分服务模型（DiffServ）多协议标签交换（MPLS）,7.2.2 分布式多媒体系统的操作系统,分布式多媒体系统的核心是分布式多媒体操作系统，操作系统（OS）是一个系统软件，用来管理和控制计算机的软、硬件资源，例如CPU、内存、I/O设备、文件等，给用户提供一个有效并且方便的工作环境，在分布式多媒体操作系统中对传统操作系统的性能进行了扩展以便满足多媒体应用的要求。传统操作系统操作系统是系统软件中的最基本的部分，用于管理和调度计算机系统资源，并为用户提供友好的接口和服务。处理器CPU、内存管理、进程管理提高内部各部分间的并行性，提高程序的执行效率,分布式操作系统由多台计算机组成的系统，其中所有计算机都是平等的，当其中一台计算机发生故障时不会影响到其他计算机的正常工作。与传统的单机操作系统相比，分布式操作系统具有如下特点：进程通信操作系统的主要功能之一就是进程通信。资源管理操作系统的另一个主要功能是资源管理。系统结构多内核,多媒体操作系统应是一个既能满足多媒体应用的QoS要求又能够对多媒体数据进行实时处理的实时多媒体操作系统。传统操作系统的不适应性：CPU调度算法不适应不能根据QoS变化随时动态调整多媒体任务优先级内存管理不适应多媒体应用对内存分配以数据为中心，连续存放I/O总线管理不适应数据传送，传统操作系统的数据多次拷贝会增加延时文件系统不适应多媒体应用的文件，具有连续流特性,多媒体操作系统：在传统操作系统的功能基础上进行了扩展，是一个实时操作并实现基于QoS的资源管理建立在各种多媒体硬件设备驱动程序之上具有图形和声像功能的用户接口、能够驱动和控制多媒体硬件设备进行实时任务调度转换多媒体数据实现同步控制和支持连续媒体的文件系统CPU管理内存管理I/O管理文件系统管理,7.2.3 分布式多媒体系统的终端设备,1多媒体终端硬件形式目前常用的多媒体终端可以分为两种形式：一种是对通用计算机加以扩充，使其具备集成化、交互性的同步处理能力，从而构成多媒体计算机终端；另一种是采用特定的软硬件设备制作而成的针对某种具体应用的专用设备，如机顶盒、多媒体会议终端和可视电话等。机顶盒一般具有如下功能：通信功能人机交互控制功能信号解码功能信息显示功能,2多媒体终端外部设备接口随着计算机技术和多媒体技术的迅速发展，多媒体终端设备，尤其是多媒体计算机终端为了扩展其功能所接入的外围设备越来越多，并且向微型化、智能化、多功能化方向发展，可见原有的计算机外设接口越来越不能满足人们的需要。USBIEEE-1394接口,3多媒体终端的相关标准多媒体终端设备在接入网络时必须遵从相应的国际标准，以达到不同国家和不同厂家生产的设备可以互通的目的多媒体会议和可视电话等视听通信系统标准H系列标准(建议)H.320 N-ISDN视听业务标准H.310/H.321 ATM视听业务标准H.322/H323局域网视听业务标准H.324公用电话网视听业务,7.2.4 分布式多媒体系统的媒体服务器,在分布式多媒体系统中普遍采用的服务模型是客户/服务器模型。其中服务器起着非常重要的作用，它是一种高集成度的音视频处理器，能够提供音视频的多媒体服务，因此这种服务器就是媒体服务器。1媒体服务器的分布式体系结构媒体服务器可以基于一台通用计算机，或一台高级工作站，或者基于一个专用的硬件平台。而在分布式多媒体系统中，媒体服务器可以采用分布式层次结构，将媒体服务器的功能分布在网络中的若干台计算机中，由若干台计算机分别承担一部分功能以解决媒体服务器的存储负担和输入输出的负担，使得低端计算机也能够通过作为服务器网络的一个节点，与其它计算机节点联合起来提供高质量的服务。,2媒体服务器涉及的关键问题为了保证连续媒体流实时地被用户播放，媒体服务器必须要在一个限定的时间内完成数据的读取。读取数据的时间与磁头定位到磁盘中的某一数据块位置所需要的时间有关，即磁头的寻道时间和划分的数据块大小有关。下面我们从三个方面对相关的技术进行讨论。数据块数据布置磁盘调度技术,多媒体数据格式会因应用要求的不同而不同,流媒体实际上是一种新的媒体传输技术,7.3 流媒体技术,一、什么是流媒体,网络上的多媒体信息，有两种传输方式：,(a)下载方式：,延迟大：AV文件大，存储容量大，网络带宽有限,(b)流式传输：,启动延时小：实时传送，降低了缓存容量的需求,流式传输，可以实现“边下边看”，不必等到下载完整个多媒体数据文件，启动延时后，多媒体的播放和下载并行处理。,二、流媒体通信原理,(1)用户通过HTTP/TCP与Web服务器交换信息：,获得流媒体服务清单，向媒体服务器请求相关服务,(2)客户机的Web浏览器启动相应的媒体播放器：,通过RTP/UDP从媒体服务器中获得流媒体数据、实时播放,(3)客户机播放器需实时与媒体服务器交换控制信息：,通过RTCP/UDP交换控制信息，媒体服务器根据客户机反馈的流媒体接收情况智能调整向客户机传送媒体数据流，从而在客户端达到最优的接收效果,例：网络直播系统,实现流式传输的两种方式：,实时流式传输,使用流式传输媒体服务器，或应用RTSP的实时协议,顺序流式传输,文件顺序发送，使用HTTP服务器,1.顺序流式传输,优点：,顺序下载、期间传输速度不能调整 标准HTTP服务器发送、无需其他协议,缺点：,适合发布高质量的短片，如片头、片尾或广告等,对网络要求不高：可通过Modem发布,管理容易：顺序流式文件放于http或ftp服务器,不适合长片断和有随机访问要求的视频,不支持现场广播,2.实时流式传输,QuickTime Streaming Server、RealServer,适合：,保证媒体信号带宽与网络连接匹配，使媒体实时可见,实时传送，适合现场事件,支持随机访问,需要专用的媒体服务器与传输协议,以Modem连接，图像质量较差,允许对媒体发送进行更多级别的控制,协议：rtsp/mms,三、流媒体实现原理,首先，通过压缩使多媒体数据适合流式传输；,然后，通过架设流媒体服务器，修改MIME进行标识,最后，通过各种实时协议传输流媒体数据,1.预处理,编码方式可以多种多样：,采用先进高效的压缩算法 加入一些附加信息形成适合流式传输的文件格式,编码过程必须综合考虑：,各大公司均提供了关于编码、流式传送、以客户观看等方面、享有专用权的方案；,编码速度：20kbps300kbps,甚至1Mbps,不同编码速度的定制性能、包损失的容错性、网络的带宽波动、最低速率下好的A/V品质、编码/流式传送的成本、流的控制等等,2.支持流媒体传输的网络协议,(1)实时传输协议RTP,Internet上针对多媒体数据流的一种传输协议,(2)实时传输控制协议RTCP,和RTP一起提供流量控制和拥塞控制的服务,(3)实时流协议RTSP,定义了一对多的应用程序如何有效地传送多媒体数据,(4)资源预留协议RSVP,在一定程度上为流媒体的传输提供QoS,3.识别流媒体类型的途径-MIME,HTTP通过MIME来标识Web上繁多的多媒体文件格式,Web服务器和Web浏览器均基于HTTP,而HTTP都内建有MIME,Web服务器和Web浏览器可通过MIME来识别流媒体，并作出相应的处理,四、流媒体播放方式,(1)单播：客户端和媒体服务器间需建立一单独的数据通道,造成服务器负担沉重,(2)组播：允许路由器一次将数据包复制到多个通道,提高了网络利用率,(3)点播/广播：,点播：客户端主动与服务器连接,广播：用户被动接收流,五、流媒体文件格式,(1)庞大的媒体数据信息首先要进行压缩,媒体压缩格式,(2)为了方便传输，需要对压缩后的文件进行分割,媒体流格式,(3)要在IP网上传播，还要将一定的格式告诉用户,媒体的发布格式,1、压缩媒体文件格式,通过一定的压缩算法，去掉大量的冗余信息，形成压缩媒体文件。,采用文件传送方式：减少延时和存储空间；实现边下载边播放，并保证一定的播放质量,RealMedia、ASF、MOV、SWF,2、流文件格式,(1).RealMedia,(a)RealVideo,主要用于低速率广域网上实时传输活动视频,(b)RealAudio,用以传输接近CD音质的音频数据,(c)RP(RealPix),允许直接将图片文件通过Internet流式传输到客户端,(c)RT(RealText),可使让文本从文件或者直播源流式发放到客户端,跨平台的多媒体应用规范、网上全带宽的多媒体回放、实现网络在线播放，上网查找和收听、收看广播、电视,(2).ASF,特点,支持在各类网络和协议下进行数据传递(公开标准),ASF是一种数据格式，也可用于指定实况演示的格式,最适于通过网络发送多媒体流，也同样适于在本地播放,任何压缩解压缩运算法则都可以用编解码ASF流,Microsoft为了和现在的RealPlayer竞争而发展起来的一种可以直接在网上观看视频节目的文件压缩格式,(3).MOV,(a)这是极具弹性的存储格式,没强制要求用户将媒体资料存成 QuickTime Movie文件，但它是一种方便而强大的多媒体文件格式，要比微软早期推出的AVI文件格式强,(b)用它作为分散式多媒体系统是比较理想的环境,QuickTime Movie文件格式不受系统平台、系统开放性、可延伸性的约束,Apple计算机公司开发的一种音频、视频文件格式，用于保存音频和视频信息，具有先进的视频和音频功能,QuickTime文件格式优点,(a)支持24位彩色，支持RLE、JPEG等领先的集成压缩技术,(b)提供150多种视频效果，并配有提供了200多种MIDI兼容音响和设备的声音装置,(c)新版的QuickTime进一步扩展了原有功能，包含了基于Internet应用的关键特性，能够通过 Internet提供实时的数字化信息流、工作流与文件回放功能,(d)QuickTime还采用了一种称为QuickTime VR(QTVR)技术的虚拟现实(Virtual Reality，VR)技术,(4).SWF,采用矢量图形方法,生成的文件很小，但质量却丝毫不变，已播放的质量不随画面的放大而变差,与RealNetwork公司进行合作，一同推进流媒体的服务,SWF（Shock Wave Flash）是 Micromedia公司推出的一种动画格式,3、媒体发布格式,将流媒体的一定格式告诉用户，通俗地讲就是播放列表,单个媒体发布格式能包含不同类型媒体的所有信息，如计时、多个流同步、版权和所有人信息,实际视听数据可位于多个文件中，而由媒体发布文件包含的信息控制着流的播放,六、流媒体系统的基本构成,包括：媒体内容制作、媒体内容管理、用户管理、视频服务器和客户端播放系统。,1、媒体内容制作,媒体内容制作模块可进行Stream的制作与生成。包括从独立的视频、声音、图片、文字组合到制作丰富的流媒体的一系列的工具，产生Stream文件可以存储为固定的格式,转档/转码软件：压缩转换为流格式文件，常见软件有Real Producer、Windows Media Encoder,流媒体编辑软件：对流媒体文件进行编辑,合成软件：将各类图片、声音、文字、视频、幻灯片或网页同步，并合成为一个流媒体文件。常见软件有RealSlidshow、RealPresenter、Windows Media Author等。,2、媒体内容管理,媒体内容管理包括流媒体文件的存储、查询及节目管理、创建和发布:文件系统、数据库管理系统,(a)视频业务管理媒体发布系统,包括广播和点播的管理、节目管理，创建、发布及计费认证服务，提供定时按需录制、直播、传送节目的解决方案，管理用户访问及多服务器系统负载均衡调度的服务。,(b)媒体存储系统,海量存储、具有高性能的数据读写能力,(c)媒体内容自动索引检索系统,对媒体源进行标记，捕捉音频和视频文件并建立索引,媒体分析软件：可以实时地根据屏幕的文本来识别,索引和编码：允许同时索引和编码，使用先进的技术实时处理视频信号，而且可以根据内容自动地建立一个视频数据库（或索引）,3、用户管理,用户管理主要进行用户的登记、授权、计费和认证。,用户身份验证：可以限制非法用户使用系统，只有合法用户才能访问系统。通常可根据不同的用户身份，提供对系统不同的访问控制功能。,计费系统：根据用户访问的内容或时间进行相应的费用统计。,包括订金、VOD、出租、所有权、BtoB的多级内容分发版权管理领域等，是运营商保护内容和依靠内容赢利的关键技术保障。,4、视频服务器,视频服务器是网络视频的核心，直接决定着流媒体系统的总体性能。,为了能同时响应多个用户的服务要求，视频服务器一般采用时间片调度算法。,要求：存储量大，数据率高,媒体系统通常支持多服务器协同工作，服务器之间能自动进行负载均衡,使用Darwin 流服务器实现Linux下的视频点播系统,http:/,使用Helix server实现Windows下的视频点播系统,http:/,5、客户端系统,流媒体客户端系统支持实时音频和视频直播和点播，可以嵌入到流行的浏览器中，可播放多种流行的媒体格式,在带宽充裕时，流式媒体播放器可以自动侦测视频服务器的连接状态，选用更适合的视频，以获得更好的效果。,RealPlayer、Media Player、QuickTime,(1)、RealPlayer,RealNetworks公司在流媒体领域起步较早，其系统由三个部分构成：捕捉媒体文件并进行压缩编码的Real Producer或Real Encoder、服务器系统Real Server和客户端播放软件Real Player,从Real System G2系统开始，使用了智能流技术,支持从28.8kbps窄带视频质量到500kbps的VHS，直至 1000kbps的DVD视频质量；可根据客户端的接入速率自适应提供合适压缩率的流；支持多种操作系统,(2)、Windows Media Player,Microsoft公司的Windows Media系统包括 Windows Media Server、Windows Media Tools和Windows Media Player三个部分,提供较强的扩展性、灵活性和方便性,与Real Player一样，根据网络速率自动调整播放速率以获得最佳播放效果,自动检测客户端是否安装解码软件,不仅能播放流式视音频，而且能播放所有的音频和视频点播格式,(3)、QuickTime,苹果公司推出的能在计算机上播放高品质视频图像的技术，是数字媒体领域事实上的工业标准；由三个不同部分组成：QuickTime电影(Movie)文件格式、QuickTime媒体抽象层及QuickTime内置媒体服务系统,QuickTime媒体抽象层是一种综合性的媒体软件架构,QuickTime电影文件格式定义了存储数字媒体内容的标准方法,QuickTime内置媒体服务系统则可作为软件开发工具的基础,QuickTime的特点,支持IETF流标准以及RTP、RTSP、SDP、FTP和HTTP等网络协议；,具有目前最高音频和视频播放质量的播放器，内置Web浏览器插件(Plug-in)技术；,支持多种视频和动画格式；,它不仅提供了一个播放控制平台，还新増了一个类似于IE的收藏夹，QuickTime Player还支持多个窗口的同步播放。,七、流媒体的应用,1.流媒体应用类型,流媒体应用可以根据传输模式、实时性、交互性粗略地分为多种类型,实时性是指视频内容源是否实时产生、采集和播放；,传输模式主要是指流媒体传输是点到点的方式还是点到多点的方式；,交互性是指应用是否需要交互，即流媒体的传输是单向的还是双向的,2.常见的流媒体的应用,(2)视频广播,(1)视频点播,(3)Internet TV,(6)远程教学,(7)电视上网,(4)视频监视,(5)视频会议,(8)音乐播放,(9)在线电台,多媒体流调度算法,多媒体流的调度随VoD发展起来初期：重点在磁盘调度、海量存储等VoD系统的服务能力，相关：硬件利用率、资源调度、服务机制、用户互交,受制于硬件，服务器的I/O能力和网络带宽不能无限提高,典型的流媒体调度算法分为：静态调度算法：服务器推模式，不考虑用户动态行为动态调度算法：客户拉模式，用户请求，服务器按一定调度算法响应,静态调度算法,优点结构简单，不受用户动态行为的影响公平性高，对于不同用户而言，系统提供的服务性能相似对用户访问频率不敏感,缺点提供QoS不高，延时长不支持交互操作(VCR操作),动态调度算法,优点启动延时小支持用户VCR操作,缺点算法结构复杂公平性较差,多媒体流的静态调度算法,周期广播算法,金字塔算法,Permutation Pyramid算法,摩天大楼(skyscraper)算法,多媒体流的动态调度算法,FCFS(First In First Serve)算法,客户端缓冲算法,Batching算法,Adaptive Piggybacking算法,SMP(split and merge protocol)算法,补丁算法,