第5章数字视频1课件.ppt
第 5 章 数字视频(1),2023/1/11,南京大学多媒体研究所,2,内容,1.视频基本知识2.数字视频3.数字视频的输入和输出,一、视频的基本知识,2023/1/11,南京大学多媒体研究所,4,1 什么是视频,视频(video)：随时间变化其内容的一组图象(24,25,30帧/秒)，又叫运动图象或活动图象(motion picture)。常见视频信号：电视，电影，动画等.视频信号的特点：内容随时间而变化,伴随有与画面动作同步的声音(伴音),人类接受的信息70%来自视觉,其中活动图象是信息量最丰富、直观、生动、具体的一种承载信息的媒体。视频信息的处理是多媒体技术的核心。,2023/1/11,南京大学多媒体研究所,5,电 视,电视是当代最有影响力的信息传播工具!3种彩色电视制式:NTSC制(正交平衡调幅制),美国、加拿大，台湾、日本、韩国、菲律宾等采用PAL制(逐行倒相正交平衡调幅制),德国、英国，中国、朝鲜等采用SECAM制(顺序传送彩色与存储制),法国、苏联及东欧国家采用.,2023/1/11,南京大学多媒体研究所,6,电视图象摄取,传输和重现的过程,拍摄图像和播放图像都采用“光栅扫描”(raster scan)的原理。,摄象机摄取景物时，把自然景物的颜色分解为R,G,B 三个分量,在彩电信号传输中，用Y,C1,C2分别表示亮度信号和两个色差信号，C1,C2的含义与彩电的制式有关。,电视接收机把Y,C1,C2信号重新转换为R,G,B进行显示.,2023/1/11,南京大学多媒体研究所,7,光栅扫描(raster scan),隔行扫描(interlaced,电视图象采用),逐行扫描(progressive,计算机显示图象时采用),2023/1/11,南京大学多媒体研究所,8,2 视频信号的空间特性,vertical resolution,aspect ratio(4:3 or 16:9),2023/1/11,南京大学多媒体研究所,9,视频信号的时间特性（1）,动作连贯性感觉的要求：帧频=15f/s；无闪烁感觉的要求：画面刷新速率必须=每秒50次。PAL制式：帧频为25 帧/s,场频50场/s；NTSC制式：帧频是30 帧/s,场频是60场/s电视扫描信号的行频：PAL：625 x 25=15.625 kHz，周期为64s;NTSC：525 x 30=15.75 kHz，周期为63.5s,2023/1/11,南京大学多媒体研究所,10,视频信号的时间特性（2）,模拟信号传输电视节目时的带宽：PAL制式是8.0MHz（亮度信号为5.5 MHz，2个色度信号均为1.8 MHz），NTSC制式是6.0MHz（亮度信号为4.2 MHz，2个色度信号均为1.0 MHz）。,全屏光点总数:575*(4/3)*575=440 kb(P)484*(4/3)*484=310 kb(N),视频信号最高频率:440 k*25/2=5.5MHz(P)310 k*30/2=4.65MHz(N),2023/1/11,南京大学多媒体研究所,11,3 电视信号的彩色空间（1）,在彩色电视中，用Y、C1,C2彩色表示法分别表示亮度信号（Luminance或Luma）和两个色度信号（Chrominance或Chroma）。C1，C2的含义与具体的电视制式有关:,2023/1/11,南京大学多媒体研究所,12,电视信号的彩色空间（2）,YUV空间(PAL)亮度分量 Y=0.3*R+0.59*G+0.11*B色度分量 U=(B-Y)*0.493色度分量 V=(R-Y)*0.877YIQ空间(NTSC)亮度分量 Y=0.3*R+0.59*G+0.11*B色度分量 I=0.6*R-0.28*G-0.32*B色度分量 Q=0.21*R-0.52*G+0.31*B(优点：与黑白电视兼容；有利于压缩信号带宽),2023/1/11,南京大学多媒体研究所,13,电视信号的彩色空间（3）,YCrCb是国际通用的CCIR601数字电视信号中使用的彩色空间，它由YUV彩色空间经过缩放和平移得到。Y值的额定范围在16-235之间，Cr和Cb在16-240之间，具体的转换公式如下：Y=(77/256)*R+(150/256)*G+(29/256)*BCr=(131/256)*R-(110/256)*G-21/256)*B+128Cb=-(44/256)*R-(87/256)*G+(131/256)*B+128,2023/1/11,南京大学多媒体研究所,14,电视信号的彩色空间（4）,使用Y、C1，C2彩色空间的优点：Y和C1，C2是独立的，因此彩色电视和黑白电视都可以使用，Y分量可由黑白电视接收机直接使用而不需做任何进一步的处理；可以利用人的视觉特性来节省信号的带宽和功率，通过选择合适的颜色模型，可以使C1，C2的带宽明显低于Y的带宽，而又不明显影响彩色图像的质量。,2023/1/11,南京大学多媒体研究所,15,4 彩色电视信号的若干形式,模拟形式：模拟复合信号模拟分量信号模拟S-video信号数字形式：数字复合信号数字分量信号,2023/1/11,南京大学多媒体研究所,16,（1）复合电视信号,复合电视信号(composite video signal)：由亮度、色度信号及同步信号复合而成的单一信号，也称为全电视信号.复合电视信号 适合于进行远距传输，其质量称为VHS（家用级)。,2023/1/11,南京大学多媒体研究所,17,复合电视信号,为便于电视信号远距传输，必须把三个分量信号以及同步信号复合成一个信号，然后才进行传输。CVBS=Y+a*U*Sin(Wsc*t)+b*V*Cos(Wsc*t)(Wsc 为副载波频率)伴音信号与视频信号也复合在一起传输。,2023/1/11,南京大学多媒体研究所,18,（2）分量电视信号,为保证视频信号质量，近距离时可用分量视频信号(component video signal)传输,分量信号是指每个基色分量(R,G,B 或 Y,U,V)作为独立的电视信号传输。(Betacam，广播级或专业级).视频节目制作时使用的是分量视频信号计算机输出的视频信号，是分量形式的视频信号。,2023/1/11,南京大学多媒体研究所,19,（3）S-Video信号,S-Video是亮度(包含同步信号)和色度(2个色度信号复合在一起)互相分离的一种电视信号，优点：减少亮度信号和色度信号之间的交叉干扰；不需要使用梳状滤波器来分离亮度信号和色度信号，这样可提高亮度信号的带宽。,S-Video使用单独的两条信号线分别传输亮度信号和色度信号，这两个信号称为Y/C信号。S-Video使用4针连接器,二、数字视频,2023/1/11,南京大学多媒体研究所,21,1 为什么使用数字视频？,易于编辑、修改等操作处理用户接收的图像质量更好(可达演播室水平)有利于存储，信息复制不会失真有利于传输(抗干扰能力强)节省频率资源(占用频道较窄)可以通过公共电信网和计算机网传输可以与其它媒体组合使用可以生成描述信息（bits about bits）,便于信息的检索和使用,2023/1/11,南京大学多媒体研究所,22,2 视频信号的数字化,视频信号数字化过程:,亮度信号的取样频率:13.5MHz,U,V色度信号的取样方式有多种不同格式,2023/1/11,南京大学多媒体研究所,23,亮度信号的取样（CCIR601）,ITU-R BT.601标准(CCIR601,美国称为D1标准)，对3种制式电视的取样频率和有效分辨率都作了统一规定。每一行的像素数目:PAL:13.5MHz=62525N=15625N,N=864NTSC:13.5 MHz=52530N=15734N,N=858 有效（可显示）像素 均统一为：720,2023/1/11,南京大学多媒体研究所,24,色度信号的取样（CCIR601）,人对颜色的敏感程度远不如对亮度信号那么灵敏，所以色度信号的取样频率可以比亮度信号的取样频率低，以减少数字视频的数据量。色度信号的取样频率有4种:,2023/1/11,南京大学多媒体研究所,25,色度信号的4种取样格式,2023/1/11,南京大学多媒体研究所,26,名称 亮度(Y)色度(Cb,Cr)(行数/帧)(像素/行)(行数/帧)(像素/行)取样格式CCIR601 576 720 576 360 4:2:2CIF 288 360 144 180 4:2:0QCIF 144 180 72 90 4:2:0SQCIF 96 128 48 64 4:2:0,常用数字视频信号的规格,(CCIR601 ITU-R 601),亮度的取值范围:16(黑)-235(白)色度的取值范围:16-240,2023/1/11,南京大学多媒体研究所,27,3 视频信号的数字化,视频信号数字化有2种情况:1 模拟复合视频信号的数字化,2 模拟分量视频信号的数字化.,2023/1/11,南京大学多媒体研究所,28,模拟复合视频信号的数字化,把复合视频信号或YC信号进行模数转换。例如使用8位AD转换器，得到8位数字化的值,把亮度(Y)和2个色度(C)信号分开。分离后Y的数值范围为4-200，仍包含同步和消隐信息；色度信号是经调制的色度信号，取值范围为082(NTSC)或087(PAL)。,接收调制的数字色度信息，经过解调，输出基带 I,Q(NTSC)或 U,V(PAL)色度信号，即恢复出NTSC或PAL制的色度信号,按需要对对比度、亮度和饱和度进行调节,完成从YIQ或YUV颜色空间到RGB和YCrCb颜色空间的转换,2023/1/11,南京大学多媒体研究所,29,分量视频信号的数字化(方案1),进行低通滤波,防止走样现象的发生,进行取样和8位A/D转换(配置成能产生16-240/235范围内的数据输出),使用ROM(RAM)组成的查色表实现必要的校正,把采样频率从13.5MHz降到6.75MHz，产生4:2:2 YCrCb数据输出,2023/1/11,南京大学多媒体研究所,30,分量视频信号的数字化(方案2),进行低通滤波,彩色空间转换,输出范围为16-235(Y)和16-240(Cr和Cb),2023/1/11,南京大学多媒体研究所,31,4 常见数字视频格式,AVIRM，RMVBASF和WMV文件MOV文件MPEG文件DAT文件,3 计算机中视频信息的I/O,2023/1/11,南京大学多媒体研究所,33,1 PC机视频应用举例,视频帮助窗口（Video help windows）；电子文档中的视频标注(Video notes within a document)；远程视频会议（Video teleconferencing）；CD-ROM及网络服务器上的视频播放（CD-ROM and network servers）；视频编辑和教学等（Video editing）；收看电视（Video viewing）；视频辅导/交互式教学(Video tutorials/interactive teaching),2023/1/11,南京大学多媒体研究所,34,视频信号I/O的复杂性,(1)计算机图形显示技术发展迅速,使模拟视频信号的图像分辨率和画面刷新速率与计算机图形显示器有很大差别。(2)计算机显示器是逐行扫描方式，显示质量很高。这就需要在视频输入时进行扫描方式由隔行到逐行的转换(又称逐行化)，而在视频输出时再进行逐行到隔行的转换。(3)视频信息应纳入到图形用户界面(GUI),与图像/图形进行统一的操作;反之，计算机屏幕上任意位置任意窗口的显示内容也应该能转换成为视频信号输出。,2023/1/11,南京大学多媒体研究所,35,PC中音/视频信息I/O的概念结构,2 视频获取设备,2023/1/11,南京大学多媒体研究所,37,视频卡,视频卡的产品类型:1 视频采集(捕获)卡。将模拟视频信号转换为数字视频并存入硬盘,采集的视频数据可以压缩或不经压缩存储2 视频输出卡。将计算机输出的视频信息转换成标准的模拟电视信号,供录像带记录或用电视机收看，具有这种编码功能的接口卡叫视频输出(编码)卡(TV Coder)3 电视接收卡。视频采集卡缺少高频电视信号的接收、调谐电路，电视接收卡即用来完成这一任务4 视频压缩卡。目的是压缩数字视频的数据量，需遵循国际标准,分成实时处理和非实时处理两种。,2023/1/11,南京大学多媒体研究所,38,视频捕获(采集)卡的功能,从多种视频源中选择一种作为视频输入;支持不同的电视制式;能同时处理图像信号的伴音;可在显示器上监看输入的视频信号,其位置及大小可调;能将计算机生成的图像/图形/文本与视频图像迭加处理;可随时冻结(定格)一幅画面,并按指定格式保存;可 实时压缩与存储视频及其伴音信息;可 实时解压缩并播放视频及其伴音信息,输出设备可选(VGA监视器、电视机、录相机等),2023/1/11,南京大学多媒体研究所,39,视频采集(捕获)卡的结构,2023/1/11,南京大学多媒体研究所,40,数字摄像头,最高分辨率为640480，一般都是352288，速度一般在30fps（每秒30帧）以下，镜头的视角可达到45-60度,支持USB接口 或FireWire（火线）接口。,2023/1/11,南京大学多媒体研究所,41,数码摄像机,提供480线以上的分辨率，清晰度高，自动对焦(Auto focus)，自动曝光(Auto Expose)，使用M-JPEG或MPEG-2进行压缩编码，然后记录在磁带或磁盘上，提供录音功能，数据量很大，采用USB接口或IEEE1394（FireWire）接口，后者传输速率可以达到200-800MB/s。,2023/1/11,南京大学多媒体研究所,42,3 视频信息在图形显示器上的显示,图形控制卡也称显示卡、视频卡等，作用是：存储正在屏幕上显示的图像数据；将RGB三基色的数字信号转换为模拟信号，协助CPU完成图像的生成和修改(更新)图形卡及CRT显示器的分辨率、帧频、扫描方式、彩色空间等与视频信号差异较大，为了在图形/图像显示设备上监看输入的视频信息,图形控制卡的结构必须进行修改和扩展;,2023/1/11,南京大学多媒体研究所,43,(1)图形/视频简单叠加方案,要求视频的时序必须与计算机图形数据的时序相同。如果输入视频信号是50Hz或60Hz隔行扫描方式，那么图形控制器必须也能以50Hz或60Hz隔行扫描方式操作。,处理像素数据,完成校正,生成模拟 RGB视频信号,控制视频和图形数据之间的切换,把输入视频的时序信号(HSYNC,VSYNC和像素时钟)来控制图形控制器的时序,2023/1/11,南京大学多媒体研究所,44,(2)分离的图形帧存储器与视频帧存储器结构,视频帧存储器与图形帧存储器的大小一样,切换或按优先权叠加,定义视频窗口,以双缓冲存储器方式工作,实现帧速率转换,2023/1/11,南京大学多媒体研究所,45,分离的图形帧存储器与视频帧存储器结构,功能:输入的视频信号可以与图形/图像同时进行显示;视频显示窗口可任意大小,任意位置;视频信号的帧频容易与图形显示器的帧频同步;缺点:使用额外的存储器来实现视频帧的存储,代价高;多于一个视频源时，视频帧缓冲存储器的带宽将会增加。,2023/1/11,南京大学多媒体研究所,46,(3)统一的帧存储器结构,临时保存视频数据，直到可访问帧存储器时为止,统一使用一个帧存储器，把视频数据当成是 另一种可写到图形帧存储器中的数据类型;显示分辨率可变，在多个帧存和多个监视器 时不影响视频功能;帧存储器的容量与视频源数目无关.,2023/1/11,南京大学多媒体研究所,47,4 模拟视频信号的生成与输出,需求:将计算机输出的视频信号转换成NTSC、PAL或SECAM制式的模拟电视信号,用于把电视信号记录到录像带上，供电视播出使用.将计算机输出的视频信号转换成数字分量视频或数字复合视频信号,用于把数字视频信号记录到数字磁带记录机上。,2023/1/11,南京大学多媒体研究所,48,模拟复合彩色电视信号的输出1,2023/1/11,南京大学多媒体研究所,49,模拟复合彩色电视信号的输出2,先进行颜色空间转换，将数字RGB颜色信号转换为YIQ(NTSC)和YUV(PAL)，生成数字亮度(Y)数据与数字色度(C)数据；然后把它们相加在一起形成数字彩色视频信号,最后经8位DAC生成0-1.3V的模拟复合视频信号,
