第1章虚拟现实技术概述.ppt

虚拟现实技术及应用,第1章 虚拟现实技术概论,1.1虚拟现实技术的发展史1.2虚拟现实技术的概念1.3虚拟现实技术的特征1.4虚拟现实系统的分类1.5虚拟现实技术的应用领域1.6虚拟现实技术的研究现状,虚拟现实技术,虚拟现实技术（Virtual Reality）简称VR技术，是20世纪末逐渐兴起的一门综合性信息技术，融合了数字图像处理、计算机图形学、人工智能、多媒体、传感器、网络以及并行处理等多个信息技术分支的最新发展成果。,1.1虚拟现实技术的发展史,1929年，Edward Link设计出用于训练飞行员的模拟器，使乘坐者的感觉和坐在真的飞机上是一样的。,。,1956年，Morton Heilig开发出摩托车仿真器 Sensorama，Sensorama具有三维显示及立体声效果，并能产生振动和风吹的感觉。,1.1虚拟现实技术的发展史,1965年，Ivan Sutherland发表论文“Ultimate Display”（终极的显示）1965年，Ivan Sutherland在篇名为The Ultimate Display（终极的显示）的论文中首次提出了包括具有交互图形显示、力反馈设备以及声音提示的虚拟现实系统的基本思想，从此，人们正式开始了对虚拟现实系统的研究探索历程。1966年，美国的MIT林肯实验室在海军科研办公室的资助下，研制出了第一个头盔式显示器(HMD)，随后又将模拟力和触觉的反馈装置加入到系统中。1967年，美国北卡罗来纳大学开始了Grup计划，研究探讨力反馈(Force Feedback)装置。该装置可以将物理压力通过用户接口引向用户，可以使人感到一种计算机仿真力。,1968年，Ivan Sutherland研制成功了带跟踪器的头盔式立体显示器（Head Mounted Display，HMD）,1.1虚拟现实技术的发展史,1972年，Nolan Bushnell（Ivan Sutherland 学生）开发出第一个交互式电子游戏Pong，在一台机器上模拟乒乓球，1977年，Dan Sandin、Tom DeFanti和Rich Sayre研制出第一个数据手套Sayre Glove20世纪80年代，美国国家航空航天局（NASA）组织了一系列有关VR技术的研究：1984年，NASA Ames研究中心的M.McGreevy 和J.Humphries开发出用于火星探测的虚拟环境视觉显示器；1987年，Jim Humphries设计了双目全方位监视器（BOOM）的最早原型。,1.1虚拟现实技术的发展史,1990年，在美国达拉斯召开的Siggraph会议上，明确提出VR技术研究的主要内容包括实时三维图形生成技术、多传感器交互技术和高分辨率显示技术，为VR技术的发展确定了研究方向。从20世纪90年代开始，VR技术的研究热潮也开始向民间的高科技企业转移。著名的VPL公司（发出第一套传感手套命名为“DataGloves”，第一套HMD命名为“EyePhones”。20世纪90年代，迅速发展的计算机软件、硬件系统使得基于大型数据集合的声音和图像的实时动画制作成为可能，越来越多的新颖、实用的输入输出设备相继进入市场，而人机交互系统的设计也在不断创新，这些都为虚拟现实系统的发展打下了良好的基础。其中，利用虚拟现实技术设计波音777获得成功，是近几年来又一件引起科技界瞩目的伟大成果。,1994年3月在日内瓦召开的第一届WWW大会上，首次正式提出了VRML这个名字。后来又出现了大量的VR建模语言，如：X3D，Java3D等。1994年，Burdea G和Coiffet出版了虚拟现实技术一书，在书中他用3I（Imagination、Interaction、Immersion）概括VR的三个基本特征。进入21世纪后，VR技术更是进入软件高速发展的时期，一些有代表性的VR软件开发系统不断在发展完善，如MultiGen Vega、OpenSceneGraph、Virtools等。,1.2虚拟现实技术的概念,虚拟现实技术是指利用计算机生成一种模拟环境，并通过多种专用设备使用户“投入”到该环境中，实现用户与该环境直接进行自然交互的技术。VR让用户使用人的自然技能对虚拟世界中的物体进行操作，并能提供视觉 听觉 触觉 等直观自然的实时感知。,1.2虚拟现实技术的概念,个完整的虚拟现实系统由虚拟环境、以高性能计算机为核心的虚拟环境处理器、以头盔显示器为核心的视觉系统、以语音识别、声音合成与声音定位为核心的听觉系统、以方位跟踪器、数据手套和数据衣为主体的身体方位姿态跟踪设备，以及味觉、嗅觉、触觉与力觉反馈系统等功能单元构成。,虚拟现实交互设备,在VR系统中，有许多有趣的、功能不同的专用设备，下面选一些代表性的设备加以介绍。显示设备：头盔显示器,BOOM可移动式显示器：它是一种半投入式视觉显示设备。使用时，用户可以把显示器方便地置于眼前，不用时可以很快移开。BOOM使用小型的阴极射线管，产生的像素数远远小于液晶显示屏，图像比较柔和，分辨率为12801024像素，彩色图像。Crt 终端-液晶光闸眼镜大屏幕投影液晶光闸眼镜,2.操作设备数据手套力矩球 操纵杆触觉反馈力学反馈TELETACT手套它是一种用于触觉和力觉反馈的装置，利用小气袋向手提供触觉和力觉的刺激。这些小气袋能被迅速地加压和减压。当虚拟手接触一件虚拟物体时，存储在计算机里的该物体的力模式被调用，压缩机迅速对气袋充气或放气，使手部有一种非常精确的触觉。数据衣为了让VR系统识别全身运动而设计的输入装置。数据衣对人体大约50多个不同的关节进行测量，包括膝盖、手臂、躯干和脚。通过光电转换，身体的运动信息被计算机识别。通过BOOM显示器和数据手套与虚拟现实交互数据衣,1.3虚拟现实技术的特征,VR技术的三角形 交互性（Interactivity）沉浸感（Immersion）想象力（Imagination）,1.3虚拟现实技术的特征,VR技术的交互性：指用户对虚拟环境中对象的可操作程度和从虚拟环境中得到反馈的自然程度（包括实时性）。主要借助于各种专用设备（如头盔显示器、数据手套等）产生，从而使用户以自然方式如手势、体势、语言等技能，如同在真实世界中一样操作虚拟环境中的对象。,1.3虚拟现实技术的特征,VR技术的沉浸感：又称临场感，是指用户感到作为主角存在于虚拟环境中的真实程度。VR技术最主要的特征。VR 的“沉浸感”特性使它与一般的交互式三维图形有较大的不同：用户可以沉浸于数据空间，可以从数据空间向外观察，从而可以使用户能以更自然、更直接的方式与 数据交互。利用沉浸功能，使用户暂时与现实隔离，投入到虚拟环境中去，从而能更真实地注视数据。VR界面也可以给技术人员及创作人员提供真实数据，以便正 确创建虚拟环境，这样有助于用户更快、更全面地分析理解数据。因此，VR技术将从根本上改变人与计算机系统的交互操作方式。,1.3虚拟现实技术的特征,VR技术的想象力：指用户在虚拟世界中根据所获取的多种信息和自身在系统中的行为，通过逻辑判断、推理和联想等思维过程，随着系统的运行状态变化而对其未来进展进行想象的能力，随意构想客观不存在或不可能发生的环境。对适当的应用对象加上虚拟现实的创意和想象力，可以大幅度提高生产效率、减轻劳动强度、提高产品开发质量。,1.4虚拟现实系统的分类,1.4.1 桌面式VR系统（Desktop VR）1.4.2 沉浸式VR系统（Immersive VR）1.4.3 增强式VR系统（Augmented VR）1.4.4 分布式VR系统（Distributed VR）,1.4虚拟现实系统的分类,1.4.1 桌面式VR系统,使用个人计算机和低级工作站来产生三维空间的交互场景。用户会受到周围现实环境的干扰而不能获得完全的沉浸感，但由于其成本相对较低，桌面式VR系统仍然比较普及，与一般用户接过。最大的优点：便宜。,1.4虚拟现实系统的分类,1.4.2 沉浸式VR系统,利用头盔显示器、洞穴式显示设备和数据手套等交互设备把用户的视觉、听觉和其他感觉封闭起来，而使用户真正成为VR系统内部的一个参与者，产生一种身临其境、全心投入并沉浸其中的体验。系统中有个用户的替身。用户在系统外面，用户与替身在感觉上有一个距离，这个距离越小。沉浸感超强，当用户与替身完全重合是。用户就完全进入到系统中了与桌面式VR系统相比，沉浸式VR系统的主要特点在于高度的实时性和沉浸感。,1.4虚拟现实系统的分类,1.4.3 增强式VR系统,允许用户对现实世界进行观察的同时，将虚拟图像叠加在真实物理对象之上。为用户提供与所看到的真实环境有关的、存储在计算机中的信息，从而增强用户对真实环境的感受，又被称为叠加式或补充现实式VR系统。可以使用光学技术或视频技术实现。,1.4虚拟现实系统的分类,1.4.4 分布式VR系统,指基于网络构建的虚拟环境，将位于不同物理位置的多个用户或多个虚拟环境通过网络相连接并共享信息，从而使用户的协同工作达到一个更高的境界。主要被应用于远程虚拟会议、虚拟医学会诊、多人网络游戏、虚拟战争演习等领域。,1.5虚拟现实技术的应用领域,1.5.1 教育与训练1.5.2 设计与规划1.5.3 科学计算可视化1.5.4 商业领域1.5.5 艺术与娱乐,1.5虚拟现实技术的应用领域,1.5.1 教育与训练,虚拟现实技术能使学习者能直接、自然地与虚拟对象进行交互，以各种形式参与事件的发展变化过程，并获得最大的控制和操作整个环境的自由度。,1、仿真教学与实验2、特殊教育3、多种专业训练4、应急演练和军事演习,1.5虚拟现实技术的应用领域,1.5.2 设计与规划,虚拟现实已被看作是设计领域中唯一的开发工具。它可以避免传统方式在原型制造、设计和生产过程中的重复工作，有效的降低成本，应用领域包括汽车制造业、城市规划、建筑设计等。,1.5虚拟现实技术的应用领域,1.5.3 科学计算可视化,科学可视化的功能就是将大量字母、数字数据转换成比原始数据更容易理解的各种图像，并允许参与者借助各种虚拟现实输入设备检查这些“可见的”数据。它通常被用于建立分子结构、地震以及地球环境等模型。计算机中的海量数据都是抽象的。从这些数据是看不出什么结果来的。但是如果把这些数据通过VR建立一个直观的模型呢。,1.5虚拟现实技术的应用领域,1.5.4 商业领域,VR技术被逐步应用于网上销售、客户服务、电传会议及虚拟购物中心等商业领域。它可以使客户在购买前先看到产品的外貌与内在，甚至在虚拟世界中使用它，因此对产品的推广和销售都很有帮助。如现在网上购物，我们看到的是都是照片，可能有好多张，正面的，侧面的，最多可能是多了几段视频。但这些可能都是平面的。如衣服，但如果用VR 呢，我们就可以全方面的了解所购物品发概貌，如衣服还可以把它穿在一个替身身上，如同在商店的模特一样，比商店更高的是这个模特是活的，就如同自己穿在身上一样马上就可以看到效果。再如购房，一种方法就是一家一家楼盘跑，如果是现房还可以看到房子，如果是期房的话，就只能看到模型了，如果使用VR不管是现房还是期房，都可以看到实际效果了,1.5虚拟现实技术的应用领域,1.5.5 艺术与娱乐,VR技术所具有的身临其境感及实时交互性还能将静态的艺术（如油画、雕刻等）转化为动态的形式，使观赏者更好地欣赏作者的思想艺术，包括虚拟画廊、虚拟音乐厅、文物保护等方面。游戏娱乐可能是VR最广泛的一个应用领域了，从最初的文字MUD游戏，到二维游戏、三维游戏，再到网络三维游戏，游戏在保持其实时性和交互性的同时，逼真度和沉浸感正在一步步地提高和加强 玩游戏最重要的就是实时与互动，而虚拟现实可能就是游戏的最高境界了，市场上已经推出了多款VR环境下的电脑游戏，带给游戏者强烈的感官刺激。,1.6虚拟现实技术的研究现状,1.6.1 国外的研究现状,美国是VR技术的发源地，有美国宇航局（NASA）、麻省理工学院（MIT）媒体实验室、华盛顿大学人机界面技术实验室（HIT Lab）等许多知名的研究机构。美国在虚拟现实领域的基础研究主要集中在感知、用户界面、后台软件和硬件四个方面。,1.6虚拟现实技术的研究现状,1.6.1 国外的研究现状,英国主要有四个从事VR技术研究的中心，包括Windustries公司、British Aerospace公司、Dimension International公司、Divison LTD公司等。日本主要致力于建立大规模VR知识库和人机接口方面的研究项目上，在VR游戏方面的研究也处于领先地位。此外，国外还研制出多个用于开发应用程序的VR软件开发平台，例如美国Sense8公司的WorldToolKit（WTK），爱荷华州立大学虚拟现实应用中心的VR Juggler，Deneb Robotics公司的ENVISION，英国Superscape公司的VRT，Division 公司的dVISE等。,1.6虚拟现实技术的研究现状,1.6.2 国内的研究现状,我国从20世纪80年代起开始研究VR技术。虽然起步较晚，但近年来政府有关部门非常重视，制定了开展VR技术的研究计划，并将其列入国家重点研究项目。国内的一些科学家和重点院校也已积极投入了对这一领域的研究。北京航空航天大学是国内最早进行VR技术研究、最有权威的单位之一。它于2000年8月成立了虚拟现实新技术教育部重点实验室。,1.6虚拟现实技术的研究现状,1.6.2 国内的研究现状,清华大学对虚拟现实及其临场感等方面进行了大量研究，比如球面屏幕显示和图像随动、克服立体图闪烁的措施及深度感实验测试等。浙江大学的CAD&CG国家重点实验室开发出了一套桌面型虚拟建筑环境实时漫游系统，还研制出了在虚拟环境中一种新的快速漫游算法和一种递进网格的快速生成算法。西安交通大学信息工程研究所对虚拟现实中的关键技术立体显示技术进行了研究，提出一种基于JPEG标准压缩编码新方案，获得了较高的压缩比、信噪比以及解压缩速度。,1.7虚拟现实关键技术,虚拟现实是多种技术的综合，其关键技术和研究内容包括以下几个方面：1、环境建模技术即虚拟环境的建立，是整个虚拟现实系统的基础，目的是获取实际三维环境的三维数据，并根据应用的需要，利用获取的三维数据建立相应的虚拟环境模型。2、立体声合成和立体显示技术在虚拟现实系统中消除声音的方向与用户头部运动的相关性，同时在复杂的场景中实时生成立体图形。3、触觉反馈技术在虚拟现实系统中让用户能够直接操作虚拟物体并感觉到虚拟物体的反作用力，从而产生身临其境的感觉。4、交互技术虚拟现实中的人机交互远远超出了键盘和鼠标的传统模式，利用数字头盔、数字手套等复杂的传感器设备，三维交互技术与语音识别、语音输入技术成为重要的人机交互手段。5、系统集成技术由于虚拟现实系统中包括大量的感知信息和模型，因此系统的集成技术为重中之重：包括信息同步技术、模型标定技术、数据转换技术、识别和合成技术等等。,数字城市规划,数字城市规划,数字城市规划,数字城市规划,数字城市规划,数字仿真,数字仿真,数字仿真,数字仿真,数字仿真,地理勘测,地理勘测,虚拟手术,产品展示,产品展示,产品展示,虚拟游览,虚拟游览,虚拟游览,数字虚拟校园,数字虚拟校园,数字虚拟校园,数字虚拟校园,数字虚拟校园,数字虚拟校园,虚拟天狮学院,虚拟天狮学院,虚拟天狮学院,第二章 VRML基础知识,2-1 什么是VRML VRML（Virtual Reality Modeling Language）即虚拟现实建模语言。是一种用于建立真实世界的场景模型或人们虚构的三维世界的场景建模语言，也具有平台无关性。是目前Internet上基于 WWW的三维互动网站制作的主流语言。,2-2 vrml 发展历史,1993.12 Parisi和Pesce开始开发第一个VRML测览器;1994.03 首届WWW大会在日内瓦召开，提出VRML;1994.06 开始VRML邮件列表;1994.10 产生了基于SGI的Open Inventor文件格式的VRMLl0第一稿;1996.03 VRML结构组通过Moving World，并就VRML20标准进行投票;1996.08 通过VRML20标准。1998年12 vrml组织-web3d vrml+java+xml-x3d,2.3 vrml工作原理,Vrml的设计是从WEB上欣赏实时3D图象开始的，VRML可以是一个浏览器插件，也是一个独立的应用程序，它与传统的虚拟现实中使用同样 的3D着色引擎，使它从三维建模和动画分离出来，三维建模与动画应用中可以预先对场景着色。但是不能选择方向。而VRML提供6+1个自由度。可以三个方向移动 也可以转动，还可以与其它3D超链接。VRML定义一个把3D图形与多媒体集成一起文件格式。从语法角度看。VRML定式定义组织3D多媒体对象。又语义看：VRML描述的基于时间的交互式3D多媒体信息抽象功能行为。这个3D空间就称为虚拟境界。,VRML使用场景图来建立3D境界，它是一种代表所有3d世界静态特征的节点等级：几何关系 材质 纹理 转换 光线 视点等几乎所有3D厂家 无论CAD 动画 建模 VR，它们的核心都有场景图。VRML中的对象属性用节点来描述。节点按一定规则构成场景图。场景图有二类节点：一是用于视觉与听觉角度表现对象，反映空间结构，另一类对于事件和路由。确定虚拟世界随时间动态变化。,对三维虚拟世界描述,建模渲染交互动画细节及碰撞超链接,-4 VRML浏览器,Cortona3d CosmoPlayer Bitmanagment,Bimanagment,VRML工具,VRMLPAD,VRML文件,VRML文件主要包括VRML文件头造型事件路由事件体系脚本原型等体系元素。1.VRML文件类型.VRML文件是由通用文本编辑系统或专用VRML开发工具编辑的ASCII文件格式的场景描述性语言,其文件类型扩展名为.wrl或.wrz,一般使用.wrl文件扩展名。2.VRML文件头#VRML V2.0 utf8VRML文件头由四部分组成,各部分意义说明如下:,1)VRML文件头由“#”字符起始,“#”字符说明后为一个文本型的说明字符串.(2)VRML文件头的第二部分是“VRML”字符串,该字符串提示浏览器该文件是一个VRML文件.(3)VRML文件头的第三部分是“V2.0”字符串,该字符串提示浏览器该VRML文件遵循VRML规范2.0版本.(4)VRML文件头的第四部分是“utf8”字符串,该字符串提示浏览器该VRML文件是一个使用国际标准UTF-8字符集的文件.UTF-8的英文全称是UCS Transform Format,而UCS是Universal Character Set的缩写.,VRML节点。每个VRML文件都是一个基于时间的三维空间表示，它包含了可通过多种机制动态变化的由视、听和对象组成的虚拟环境。VRML节点名称 DEF节点名称节点通过VRML建模的虚拟环境专业上又称之为场景图。场景图由一系列无序节点组成，节点则用以描述环境中的对象及其属性。,VRML造型VRML中的场景由造型组成,而造型则由节点(Node).在最高抽象层,VRML定义了一组节点机制用于三维场景制作,再由浏览器进行实时渲染.VRML中的所有节点都可以有零个或多个域(Field).每个域取域值,不同的域对应不同的域值类型.VRML定义了20种基本数据类型,也分为两类:以SF开头的是单值类型,该类型只有一个单一的数或数组;以MF开头的是多值类型,该类型指定一个数或数组的列表SFBool,SFColor,MFColor,SFFloat,MFFloat,SFImage,SFInt32,MFInt32,SFNode,MFNode,SFRotation,MFRotation,SFString,MFString,SFTime,MFTime,SFVec2f,MFVec2f,SFVec3f,MFVec3f.,VRML事件、路由、事件体系.节点除具有域属性外，还具有事件(event)属性。事件是VRML实现用户交互与场景动态变化的最主要内容。事件为节点提供了接收外界信息以及外界发送信息的能力。节点通过事件入口接收入事件，通过事件出口发送出事件。入事件要求节点改变自己某个域的取值，而出事件则要求改变其他节点的域值。VRML对节点的说明中经常包含标有”exposedField”的公共域，该类型域隐含着与下面两种系统缺省定义的事件相关。路由为创作者提供了一种独立于场景层次体系的系统机制，通过这种机制，事件得以蔓延传播从而引起其他节点的变化。,VRML脚本为使VRML具有更强的人机交互能力和可控性，可以在事件发生器与事件接收器之间插入脚本(Script)节点。脚本节点实际上是一个外壳，它包含一组利用脚本描述语言，如Java，JavaScript编写的函数或方法。VRML原型用户可以通过VRML原型机制扩充VRML标准节点类型集。原型节点定义应对其中需要使用的域、入事件和出事件分别加以说明，原型定义既可以在引用该原型的文件中进行，也可以在外部文件中定义而后在其他的场景文件中引用。,程序注释：为VRML文件添加注释要求以”#”字符开头，并结束于该行的末尾。,VRML空间,VRML的场景建设默认情况下使用VRML系统缺省空间坐标系，用户也可以使用Transform节点对缺省空间进行变换，以形成相对于父坐标系的子坐标系。1.VRML空间坐标系。VRML系统默认的坐标系为一个立体三维的空间坐标系。该坐标系的原点位于VRML平面浏览器的中心位置，X轴正向由原点指向屏幕右侧，Y轴正向由原点指向屏幕上方，Z轴正向由原点垂直指向用户。2.VRML空间计量单位。VRML造型大小、方位均使用VRML空间计量单位。空间计量单位又分为长度计量单位和角度计量单位两种。长度计量单位也之为VRML单位，用来度量造型的空间位置及大小尺寸。角度单位用以计量VRML空间变换坐标系的旋转角度。VRML的角度使用常规的弧度计量单位比例。,